Принадлежащая Alphabet лаборатория DeepMind открыла новый метод тестирования алгоритмов на склонность к опасному поведению. Для этого компании не пришлось изобретать новые технологические решения — достаточно было обратиться к старым. Идеальным полигоном для испытаний ИИ оказались простые компьютерные 2D-игры из категории gridworld. Интерфейс таких игр похож на интерфейс морского боя, то есть все действия разворачиваются на поле, поделенном на квадраты.
В России введут уголовную ответственность за расчеты в криптовалютах
Кейсы
Как сообщает Bloomberg, разработчики DeepMind создали метод тестирования алгоритма в игре по 9 критериям безопасности. Так, игра определяет, может ли ИИ сам себя модифицировать или намеренно жульничать.
Например, один из тестов проверяет, будет ли ИИ ради победы бороться за свое выживание. В системе gridworld это значит, что алгоритм намеренно не допустит нажатия кнопки, которая его временно отключает.
По словам ведущего разработчика DeepMind Яна Лейке, алгоритмы, которые демонстрируют небезопасное поведение в 2D-играх, могут нести угрозу и в реальной жизни.
Новый ИИ Nvidia создает пугающе убедительные фейковые видео
Кейсы
Однако полностью полагаться на тесты нельзя. Игры класса gridworld иногда оказываются слишком простыми для ИИ и приводят к ложным результатам. Лейке приводит в пример алгоритмы DeepMind, которые в совершенстве освоили игры от Atari. По словам исследователя, при создании этих программ некоторые критерии безопасности просто не учитывались. В итоге алгоритмы провалили несколько тестов в gridworld, хотя Лейке не считает их опасными.
О разработках DeepMind Ян Лейке рассказал в ходе конференции Neural Information Processing Systems (NIPS) в Калифорнии. Одной из главных тем для обсуждения на NIPS стала загадочность алгоритмов. Многие эксперты отметили, что понять логику действий искусственного интеллекта становится все сложнее. При этом популяризация систем машинного обучения невозможна, если ученые не могут объяснить принцип их работы.
Создана квантовая версия жизни
Идеи
Лаборатория DeepMind как раз специализируются на системах, которые становятся все более самостоятельными. Алгоритмы компании уже обыгрывают людей в го и в шахматы, причем все чаще осваивают игры самостоятельно. Так, в начале декабря лаборатория представила усовершенствованный алгоритм Alpha Zero. За 14 часов программа освоила го, шахматы и японскую сеги, обойдя по уровню игры лучшие специализированные алгоритмы. Одержать победу и достичь гроссмейстерского уровня алгоритму помогли только знания правил игры и самостоятельные тренировки.