ИИ самостоятельно изучает английский, играя в 3D-шутер

Возможность научиться языку в 3D на шаг приближает машины к возможности изучать его в реальном мире, говорит Девендра Чаплот, студент университета, представивший свою работу на ежегодной встрече Ассоциации вычислительной лингвистики. Конечная цель проекта — создание настолько достоверной симуляции, чтобы ИИ мог легко перенести оттуда свои навыки в реальность, сообщает MIT Technology Review.

Обе команды используют для этого глубокое обучение с подкреплением, технологию, воплощенную DeepMind в ИИ, играющем в аркадные игры. Нейронная сеть поглощает сырые данные в виде пикселей из виртуальной среды и с помощью вознаграждения в виде заработанных очков учится методом проб и ошибок.

Обычно целью является набрать как можно больше очков в игре, но тут две программы с ИИ получают определенные команды, например, «дойти до зеленой колонны», и должны найти путь к правильному объекту, чтобы получить вознаграждение. Пройдя миллионы обучающих сценариев с возрастающей скоростью, обе программы ИИ научились ассоциировать слова с отдельными объектами и характеристиками, которые помогают им выполнять команды. Они даже научились различать относительные понятия вроде «больше/меньше».

Более того, обе программы смогли экстраполировать свои знания на ситуации, с которыми раньше не сталкивались. Если, к примеру, они встречались с колоннами и красными предметами, то могли выполнить команду «дойти до красной колонны», даже если никогда раньше не видели ее.

Это делает ИИ более гибким, чем предшествующие системы с жесткими правилами, говорит Чаплот, а изучение одной и той же проблемы под разными углами позволит получить еще лучшие результаты. Команда университета CMU объединила визуальные и вербальные сигналы таким образом, чтобы сфокусировать внимание ИИ на наиболее релевантной информации, тогда как DeepMind задал своей программе дополнительные задачи, которые увеличили общую производительность системы.

На основе игры-головоломки Sokoban специалисты DeepMind учат ИИ воображению: каждый неверный шаг приводит к проигрышу, поэтому машине приходится прокручивать варианты в «воображении». Оказалось, что система, наделенная таким воображением, лучше справляется с планированием на будущее.