Система UTEP AGENT создана для изучения взаимопонимания между человеком и агентом искусственного интеллекта с упором на сбор данных о паралингвистическом поведении. Паралингвистика включает, помимо языка речи, жесты, интонации, ритм, взгляды и телодвижения.
В игре ИИ, персонаж по имени Ариадна, и человек действуют сообща, общаясь словами и жестами, и пытаются выжить в кампании из 23 сцен, рассчитанных на 40-60 минут приключений. Ариадна изучает речь игрока, анализирует и пытается понять его жесты и интонации. Сюжет развивается в зависимости от принятых героями решений.
«Мы создаем новые, захватывающие дух виртуальные технологии и изучаем, как сделать агентов более приспособленными к людям», — отметил руководитель проекта Дэвид Новик.
UTEP AGENT получила премию за «Выдающуюся демонстрацию» на 17 Международной конференции по мультимодальным взаимодействиям в Сиэтле.
Для обеспечения игровых характеристик ученые во главе с Новиком использовали программу анимации Unity 4, Microsoft Kinect и Windows Speech SDK. Также команда создала программу-посредника для ускоренной разработки игровой среды.