Пол Бремнер и Уте Леонардс исследовали в своей работе, опубликованной в Frontiers in Psychology, следующую гипотезу: если роботы использовали бы наряду с речью жестикуляцию, мы понимали бы их лучше. Такая коммуникация называется многомодальной, и ученые хотели установить, является ли она преимуществом при взаимодействии человек — робот, а также понятнее ли сочетание речи и жестов, чем просто речь.
Для проверки своей гипотезы ученые сняли на видео актера, произносящего несколько фраз и делающего общеизвестные жесты. Затем пришла очередь робота, который должен был все повторить. Оба клипа показали затем участникам эксперимента, которые должны были определить, какую информацию пытаются передать человек и робот. Результат продемонстрировал, что мультимодальное общение воспринимается легче, а также что при таком способе обмена сообщениями роботы изъясняются так же понятно, как люди.
Заставить робота жестикулировать по-человечески оказалось задачей не из легких. Движения руками, которые выполнял актер, записывались с помощью технологии Kinect, а аватар использовал затем эти данные, чтобы имитировать жесты. При этом он не обладал точно такой же формой рук или степенью свободы движений, как человек. Над этим еще предстоит поработать в будущем.
Несмотря на эти ограничения, метод оказался успешным. В планах ученых добавить новые типы жестов в разнообразных коммуникативных ситуациях, а также упростить трансляцию жестов от человека к роботу.