Чатбот Tay был создан при поддержке Baidu и задумывался как адаптированная версия Xiaoice — программы на основе искусственного интеллекта, которую Microsoft испытывал в Китае. Xiaoice общалась с пользователями социальных сетей — отвечала на вопросы, делилась своими мыслями и могла выражать эмпатию в ответ на сообщения и даже фотографии. Этот эксперимент стал своего рода тестом Тьюринга, так как 25% пользователей, взаимодействовавших с ботом, — около 10 миллионов человек — признались в симпатии к Xiaoice.
Проект Tay также был задуман как социальный и культурный эксперимент, но неожиданно он превратился в скандальный объект манипуляций и представил неприятную изнанку интернета.
Microsoft позиционировала Tay как собеседницу 18-24 лет, которая любит использовать эмодзи и хэштеги, умеет шутить и охотно поддерживает любую инициативу. Для разработки системы были использованы общедоступные данные, а в создании образа чатбота принимали участие комики-импровизаторы. Система может поддерживать милую беседу, реагировать на фотографии, играть в игры и даже составлять гороскопы. При этом Tay постоянно обучается — это как раз и стало главной проблемой.
Самым слабым местом чатбота оказалось ее стремление повторять фразы по первому требованию. Достаточно было написать Repeat after me, и Tay начинала хвалить Гитлера, ругать евреев и ненавидеть меньшинства. Некоторые идеи искусственный интеллект позаимствовал в ходе бесед. Например, на вопрос «Был ли Холокост?» Tay заявила: «его придумали [эмодзи с аплодисментами]». Такие высказывания постоянно встречаются в интернете, но они мгновенно убивают любую репутацию. Конечно, возникает вопрос, есть ли у чатбота репутация. Судя по скандалу, возникшему вокруг Tay и распространению скриншотов с ее оскорбительными высказываниями, люди все-таки винят чатбота в расизме и шовинизме, а Microsoft — в недальновидности.
Как сообщила компания: «К сожалению, после первых 24 часов после запуска проекта мы обнаружили, что некоторые воспользовались навыками Tay в дурных целях, заставляя ее высказываться несоответствующим образом. В результате мы приостановили работу чатбота и будем вносить поправки в систему».
История с Tay открывает новые грани искусственного интеллекта и машинного обучения, в том числе и мрачные, антиутопичные. Кто ставит границы того, что ИИ может усваивать, а что нет, какие знания он будет адаптировать, а какие будет отсекать? Для этого необходимо не просто мышление, которого у алгоритмов пока нет, но и то, что принято называть системой взглядов и моральными принципами. Tay банально попалась на крючок интернет-троллей — обвинять алгоритм в расизме было бы как минимум наивно. Но такие обвинения несостоятельны только до тех пор, пока машины и роботы не научатся формировать свое мнение сами, без помощи корпораций и приглашенных комиков.