Сообщить об ошибке на сайте
URL
Ошибка
Кейсы

Чатбот Tay игриво приветствовал мир в своем «Твиттере», ловко оперировал мемами и активно подражал подросткам в интернете. Едва ли можно было представить, что через 24 часа искусственный интеллект начнет поддерживать Гитлера, называть Трампа отличным парнем и повторять расистские и шовинистские высказывания. Причиной такого падения послужили обычные пользователи, которые поняли, что способность алгоритма обучаться — это и есть его слабая сторона.

Чатбот Tay был создан при поддержке Baidu и задумывался как адаптированная версия Xiaoice — программы на основе искусственного интеллекта, которую Microsoft испытывал в Китае. Xiaoice общалась с пользователями социальных сетей — отвечала на вопросы, делилась своими мыслями и могла выражать эмпатию в ответ на сообщения и даже фотографии. Этот эксперимент стал своего рода тестом Тьюринга, так как 25% пользователей, взаимодействовавших с ботом, — около 10 миллионов человек — признались в симпатии к Xiaoice.

Проект Tay также был задуман как социальный и культурный эксперимент, но неожиданно он превратился в скандальный объект манипуляций и представил неприятную изнанку интернета.

Microsoft позиционировала Tay как собеседницу 18-24 лет, которая любит использовать эмодзи и хэштеги, умеет шутить и охотно поддерживает любую инициативу. Для разработки системы были использованы общедоступные данные, а в создании образа чатбота принимали участие комики-импровизаторы. Система может поддерживать милую беседу, реагировать на фотографии, играть в игры и даже составлять гороскопы. При этом Tay постоянно обучается — это как раз и стало главной проблемой.

Пользователи Twitter не были заинтересованы в «непринужденной игривой беседе» (как задумывал Microsoft), а сразу же перешли к фашистским ремаркам и провокационным вопросам.

Самым слабым местом чатбота оказалось ее стремление повторять фразы по первому требованию. Достаточно было написать Repeat after me, и Tay начинала хвалить Гитлера, ругать евреев и ненавидеть меньшинства. Некоторые идеи искусственный интеллект позаимствовал в ходе бесед. Например, на вопрос «Был ли Холокост?» Tay заявила: «его придумали [эмодзи с аплодисментами]». Такие высказывания постоянно встречаются в интернете, но они мгновенно убивают любую репутацию. Конечно, возникает вопрос, есть ли у чатбота репутация. Судя по скандалу, возникшему вокруг Tay и распространению скриншотов с ее оскорбительными высказываниями, люди все-таки винят чатбота в расизме и шовинизме, а Microsoft — в недальновидности.

Менее чем через сутки после запуска чатбота Microsoft пришлось приостановить его работу.

Как сообщила компания: «К сожалению, после первых 24 часов после запуска проекта мы обнаружили, что некоторые воспользовались навыками Tay в дурных целях, заставляя ее высказываться несоответствующим образом. В результате мы приостановили работу чатбота и будем вносить поправки в систему».

История с Tay открывает новые грани искусственного интеллекта и машинного обучения, в том числе и мрачные, антиутопичные. Кто ставит границы того, что ИИ может усваивать, а что нет, какие знания он будет адаптировать, а какие будет отсекать? Для этого необходимо не просто мышление, которого у алгоритмов пока нет, но и то, что принято называть системой взглядов и моральными принципами. Tay банально попалась на крючок интернет-троллей — обвинять алгоритм в расизме было бы как минимум наивно. Но такие обвинения несостоятельны только до тех пор, пока машины и роботы не научатся формировать свое мнение сами, без помощи корпораций и приглашенных комиков.

Загрузка...
Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Колонизация отменяется: почему терраформирование невозможно на Марсе
Тренды
Сет Стивенс-Давидовиц: у людей гораздо больше непристойных и скверных мыслей, чем мы думали
Мнения
Умные города подвергают своих жителей опасности из-за датчиков освещения и радиации
Тренды
Биоценоз в фарме: зачем нужна альтернатива антибиотикам и как работают лекарства нового поколения
Тренды
Мнения
Геронтолог Обри ди Грей: жизнь длиной в тысячу лет — это побочный эффект поиска вечного здоровья
Чарльз Адлер, co-founder Kickstarter: я — панк-рокер, который раздвигает границы
Кейсы
Как ИИ меняет медицину: личный помощник для врачей, маршрутизатор в клиниках и разработчик лекарств
Кейсы
Эдвин Диндер, Huawei Technologies: умный город — это ничто
Мнения
«Если изобретение с ИИ не приносит пользу, сам продукт никому не нужен»
Мнения
Feature engineering: шесть шагов для создания успешной модели машинного обучения
Тренды
Карло Ратти, Senseable City Laboratory (MIT) — о городах будущего, третьей коже человека и роболодках
Тренды
Мнения
Человек — это набор из пяти чисел: Игорь Волжанин, DataSine — о психотипировании с помощью big data
Мы все — сенсоры: CEO SQream Ами Галь — о том, как обрабатывают big data
Кейсы
Что такое скрапинг: как Amazon, Walmart и другие ритейлеры используют ботов в борьбе с конкурентами
Идеи
Почему китайские подлодки-беспилотники станут самым опасным врагом под водой?
Идеи
Филипп Роуд, LSE Cities: самый кошмарный сценарий — беспилотники, ездящие по городу, чтобы не платить за парковку
Мнения
Юрий Корженевский — о том, как построить безопасные системы для банков на блокчейне
Блокчейн
MyGenetics: ДНК-тесты, помогающие «взломать» организм, как компьютер
Тренды
Иннополис
Russian Robot Olympiad: как дети строят роботов и решают реальные инженерные проблемы
Trade-to-Mine: как биржи привлекают трейдеров в условиях падения рынка
Блокчейн
Дмитрий Фадин, 3D Bioprinting Solutions — о будущем биопринтинга и печати органов в космосе
Мнения
IoT изменит все: какие умные технологии принесут бизнесу экономию, безопасность и инновации
Тренды
Как высокие технологии побуждают нас покупать билеты и туристические услуги
Тренды
Чем плоха Кремниевая долина для IT-стартапов из России: дорого, неудобно и нет транспорта
Мнения
Жить по-умному: как защитить свой дом и не бояться киберугроз
Умный дом
Андрей Синогейкин, Wonder Technologies, — об искусственных алмазах
Тренды
Никита Бокарев, ESforce, — о деньгах, киберспорте и его немаргинальности
Тренды
Тренды
YouTube-депрессия: как создатели популярных каналов боятся потерять подписчиков и разум
Гельмут Райзингер, Orange Business Services, — об IIoT, 5G и телеком-стартапах
Мнения
«Робот берет вас на работу»: как искусственный интеллект, блокчейн и VR подбирают персонал
Мнения
Телемедицина, роботы и умные дома: каким через 5 лет будет «оцифрованный» город в России
Тренды
Мясная революция: как перейти от веганских заменителей к клеточным технологиям и биореакторам
Идеи
AI-выборы: как искусственный интеллект и голосовые помощники сделают демократию лучше
Тренды
Идеи
Тупик для беспилотников: как мечты разработчиков разбиваются о неожиданности на дорогах
Здесь нужен InsurTech: за какими стартапами будущее страхования
Мнения
Идеи
Вирус лженауки в Google: как поисковые системы распространяют опасные мифы о прививках
«Кто-то управляет моим домом»: как жертв домашнего насилия терроризируют с помощью умных устройств
Умный дом
Паскаль Фуа, EPFL, — о ключевых точках, глубоких нейросетях и эпиполярной геометрии
Мнения
20 фильмов о кибербезопасности, взломах и цифровых преступлениях
Тренды
Ян Лекун, Facebook: прогностические модели мира — решающее достижение в ИИ
Мнения
Джианкарло Суччи: «Попытка спроектировать программу без багов — утопия»
Иннополис
Game out: Как видеоигры обучают детей-аутистов держать равновесие и узнавать людей
Тренды
Прослушка, контроль камеры и предсказание смерти пользователя: самые странные патенты Facebook
Кейсы
Цес Снук, QUVA: мы не хотим зависеть от крупных компаний, которые владеют всеми данными
Мнения
Дмитрий Песков, АСИ: «В России традиционно долго запрягают, и в сфере IT мы только этим и занимаемся»
Иннополис
ДНК-тесты: как генетические компании обманывают людей и разрушают семьи
Мнения
Мануэль Маццара: «Для Facebook вы не покупатель, вы — продукт»
Иннополис
Тренды
Блокчейн, искусственное мясо и «смерть» смартфонов: что будет с технологиями через 10 лет
Витторио Феррари, Google: «Чтобы машина распознала книгу о Гарри Поттере нужна сложная математическая модель»
Мнения