Сообщить об ошибке на сайте
URL
Ошибка
Кейсы

Чатбот Tay игриво приветствовал мир в своем «Твиттере», ловко оперировал мемами и активно подражал подросткам в интернете. Едва ли можно было представить, что через 24 часа искусственный интеллект начнет поддерживать Гитлера, называть Трампа отличным парнем и повторять расистские и шовинистские высказывания. Причиной такого падения послужили обычные пользователи, которые поняли, что способность алгоритма обучаться — это и есть его слабая сторона.

Чатбот Tay был создан при поддержке Baidu и задумывался как адаптированная версия Xiaoice — программы на основе искусственного интеллекта, которую Microsoft испытывал в Китае. Xiaoice общалась с пользователями социальных сетей — отвечала на вопросы, делилась своими мыслями и могла выражать эмпатию в ответ на сообщения и даже фотографии. Этот эксперимент стал своего рода тестом Тьюринга, так как 25% пользователей, взаимодействовавших с ботом, — около 10 миллионов человек — признались в симпатии к Xiaoice.

Проект Tay также был задуман как социальный и культурный эксперимент, но неожиданно он превратился в скандальный объект манипуляций и представил неприятную изнанку интернета.

Microsoft позиционировала Tay как собеседницу 18-24 лет, которая любит использовать эмодзи и хэштеги, умеет шутить и охотно поддерживает любую инициативу. Для разработки системы были использованы общедоступные данные, а в создании образа чатбота принимали участие комики-импровизаторы. Система может поддерживать милую беседу, реагировать на фотографии, играть в игры и даже составлять гороскопы. При этом Tay постоянно обучается — это как раз и стало главной проблемой.

Пользователи Twitter не были заинтересованы в «непринужденной игривой беседе» (как задумывал Microsoft), а сразу же перешли к фашистским ремаркам и провокационным вопросам.

Самым слабым местом чатбота оказалось ее стремление повторять фразы по первому требованию. Достаточно было написать Repeat after me, и Tay начинала хвалить Гитлера, ругать евреев и ненавидеть меньшинства. Некоторые идеи искусственный интеллект позаимствовал в ходе бесед. Например, на вопрос «Был ли Холокост?» Tay заявила: «его придумали [эмодзи с аплодисментами]». Такие высказывания постоянно встречаются в интернете, но они мгновенно убивают любую репутацию. Конечно, возникает вопрос, есть ли у чатбота репутация. Судя по скандалу, возникшему вокруг Tay и распространению скриншотов с ее оскорбительными высказываниями, люди все-таки винят чатбота в расизме и шовинизме, а Microsoft — в недальновидности.

Менее чем через сутки после запуска чатбота Microsoft пришлось приостановить его работу.

Как сообщила компания: «К сожалению, после первых 24 часов после запуска проекта мы обнаружили, что некоторые воспользовались навыками Tay в дурных целях, заставляя ее высказываться несоответствующим образом. В результате мы приостановили работу чатбота и будем вносить поправки в систему».

История с Tay открывает новые грани искусственного интеллекта и машинного обучения, в том числе и мрачные, антиутопичные. Кто ставит границы того, что ИИ может усваивать, а что нет, какие знания он будет адаптировать, а какие будет отсекать? Для этого необходимо не просто мышление, которого у алгоритмов пока нет, но и то, что принято называть системой взглядов и моральными принципами. Tay банально попалась на крючок интернет-троллей — обвинять алгоритм в расизме было бы как минимум наивно. Но такие обвинения несостоятельны только до тех пор, пока машины и роботы не научатся формировать свое мнение сами, без помощи корпораций и приглашенных комиков.

Загрузка...
Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Дмитрий Филатов, Sistema_VC: стартапы — это в первую очередь про людей, а во вторую — про деньги
Мнения
Эра Data Science: как меняется бизнес с приходом big data и новых технологий
Тренды
Народ против транспорта: почему люди недовольны, когда в городах строят новые станции метро
Идеи
«Лиза Алерт»: как беспилотники и краудсорсинг помогают искать пропавших людей
Кейсы
Беспилотники против велосипедистов: как безопасные автомобили сделают жизнь людей хуже
Идеи
Кейсы
SONM: как люди будут зарабатывать на собственных компьютерах с помощью блокчейна
Егор Матешук, ostrovok.ru: проблемы big data можно решить, закидывая пачки денег в топку
Мнения
Художник-граффитист Миша Most: технология — это кисть, которая создает будущее
Мнения
Лунная гонка: как мировые державы собираются присвоить себе спутник Земли
Идеи
Итоги Нобелевской недели. За что дали Нобелевскую премию в 2018 году?
Тренды
Руслан Шагалеев, Иннополис: война между корпорациями и городами ведется за человеческий капитал
Идеи
Кристина Хаверкамп, DENA: цена на электроэнергию должна сильнее коррелировать c погодой: много солнца и ветра — дешево, мало — дорого
Тренды
Тренды
7 лучших книг о технологиях и науке на русском языке, вышедших в 2018 году
Микрореволюция: фермеры с помощью микробов спасут мир от голода
Идеи
Мнения
Александр Тормасов, Университет Иннополис: мозги людей могут быть совершенно не готовы к восприятию новых идей
Одежда, которая поможет миру: костюм-помощник, майка-тренер и носок-няня
Тренды
В ожидании первого удара: как США готовятся к атаке со стороны России и Китая
Тренды
Страшнее метана: какие еще промышленные выбросы разрушают озоновый слой
Тренды
Интеллект большого города: как данные и умные алгоритмы улучшают качество жизни в мегаполисах
Тренды
На защите европейцев: как GDPR стал дырой в бюджете российских ИТ-компаний
Мнения
Игорь Балк, Global Innovation Labs: в XXI веке приватности нет и не будет
Тренды
Deneum: как заниматься холодным ядерным синтезом и бороться с сомнениями ученых
Кейсы
Расист, оружие и предвзятый судья — каким станет искусственный интеллект в будущем
Тренды
На совести информаторов: как громкие скандалы вокруг АНБ, Facebook и Tesla изменили мир
Тренды
NativeOS: нативная реклама в видео без репутационных потерь и терроризма от режиссера короткометражек
Кейсы
Тренды
Тихий убийца: как микропластик вызывает болезни и останавливает репродукцию живых организмов
Гонка для JavaScript-разработчиков: как постоянные обновления мешают работе
Тренды
Big data на страже здоровья: как и зачем медицинские организации собирают и хранят данные
Тренды
Николь Миллс, Booking.com — об инновациях, agile-подходе и индустрии впечатлений
Кейсы
Слишком опасный нанопластик: как одноразовые пакеты превращаются в частицы-убийцы
Тренды
Идеи
Человек и квантовая теория: существует ли то, что мы не наблюдаем
Здесь может быть ваша реклама: НАСА планирует заработать на космосе миллионы
Тренды
Опасный криптотрейдинг: как киберпреступники угрожают виртуальным сбережениям и биржам
Тренды
Как через 20 лет будет выглядеть армия будущего
Тренды
5 финансовых инструментов, которые помогут инвесторам даже после падения криптовалюты
Тренды
Александр Лямин, Qrator Labs: наша задача — выработать у людей цифровую гигиену, чтобы они «не ели с помойки»
Кейсы
Эдуард Фош Вильяронга: люди видят в роботе только внешность, забывая, что он следит за ними
Тренды
Доктор Куэй Во-Райнард, HIT Foundation: если страна требует суверенитета данных, мы построим для нее отдельный блокчейн
Кейсы
Роботы против мигрантов: какой вклад в ксенофобию и расизм делают технологии ИИ
Тренды
Идеи
«Хакинтош»: как собрать свой собственный Mac лучше, чем у Apple
Война скриптов — искусственный интеллект против навязчивой рекламы
Тренды
Как заново изобрести супермаркет: осознанность потребления, этика производства и роботы
Тренды
Каждый человек станет сам себе банком: цифровой мир отказывается от посредников между бизнесом и клиентом
Тренды
Архитектор вычислительной инфраструктуры «Платона» Александр Варламов — о будущем ИТ-индустрии в России, стартапах и разработке
Кейсы
Дмитрий Богданов, капитан сборной России по CS:GO — о стиле жизни киберспортсмена, тренировках и блокировках РКН
Тренды
Прайсинг, трекинг, скоринг, биллинг и другие технологии, которые двигают российский бизнес
Тренды
Идеи
Космос — наш дом: что осталось решить ученым, чтобы поселить человека за пределами Земли
«Педиатр 24/7»: как телемед-стартап подарил родителям спокойствие, а врачам — работу
Кейсы
Вас снова обманули: как человечество учит компьютеры определять фейки в интернете
Тренды