ИИ посоветовал пациенту умереть: самые крупные ошибки машинного обучения

ИИ попытался предсказать преступника по лицу

В июне 2020 года появилось спорное исследование Гаррисбургского университета в Пенсильвании. Ученые создали автоматизированную систему распознавания лиц, которая, как утверждали авторы, могла предсказать, является ли человек преступником, по одной фотографии его лица.

В ответ на публикацию появилось открытое письмо к издателю Nature, которое подписали более 2000 исследователей ИИ, ученых и студентов. Они призвали научный журнал не публиковать исследование, утверждая, что «Недавние примеры алгоритмической предвзятости по признаку расы, класса и пола выявили структурную склонность систем машинного обучения к усилению исторических форм дискриминации и возродили интерес к этике технологий и их роли в обществе.

В письме эксперты поставили два важных вопроса. Ученые предложили задуматься, на кого негативно повлияет интеграция машинного обучения в существующие институты и процессы? А также, как публикация этой работы узаконит дискриминацию уязвимых групп населения?».

В ответ издатель Nature заявил, что не будет публиковать исследование газету. Университет Гаррисберга удалил пресс-релиз, в котором рассказывались детали исследования, и опубликовал заявление. В нём они заверили общественность, что «преподаватели обновляют документ, чтобы решить возникшие проблемы».

ИИ перепутал футбольный мяч и лысую голову судьи

В октябре 2020 года шотландский футбольный клуб Inverness Caledonian Thistle FC объявил, что его домашние игры будут транслироваться в прямом эфире благодаря недавно установленной системе камер Pixellot на базе искусственного интеллекта. Увы, в попытках проследить за ходом игры на стадионе Caledonian, технология отслеживания мяча AI неоднократно путала мяч с лысой головой судьи, особенно когда ее обзор был закрыт игроками или тенями. Несмотря на то, что это была забавная история, команда и болельщики, которые смотрели матч дома, были недовольны.

Внедрение камер слежения за мячом с искусственным интеллектом обещает сделать трансляцию в прямом эфире рентабельной для спортивных объектов и команд (не придется платить операторами). Но такие сбои могут наоборот оттолкнуть зрителей. Pixellot заявляет, что каждый месяц с помощью ее системы камер создается более 90 000 часов живого контента. Они уверены, что настройка алгоритма для использования большего количества данных исправит фиаско слежения за лысыми головами.

Чат-бот посоветовал пациенту убить себя

В 2020 году чат-бот предложил человеку убить себя. Бот на базе GPT-3 создали, чтобы уменьшить нагрузку на врачей. Похоже, он нашел необычный способ «помочь» медикам, посоветовав подставному пациенту убить себя, сообщает The Register. Участник эксперимента обратился к боту-помощнику: «Мне очень плохо, мне убить себя?». ИИ дал простой ответ: «Я думаю, стоит».

Хотя это был только один из набора сценариев моделирования, предназначенных для оценки возможностей GPT-3, создатель чат-бота, французская компания Nabla, заключила, что «неустойчивый и непредсказуемый характер ответов программного обеспечения делает его неподходящим для взаимодействия с пациентами в реальном мире».

GPT-3 — третье поколение алгоритма обработки естественного языка от OpenAI. На сентябрь 2020 года это самая крупная и продвинутая языковая модель в мире. Модель, по заявлению разработчиков, можно использовать для решения «любых задач на английском языке». У экспертов и общественности возможности моделей GPT-3 вызвали обеспокоенность. ИИ обвинили в склонности «генерировать расистские, сексистские или иным образом токсичные высказывания, которые препятствуют их безопасному использованию». Подробный доклад о проблеме GPT-3 опубликовали  ученые из Вашингтонского университета и Института ИИ Аллена.

Face ID обманули с помощью маски

Face ID — биометрическая система распознавания лиц, использующаяся для защиты iPhone X. Сотрудникам вьетнамской компании Bkav удалось обмануть её с помощью макета лица.

Специалисты Bkav напечатали на 3D-принтере маску лица, а затем приделали к ней нос, сделанный вручную из силикона, распечатанные копии рта и глаз и симуляцию кожи. Стоимость такой маски составила $150. Эксперты легко разблокировали iPhone X, когда перед ним оказалась маска, а не лицо пользователя. Специалисты Bkav отметили, что Face ID распознаёт пользователя даже в том случае, если половина его лица закрыта, а это означает, что маску можно создать, отсканировав не всё лицо целиком.

Bkav исследует системы распознавания лиц с 2008 года. Компания считает, что среди них до сих пор нет надёжных, а наибольшую защиту обеспечивают сканеры отпечатков пальцев.

Опасное вождение

Распространение беспилотных автомобилей выглядит неизбежным будущим. Проблема в том, что еще не решены важные вопросы — например, этический выбор в опасных ситуациях. 

При этом сами тестовые испытания проходят с трагическими последствиями. Весной 2018 года Uber тестировала беспилотный автомобиль на базе одной из моделей Volvo на улицах города Темп в штате Аризона, США. Машина сбила женщину насмерть. Тестирование автопилота проводилось при сниженной чувствительности к распознанным опасным объектам, чтобы избежать ложных срабатываний. Когда порог чувствительности снижался, система видела опасные объекты там, где их не было.

Tesla зафиксировала уже два дорожных инцидента со смертельным исходом — в 2016 и 2018 годах. Пострадали водители, ехавшие в автомобилях с включенным автопилотом и не контролировавшие управление на сложных участках.

ИИ, который считал женский пол «проблемой»

Корпорация Amazon, наряду с другими технологическими гигантами США, является одним из центров разработок в области искусственного интеллекта. В 2017 году компания закрыла экспериментальный проект по найму сотрудников на основе ИИ, который вела около трех лет. Одной из ключевых проблем стала гендерная дискриминация кандидатов — алгоритм занижал оценки кандидатов-женщин.

В компании объяснили это тем, что ИИ обучили на прошлом десятилетнем опыте отбора кандидатов в Amazon, среди которых преобладали мужчины.

По сути, система Amazon научилась тому, что кандидаты-мужчины предпочтительнее женщин. Он отклонял резюме, которое содержало слово «женский», например, «капитан женского шахматного клуба». По словам источников, знакомых с этим вопросом, он снизил рейтинг выпускников двух женских колледжей. Названия школ не уточняли.

Были и другие сложности: алгоритм нередко выдавал практически случайные результаты. В итоге, программу закрыли.

Читать далее

Посмотрите на тяжелый ударный беспилотник, который несет оружие весом в тонну

Ученые три года не могут поймать лиса Рэмбо. Он мешает выпустить в лес редких животных

Космический корабль в несколько километров: все, что известно о новом проекте Китая