Стартап использовал людей для работы, которую должен был выполнять ИИ

Стартап Expensify помогает вести учет расходов, позволяя получать сведения о своих тратах по кредитке напрямую из базы данных банка. Кроме того, в программу можно вручную вводить информацию обо всех потраченных суммах и даже прикреплять к ним отсканированные чеки и квитанции. Система SmartScan использует ИИ для обработки этих данных, сохраняя полную анонимность. Именно в этом главное преимущество сервиса: не нужно привлекать посторонних людей для ведения финансовой отчетности и посвящать их в детали своей частной жизни.

По крайней мере, так утверждали основатели стартапа, получив $30 млн на дальнейшую разработку SmartScan. В числе инвесторов — сооснователь Uber Тревис Каланик, а среди клиентов сервиса — Square, Snapchat и Instacart. Не говоря уже о 300 тысячах коммерческих организаций и 4,5 млн частных лиц. Тот факт, что данные обрабатывает искусственный интеллект, стал залогом успеха компании. Ведь в чеках содержатся имена, номера счетов и адреса электронной почты.

На прошлой неделе Рошель ЛаПлан, сотрудник службы Amazon Mechanical Turk (AMT), опубликовала в своем твиттере сообщение о том, что ей поступил заказ на обработку квитанции Uber. Суть сервиса AMT заключается выполнении небольших задач на цифровой платформе Amazon, которые раздают в случайном порядке 500 000 фрилансерам по всему миру. Кто-то проставляет тэги на фотографиях, кто-то расшифровывает записи, кто-то размещает рекламу в видео. Так вот, Рошель попалось задание от Expensify на обработку квитанции — то самое, которое якобы выполняет система SmartScan.

Другой сотрудник Mechanical Turk сообщил о том, что ему попались задания от Expensify на расшифровку счета за пребывание в отеле в Саудовской Аравии, медицинского рецепта, чека из пекарни в Калифорнии и посадочного талона на самолет. Во всех этих материалах указаны имена, фамилии и другие персональные данные. То есть, клиенты Expensify выбрали этот сервис за полную анонимность, а оказалось, что сведения вносят в систему полмиллиона незнакомцев.

В ответ на эти «разоблачения» СЕО компании Дэвид Баррет написал в своем блоге целый пост, в котором оправдывал нарушение приватности заботой о клиентах. Якобы ИИ не всегда справляется со считыванием информации с чеков и квитанций, поэтому приходится обращаться к помощи «наших агентов по всему миру». Это лучше, чем писать отчет об ошибке и отправлять отсканированный чек обратно пользователю, чтобы он вручную вводил данные в систему. Пусть лучше задание выполнят наемные работники в любое время дня и ночи. Он заверил, что делегирование полномочий фрилансерам Mechanical Turk было частью кампании по набору сотрудников для собственной круглосуточной службы по обработке персональных данных Private SmartScan.

В следующем посте Баррет уточнил, что к Mechanical Turk они обращались в 2009 году, а с 2012 года расшифровкой занимается исключительно их собственная служба (состоящая из людей, опять же). А к AMT они обратились только ради проверки нового продвинутого сервиса Private SmartScan. Более того, они отдали «туркерам» им не более 0.00004% от общего количества чеков. И ни один из чеков клиентов платных сервисов Expensify не попал в их число. Кроме того, задания направлялись только проверенным и верифицированным сотрудникам Mechanical Turk, которые были обязаны подписать соглашение о конфиденциальности.

В последнем обновлении блога от 30 ноября 2017 года написано: «Было проведено внутреннее расследование, в ходе которого выяснилось, что в период с 9:26 утра среды 22 ноября до 9:54 утра четверга 23 ноября в системе Amazon Mechanical Turk произошел сбой программы. Из-за этого 208 чеков (все они принадлежали сотрудникам Expensify и пользователям, которые не платят за сервисы компании) поступили на обработку непроверенным фрилансерам. Компания уведомила о возможном нарушении конфиденциальности всех клиентов, чьи интересы были затронуты».

В завершение Баррет высказал оригинальную идею: «В чеках нет важной информации, с помощью которой можно было бы нанести урон клиентам. Недаром большинство людей просто выбрасывает их в мусор. А если вы беспокоитесь, что посторонние увидят вашу квитанцию за Uber, лучше подумайте о том, что садитесь в машину к совершенно незнакомому человеку. Это — настоящий риск, но именно из рисков состоит наша жизнь».

Для того чтобы следить за личными данными, которые собирают, используют и иногда распространяют мобильные приложения, требуется внимательно изучать запутанные пользовательские соглашения и настройки приватности. Исследователи из Университета Карнеги — Меллон создали приложение Privacy Assistant, которое с помощью машинного обучения возвращает пользователю контроль над персональными данными, которые собирает его смартфон и дает рекомендации для их защиты от передачи третьим лицам.