Ийер и его коллеги провели эксперимент: создали большую базу данных комиксов для обучения компьютера (за основу взяли золотой век этого жанра, с 1930-х по 1950-е гг.), 4000 книг, 1,2 млн отдельных изображений. Оцифровали весь текст.
Затем машине показывали последовательность картинок. Она должна была предсказать, что будет дальше, выбрав один вариант ответа. Например, узнать следующую картинку или текст или сопоставить текст с конкретным персонажем.
Результат был неожиданным: тогда как человек способен ответить на эти вопросы с 80% точностью, компьютеру такой уровень понимания недоступен. Алгоритмы распознавания изображений, обученные на натуралистичных фотографиях, не могли справиться с разнообразием художественных стилей, а модели распознавания текста спотыкались о колоритный и многозначный язык диалогов, зависящий от графического контекста, объясняет Ийер.
«ИИ займет 80% профессий в IT-сфере»
Мнения
Комиксы рассказывают истории, используя последовательность картинок, часто стилизованных и отличающихся от изображения реальных людей и предметов на фотографиях. Их поясняет текст, обычно помещенный внутрь сферического или прямоугольного пространства. Текст и изображение тесно связаны, иногда настолько, что одно без другого непонятно. Но даже когда они присутствуют, читателю приходится делать предположения и экстраполяции, что именно произошло между двумя рисунками. Детали обычно добавляет фантазия читателя.
Именно благодаря промежуткам и умалчиванию в воображении читателя создается история. Комплексный процесс разглядывания отдельного изображения и понимания того, как он связан с предыдущими, называется «смыкание». И пока что это чисто человеческая способность, пишет MIT Technology Review.
Суперконденсатор позволит заряжать телефон за секунды
Идеи
До сих пор алгоритм принятия решений искусственным интеллектом был человеку непонятен и оттого вызывал страх. Ученые МТИ разработали механизм, с помощью которого нейросети могут рассказать, почему они приняли именно такое решение. В более широком смысле это значит, что алгоритмам можно будет доверять, так как они будут принимать решения понятным для человека образом.