ИИ от Microsoft нарисовал птицу по текстовому описанию

Появились ИИ-алгоритмы, которые могут определить, что изображено на фотографии с точностью 80%. Но что если попробовать поставить ему обратную задачу — нарисовать картину, исходя из текстовых описаний? В Microsoft, кажется, смогли взять эту планку. Исследователи компании «попросили» компьютер нарисовать «желтую птицу с черными крыльями и коротким клювом», и он нарисовал.

Рисунок выглядит на удивление точным и похож на фотографию, учитывая, что алгоритм не искал уже существующее изображение в базе данных, а создал его самостоятельно.

«Если вы отправитесь на Bing, и поищете птицу, то получите множество похожих картинок с птицей, но здесь фотографии создаются с помощью компьютера с нуля, пиксель за пикселем, — говорит глава исследовательской группы Сяодун Хэ. — Эти птицы могут не существовать в реальном мире — они всего лишь аспект воображения нашего компьютера».

Хотя нынешняя форма этой технологии рисования не идеальна, нетрудно представить себе будущее, где она может функционировать как помощник художников и дизайнеров интерьера или инструмент для улучшения фотографий на основе голосового ввода. В Microsoft идут дальше и видят применение своего алгоритма в анимационных фильмах, созданных компьютером исключительно по сценарию.

Команда начала исследования в области компьютерного зрения и обработки естественного языка с помощью CaptionBot, ИИ-системы, которая автоматически создает подписи к фотографиям. Затем исследователи создали систему, отвечающую на вопросы, связанные с изображениями под названием SeeingAI, которая может быть полезной для слепых.

Текущая технология состоит из двух частей: одна, Generative Adversarial Network (GAN), генерирует изображения, а другая, дискриминатор, оценивает их качество. CaptionBot обучался на парах изображений и подписей, которые подсказывают, как слова соотносятся с какими фотографиями.

Команда также создала математическое представление человеческого внимания, которое мы используем, когда рисуем картины, основываясь на сложных описаниях. «Внимание — это человеческое качество, мы же используем математику, чтобы сделать внимание вычисляемым», — говорит Хэ.

Компьютеры, читающие наши мысли, кажутся идеей из научной фантастики — но, похоже, они станут реальностью быстрее, чем мы думаем. Японские исследователи использовали машинное обучение, чтобы научить ИИ визуализировать то, о чем думает человек.