Иннополис 6 июня 2023

Сервис, превращающий набросок в картину, разработали в Университете Иннополис

Студенты Университета Иннополис представили сервис НейроХудожник, который создает картину, граффити или аниме на основе наброска. О разработке «Хайтек» сообщили в пресс-службе вуза.

Читайте «Хайтек» в

Студенты Университета Иннополис представили сервис для генерации картин НейроХудожник на XIV Международном экономическом форуме «Россия — Исламский мир: KazanForum». С помощью несколько нейросетей приложение позволяет на основе наброска сгенерировать картину в стиле одного из четырех известных художников.

Генерация картин с помощью сервиса НейроХудожник. Видео: Университет Иннополис

НейроХудожник использует модель BLIP-large, чтобы определить, что нарисовал пользователь. На основе собранных данных Stable Diffusion v 1.5 преобразует набросок в картину в одном из четырех узнаваемых художественных стилях: пейзажиста Ивана Шишкина, основоположника супрематизма Казимира Малевича, автора классических аниме Хаяо Миядзаки и уличного художника Бэнкси.

Обучение нейросетей мы провели на тысяче картинах художников, чтобы уловить особенности и детали работ каждого. Дополнительно установили в приложение блок поверх второй модели, который следит за тем, что нарисовал пользователь, и контролирует пространственную информацию 40 % первых шагов. Благодаря этому итоговая ИИ-картина получается похожей на изначальный набросок.
Яков Сапаров, студент Университета Иннополис, ML-специалист НейроХудожника

Примеры картин, сгенерированных НейроХудожником. Изображения: Университет Иннополис

В дни проведения форума 438 участников нарисовали свои картины с помощью приложения на стенде Университета Иннополис. А всего НейроХудожником воспользовались больше 6 тыс. человек, которые сгенерировали свыше 30 тыс. рисунков, сообщают разработчики. Чаще всего пользователи выбирали стили Хаяо Миядзаки и Ивана Шишкина.

Посетители стенда удивлялись и детально рассматривали результаты, спрашивали про мобильную версию сервиса, а некоторые даже хотели заказать у нас физическую копию получившейся картины. Возможно, это перспективная идея для нашего следующего стартапа.
Сергей Полин, студент Университета Иннополис, основатель НейроХудожника

Исследователи продолжают работать над совершенствованием сервиса. Они планируют расширить коллекции стилей и направлений, доработать алгоритмы для улучшения качества картин и запустить мобильное приложение. Протестировать работу сервиса и создать собственную картину можно по ссылке.