«Яндекс» разработала новую версию нейросети YandexART (Vi), которая способна создавать короткие видеоролики с движущимися объектами. Модель умеет реалистично воспроизводить плавные движения объектов в кадре, такие как бег собаки, падение листа с дерева или взрыв фейерверка. Это открывает широкие возможности для использования нейросети как обычными пользователями, так и профессионалами в области анимации и видеопроизводства.
Ранее «Яндекс» представил другую версию нейросети для генерации видео по текстовому описанию. Однако она позволяла получать анимации, где движение камеры было более заметным, чем движение объектов. Объекты также значительно менялись от кадра к кадру. Новая версия YandexART (Vi) научилась создавать более реалистичные движения и учитывать связь между кадрами, что делает видео более цельными и плавными.
Для обучения нейросети использовались ролики с движущимися объектами, такими как едущий автомобиль или крадущийся кот. На вход модель получает текстовое описание от пользователя о том, что должно быть в кадре, и создает начальное изображение. Затем модель постепенно превращает цифровой шум в последовательность кадров, опираясь на это изображение и текстовый запрос.
YandexART — это диффузионная нейросеть, которая создает и улучшает изображения и анимацию, а также обрабатывает загруженные фотографии в ответ на текстовые запросы. Она учитывает российский культурный код и использует специальный алгоритм распознавания текстов для более точного понимания пожеланий пользователей. Нейросеть может качественно прорабатывать мелкие детали, работать в заданном художественном стиле и создавать фотореалистичные портреты. YandexART интегрирована в приложение «Шедеврум», используется в сервисах «Яндекс Бизнес», «Директ», «Браузер» и «Маркет». Компании также могут получить доступ к API YandexART через Yandex Cloud.
Читать далее:
Студент с помощью ИИ за месяц собрал дома термоядерный реактор и получил плазму
Физики раскрыли тайну эффекта, который описал еще Эйнштейн
Зонд «Новые горизонты» показал, насколько темный на самом деле космос