ИИ создает фильмы по нескольким строчкам сценария

Так называемый генеративный алгоритм создает изображения из меток. ИИ даже может предсказать по нескольким кадрам следующий. Но никто до сих пор не пытался собрать кадры вместе в последовательную историю, созданную на основе краткого сценария, пишет Science. «Насколько я знаю, это первое переложение текста в видео, которое дало такие хорошие результаты. Они не идеальны, но как минимум это начинает походить на настоящее видео», — говорит Тинне Туителаарс, специалист по информатике из бельгийского Левенского католического университета.

Нейронная сеть действует в два этапа, которые имитируют работу съемочной группы. Сначала с помощью текста создается основное содержание видео, по сути — размытое изображение фона с кляксой на том месте, где должно произойти главное действие. Во второй стадии с помощью текста и черновика видеоряда компьютер монтирует собственно фильм.

Вторая нейронная сеть при этом производит сравнение. Она видит фильм, который иллюстрирует, скажем, «плавание под парусом», и настоящее видео с яхтой и должна выбрать настоящее. Когда первая нейронная сеть справляется с задачей, вторая поднимает планку и начинает придираться еще более дотошно. Постепенно качество работы улучшается.

Пока таким образом удалось создать видеоролики всего по 32 кадра длиной и продолжительностью около секунды, а размером они с почтовую марку, 64×64 пикселя. Если сделать их больше, теряется точность, говорит Итун Ли, первый автор статьи, представленной на встрече американской Ассоциации по развитию искусственного интеллекта.

ИИ может оказывать неоценимую услугу Голливуду, подгоняя внешность актеров под потребности сценария. Иногда для этого требуется только подержанный ноутбук и бесплатный алгоритм. Пользователь Reddit под ником Deepfakes, известный подстановкой лиц голливудских актеров в порнороликах, создал видео, в котором ему удалось убрать усы супермена из «Лиги справедливости» лучше, чем это сделали в Голливуде.