Инженеры NVIDIA под руководством Брайана Катандзаро разработали нейросеть для переформатирования одного типа видео в другое. Полное описание технологии опубликовано на сайте arXiv.org.
Нейросеть сможет анализировать соседние кадры — это позволит создавать стабильную картинку и последовательность изображений в ролике. С ее помощью видеографы могут ролик с моделью лица превратить в видео с фотореалистичным изображением двигающегося человека.
Технология анализирует текущий и рядом стоящие кадры, а также картинки из второго видео. После этого алгоритм рассчитывает оптический поток на основе кадров и создает маску деформации для последнего кадра. И только тогда нейросеть создает первый кадр — часть пикселей в котором созданы с помощью деформации предыдущего кадра, а другая часть — разработана алгоритмом.
Биологи: люди, потребляющие в пищу около 50% углеводов, живут дольше всех
Новости
В мае компания NVIDIA представила искусственный интеллект, который может восстанавливать поврежденные фрагменты изображения, а также редактировать недостающие детали. При этом нейросеть самостоятельно понимает, какую деталь необходимо дополнить.