Новости 16 сентября 2019

Российские инженеры научили нейросеть самостоятельно снимать и монтировать видео

Далее

Инженеры из Санкт-Петербургского политехнического университета (СПбПУ) создали нейросеть, способную самостоятельно снимать и монтировать образовательные лекции. Об этом пишет РИА «Новости» со ссылкой на сообщение университета.

Система получила название «Автомонтаж» — она состоит из двух подсистем, «Автослайд» и «Автооператор», которые совмещают видеолекцию с презентацией и монтируют и снимают ее соответственно. Разработка проекта началась в 2017 году по заказу Фонда содействия инновациям.

Для работы системы в лекционной аудитории устанавливаются камеры высокого разрешения, а нейросеть «Автооператор» автоматически снимает лекцию с разных ракурсов. Затем отснятый материал монтируется в автоматическом режиме, а нейросеть «Автослайд» подставляет к видео слайды из презентации.

При просмотре видеолекции, снятой не в студийных условиях, презентацию спикера иногда практически не видно на экране. Идея «Автослайда» в том, чтобы автоматически совмещать видео и презентацию лектора. Оба этих файла загружаются в систему, а нейронная сеть самостоятельно определяет, какой слайд показывается в определенный момент времени, и автоматически заменяет его четкой, яркой, подходящей по размеру картинкой из оригинальной презентации.

СПбПУ


Ранее исследователи из Амстердамского университета представили нейросеть, способную соотносить визуальные ощущения со звуками и превращать картины в музыку.