Система получила название «Автомонтаж» — она состоит из двух подсистем, «Автослайд» и «Автооператор», которые совмещают видеолекцию с презентацией и монтируют и снимают ее соответственно. Разработка проекта началась в 2017 году по заказу Фонда содействия инновациям.
Для работы системы в лекционной аудитории устанавливаются камеры высокого разрешения, а нейросеть «Автооператор» автоматически снимает лекцию с разных ракурсов. Затем отснятый материал монтируется в автоматическом режиме, а нейросеть «Автослайд» подставляет к видео слайды из презентации.
При просмотре видеолекции, снятой не в студийных условиях, презентацию спикера иногда практически не видно на экране. Идея «Автослайда» в том, чтобы автоматически совмещать видео и презентацию лектора. Оба этих файла загружаются в систему, а нейронная сеть самостоятельно определяет, какой слайд показывается в определенный момент времени, и автоматически заменяет его четкой, яркой, подходящей по размеру картинкой из оригинальной презентации.
СПбПУ
Ранее исследователи из Амстердамского университета представили нейросеть, способную соотносить визуальные ощущения со звуками и превращать картины в музыку.