Разработчики из MIT написали искусственный интеллект PixelPlayer, который может находить нужный музыкальный инструмент на видео и вытягивать его звучание, если он играет тише остальных.
Нейросеть предлагает пользователю просто выбрать один из инструментов, звучащих в ролике, и сделать его громче за несколько нажатий мышкой.
PixelPlayer состоит из трех слоев — первый анализирует графические элементы видео, другой — анализирует аудиодорожку, третий — сопоставляет кадры и звук и понимает, какой из инструментов звучит тише необходимого.
Для обучения искусственного интеллекта MIT предложили 714 видеозаписей с сольными или оркестровыми выступлениями музыкантов общей длительностью более 60 часов. В них были представлены 11 типов инструментов — аккордеон, акустическая гитара, виолончель, кларнет, эрху, флейта, саксофон, труба, туба, скрипка и ксилофон.
Искусственный интеллект заменил копирайтеров в Alibaba
Новости
Недавно Facebook представил искусственный интеллект, который способен трансформировать музыку из одного стиля — в другой. Искусственный интеллект способен высокоточно воссоздать музыку из одного жанра в другой при помощи различных музыкальных инструментов через автокодирование. Нейросеть может взять запись симфонического оркестра, который исполняет Баха, а превратить его в такую же мелодию, но на фортепиано будет партия Бетховена.