Нейросеть научили распознавать отдельные музыкальные инструменты и вытягивать его звук

Нейросеть предлагает пользователю просто выбрать один из инструментов, звучащих в ролике, и сделать его громче за несколько нажатий мышкой.

PixelPlayer состоит из трех слоев — первый анализирует графические элементы видео, другой — анализирует аудиодорожку, третий — сопоставляет кадры и звук и понимает, какой из инструментов звучит тише необходимого.

Для обучения искусственного интеллекта MIT предложили 714 видеозаписей с сольными или оркестровыми выступлениями музыкантов общей длительностью более 60 часов. В них были представлены 11 типов инструментов — аккордеон, акустическая гитара, виолончель, кларнет, эрху, флейта, саксофон, труба, туба, скрипка и ксилофон.

Недавно Facebook представил искусственный интеллект, который способен трансформировать музыку из одного стиля — в другой. Искусственный интеллект способен высокоточно воссоздать музыку из одного жанра в другой при помощи различных музыкальных инструментов через автокодирование. Нейросеть может взять запись симфонического оркестра, который исполняет Баха, а превратить его в такую же мелодию, но на фортепиано будет партия Бетховена.