Ученые из MIT представили систему искусственного интеллекта (ИИ) Foley Music, которая генерирует музыку на основе видео без звука, где музыканты играют на инструментах. Они говорят, что модель работает с разными музыкальными инструментами и превосходит несколько существующих систем по скорости и качеству работы.

Исследователи считают, что модель ИИ, которая создает музыку на основе движений человека, может стать основой для нескольких приложений — от автоматического добавления звуковых эффектов в видео до создания иммерсивных впечатлений в виртуальной реальности. Исследователи отмечают, что таким навыком обладают и люди — например, когда понимают речь человека по губам.

Foley Music обращает внимание на ключевые точки тела (25 точек) и пальцы (20 точек) как промежуточные визуальные опорные точки, которые она использует для моделирования движений тела и рук. После этого система переводит эти движения в музыкальные ноты, учитывая громкость. Так она может воспроизвести аккордеон, бас-гитару, фагот, виолончель, гитару, фортепиано, укулелеле и другие инструменты.

В ходе экспериментов исследователи обучили Foley Music трем наборам данных, содержащим тысячу видеоклипов с музыкальными исполнениями, относящихся к 11 категориям. Так они смогли собрать корпус видео разной сложности — инструкции с сайта AtinPiano, любительские видео с каналов на YouTube, отрывки из концертов и другие данные.

Исследователи загрузили в систему Foley Music 450 видео. Затем они отдали полученную музыку ученым, которые оценивали результат. В некоторых случаях они отмечали, что «музыка похожа на кавер от качественной группы».

Эксперты обнаружили, что сгенерированную музыку Foley Music трудно отличить от реальных записей. Более того, ИИ может улучшить качество звука, семантическое выравнивание и временную синхронизацию.

— Комета NEOWISE видна в России. Где ее увидеть, куда смотреть и как сделать фото

— Три астероида летят к Земле, и один из них потенциально опасен. Есть ли угроза?

ИИ научился восстанавливать песню по музыкальному видео