Технологии 7 июля 2018

ИИ научили редактировать музыку в видео

Далее

Ученые из Массачусетского технологического института представили проект искусственного интеллекта, который может смотреть видео с музыкой, затем отделять оттуда звуки и работать с ними — например, делать их громче или мягче

Этот проект, пока не получивший названия, обучался на более чем 60 часах видео, где от нее требовалось определять звучание конкретных инструменты на уровне пикселей и извлекать звуки, связанные с этими инструментами. Исследователи говорят, что возможность изменять громкость отдельных инструментов означает, что в будущем подобные системы потенциально могут помочь инженерам улучшить качество звука. В описательной статье указывается, что ИИ может идентифицировать звуки более чем 20 широко распространенных инструментов.

Предыдущие попытки разделить источники звука были сосредоточены исключительно на аудио, которое требует человеческих усилий. «Мы ожидали лучшего сценария, в котором мы сможем узнать, какие звуки издают разные инструменты», — говорит Лао Чжао, руководитель группы. «Мы были удивлены, что смогли пространственно расположить инструменты на пиксельном уровне. Это дает нам огромные возможности для редактирования аудио».