Этот проект, пока не получивший названия, обучался на более чем 60 часах видео, где от нее требовалось определять звучание конкретных инструменты на уровне пикселей и извлекать звуки, связанные с этими инструментами. Исследователи говорят, что возможность изменять громкость отдельных инструментов означает, что в будущем подобные системы потенциально могут помочь инженерам улучшить качество звука. В описательной статье указывается, что ИИ может идентифицировать звуки более чем 20 широко распространенных инструментов.
Предыдущие попытки разделить источники звука были сосредоточены исключительно на аудио, которое требует человеческих усилий. «Мы ожидали лучшего сценария, в котором мы сможем узнать, какие звуки издают разные инструменты», — говорит Лао Чжао, руководитель группы. «Мы были удивлены, что смогли пространственно расположить инструменты на пиксельном уровне. Это дает нам огромные возможности для редактирования аудио».