Новая система LyricJam поможет артистам сочинять новые тексты, которые хорошо сочетаются с музыкой.
Цель нашего исследования — разработка систему, которая может генерировать тексты песен, отражающие настроение и эмоции, выражаемые через различные аспекты музыки. Речь идет об аккордах, используемых инструментах, темпе. Мы стремились создать инструмент, который музыканты могли бы использовать, чтобы черпать вдохновение для написания собственных песен.
Ольга Вечтомова, автор исследования
По сути, LyricJam представляет собой систему искусственного интеллекта. С точки зрения пользователя приложение очень простое: музыкальный исполнитель воспроизводит живую музыку, а система отображает строки текста, которые он генерирует в реальном времени в ответ на музыку, которую слышит. Сгенерированные строки сохраняются.
Система, созданная исследователями, работает путем преобразования необработанных аудиофайлов в спектрограммы. Затем используются модели глубокого обучения для создания текстов песен, соответствующих музыке, которую они обрабатывали в реальном времени. Архитектура модели состоит из двух вариационных автоэнкодеров, один из которых предназначен для изучения представления музыкального звука, а другой — для изучения текстов.
Читать далее
Вирус NiV снова активен: от него нет вакцины и смертность составляет до 75%
Мутировавший коронавирус может научиться проникать в клетки новым способом
В Солнечной системе замечена самая большая комета за всю историю: это почти планета
Autoencoder (автокодер, автоэнкодер, AE) — нейронная сеть, которая копирует входные данные на выход. По архитектуре похож на персептрон. Автоэнкодеры сжимают входные данные для представления их в latent-space (скрытое пространство), а затем восстанавливают из этого представления output (выходные данные). Цель — получить на выходном слое отклик, наиболее близкий к входному.
Отличительная особенность автоэнкодеров — количество нейронов на входе и на выходе совпадает.