Исследователи из Университета Ватерлоо разработали LyricJam — передовую вычислительную систему, которая генерирует тексты для живой инструментальной музыки.
Новая система LyricJam поможет артистам сочинять новые тексты, которые хорошо сочетаются с музыкой.
Цель нашего исследования — разработка систему, которая может генерировать тексты песен, отражающие настроение и эмоции, выражаемые через различные аспекты музыки. Речь идет об аккордах, используемых инструментах, темпе. Мы стремились создать инструмент, который музыканты могли бы использовать, чтобы черпать вдохновение для написания собственных песен.
Ольга Вечтомова, автор исследования
По сути, LyricJam представляет собой систему искусственного интеллекта. С точки зрения пользователя приложение очень простое: музыкальный исполнитель воспроизводит живую музыку, а система отображает строки текста, которые он генерирует в реальном времени в ответ на музыку, которую слышит. Сгенерированные строки сохраняются.
Система, созданная исследователями, работает путем преобразования необработанных аудиофайлов в спектрограммы. Затем используются модели глубокого обучения для создания текстов песен, соответствующих музыке, которую они обрабатывали в реальном времени. Архитектура модели состоит из двух вариационных автоэнкодеров, один из которых предназначен для изучения представления музыкального звука, а другой — для изучения текстов.
Читать далее
Вирус NiV снова активен: от него нет вакцины и смертность составляет до 75%
Мутировавший коронавирус может научиться проникать в клетки новым способом
В Солнечной системе замечена самая большая комета за всю историю: это почти планета