Эксперты из лаборатории Google Brain научили нейросети генерировать музыкальные сэмплы из несуществующих инструментов. Технология NSynth создает уникальные гибриды, которые невозможно воспроизвести в реальности. Например, соединяет звучание клавикорда и органа Хаммонда, создавая совершенно новое созвучие.
Технология NSynth использует базу из 1000 различных музыкальных инструментов — от скрипок до диджериду. Нейросети анализируют звуки и генерируют уникальные сэмплы, которые невозможно воссоздать с помощью обычного синтезатора. «NSynth дает музыкантам доступ к интуитивному управлению тембром и динамикой, а также открывает доступ к новым звукам, которые сложно или невозможно воспроизвести с помощью настраиваемого вручную синтезатора», — сообщают разработчики технологии в блоге.
Журнал WIRED описывает, как NSynth соединяет звуки клавикорда и органа Хаммонда. Нейросеть не накладывает звучание одного инструмента на другой. Для каждого инструмента NSynth создает математический вектор, с помощью которого машина имитирует звучание инструмента или генерирует гибриды двух инструментов. Таким способом искусственный интеллект может создавать сотни неизвестных ранее звуковых сочетаний.
Разработкой NSynth занимается команда проекта Google Magenta, входящего в состав лаборатории Google Brain. Эксперты Magenta работают над компьютерными системами на основе машинного обучения для создания музыкальных и художественных композиций. В случае с NSynth разработчики хотят научить нейросеть соединять звучания всех музыкальных инструментов воедино, а также научить два алгоритма работать сообща.
На этой неделе команда разработчиков представит новые подробности об NSynth на фестивале музыки, искусства и технологии Moogfest в Северной Каролине.
«Смыслом жизни бесполезного класса станут компьютерные игры»
Мнения
Раньше считалось, что искусственному интеллекту неподвластно творчество. Однако последние эксперименты доказывают обратное. Китайская компания Baidu и лаборатория Sony CSL Research Laboratory учат ИИ писать музыку, вдохновляясь другими композициями и даже живописью. Алгоритмы также успешно научились имитировать классику — эксперимент все той же лаборатории Sony доказал, что 50% слушателей не способны отличить музыку Баха от мелодий, созданных ИИ. В марте специалисты из университета Осака создали алгоритм, который пишет музыку, подстраиваясь под эмоциональное состояние слушателя.