Исследователи учили Shimon на базе 50 тыс. текстов и мелодий из разных жанров: джаза, прогрессив-рока и хип-хопа. Поняв базовый алгоритм создания песен, робот сумел сочинить свой дебютный альбом.
Изначально создатель робота Гиль Вайнберг учил устройство танцевать под музыку, которую оно слышит, затем добавил возможность импровизации. Теперь же Shimon может сочинять, играть и петь свои песни. Вайнберг добавил, что он задает роботу тему, после чего устройство самостоятельно пишет текст, а мелодии они создают вместе. При этом робот поет и двигается в такт музыке.
Shimon уже выступал в Центре Кеннеди в США, а в 2020 году он отправится в новое турне по продвижению альбома, который выйдет на Spotify в апреле.
Теперь основой быстрого обучения робота являются его семантические знания — умение связывать темы и мелодии. Это сложнее, чем просто глубокое обучение на основе базы данных, созданной людьми. Вместо того, чтобы просто обучать нейронную сеть, которая соотносит конкретные слова, которые, как правило, встречаются вместе в текстах песен, Shimon может распознавать более общие темы и на их основе создавать целостное музыкальное произведение.
Песни робота состоят из слов и фраз, которые на первый взгляд звучат как цельные предложения, но на самом деле не имеют никакого смысла, например, «в твоей голове может быть музыка или звезда» или «дом — это место, где появляется радуга». Однако, отмечает Вайнберг, множество написанных человеком песен — тоже «красиво звучащая ерунда».
«С таким уровнем анализа Shimon способен вдохновляться песнями быстрее, чем любой музыкант. На фундаментальном уровне Shimon способен очень быстро воспринимать огромное количество нового материала, поэтому в течение одного дня он может поработать над джазовыми мелодиями, текстами хип-хоп песен или комбинацией всех этих материалов», — добавил Вайнберг.