При обучении алгоритма исследователи не показывали ему, как соотносить изображение с музыкой — нейросеть получала эти навыки самостоятельно с помощью метода обучение без учителя.
Алгоритм построен по принципу автокодировщика и состоит из кодировщика и декодировщика, которые работают с разными данными — в данном случае, с изображениями и звуками.
Кодировщик учился на датасете MNIST, в котором содержится 60 тыс. рукописных символов и на датасете Behance Artistic Media, в который входят около 180 тыс. картин маслом и акварелью.
Нейросеть сначала производит преобразование из изображения в музыку, он производит обратное преобразование из полученной музыки в новое изображение, после чего оно сравнивается с исходным.
Ранее инженеры из Университета Южной Калифорнии создали нейросеть, которая воссоздает объемный образ человека по фотографии. Алгоритм отличается от аналогичных способностью точно создает изображение человека со спины, которое не видно на исходном снимке.