Новая модификация алгоритма «дневного сна» позволяет нейросетям эффективно очищать память от ложных воспоминаний и успешно работать со сложными несбалансированными данными из реального мира. Об этом сообщает «Хайтек» со ссылкой на исследование в журнале Journal of Statistical Mechanics: Theory and Experiment.
Физики из Римского университета Ла Сапиенца совместно с японскими коллегами модернизировали классические сети Хопфилда, которые имитируют работу ассоциативной памяти человеческого мозга. В базовом состоянии такие системы быстро заполняются информационным мусором и смешанными галлюцинациями, теряя до 87% своей полезной емкости.
Предыдущая версия алгоритма под названием Daydreaming решала эту проблему путем одновременного обучения и очистки памяти, однако она ломалась при встрече с реальными несбалансированными данными, вроде слишком темных изображений.
Для преодоления этого ограничения исследователи создали обновленный метод под названием Centered Daydreaming. Новая система заставляет искусственные нейроны анализировать не абсолютные значения входящих сигналов, а лишь их локальные отличия от среднего значения. Такой подход позволяет алгоритму эффективно концентрироваться на ключевых различиях между объектами и полностью сохранять способность к точному извлечению воспоминаний.
Разработчики рассчитывают, что понимание подобных механизмов фильтрации информации поможет в будущем создать более понятные и энергоэффективные ИИ-системы.
Обложка: magnific
