Нейросети тоже нуждаются в состояниях, напоминающих сны. К такому выводу пришли исследователи из Национальной лаборатории Лос-Аламоса. Результаты их исследований публикует «EurekAlert!».
Нестабильность, связанная с непрерывным самообучением в искусственном интеллекте, решается с помощью введения системы в состояние, похожее на циклы сна. Такие периоды отдыха вызывают положительный отклик у алгоритмов.
«Мы изучаем импульсные нейронные сети — системы, которые учатся так же, как живой мозг, — рассказал компьютерный ученый из Лос-Аламосской лаборатории Йизинг Уоткинс. — Мы были очарованы перспективой обучения нейроморфного процессора способом, аналогичным тому, как люди и другие биологические системы извлекают уроки из окружающей среды в процессе развития детей».
Однако Уоткинс и исследовательская группа обнаружили, что моделирование сети стало нестабильным после продолжительных периодов обучения без присмотра. Но после того, как ученые подвергли нейросети воздействию состояний, аналогичных волнам, которые живой мозг испытывает во время сна, стабильность была восстановлена. «Было похоже, что мы даем нейронным сетям что-то вроде аналога спокойного ночного отдыха», — сказал Уоткинс.
«Вопрос о том, как предотвратить нестабильность систем обучения, возникает только при попытке использовать нейроморфные процессоры, — рассказал ученый-компьютерщик из Лос-Аламоса и соавтор исследований Гаррет Кенион. — Подавляющее большинство исследователей машинного обучения, глубокого обучения и ИИ никогда не сталкиваются с этой проблемой, потому что в очень искусственных системах, которые они изучают, могут позволить себе выполнять глобальные математические операции, которые влияют на общее динамическое усиление системы».
Решение дать сети отдохнуть стало чуть ли не последним, что могли придумать ученые. Они экспериментировали с различными типами шума, примерно сравнимыми со статическими, которые вы можете встретить между станциями при настройке радио. Наилучшие результаты были получены, когда исседователи использовали волны так называемого гауссовского шума. Они предполагают, что шум имитирует вход биологических нейронов в фазу медленного сна. Результаты показывают, что медленный сон может частично способствовать тому, чтобы кортикальные нейроны сохраняли свою стабильность и не галлюцинировали.
Следующая цель группы — реализовать их алгоритм на нейроморфном чипе Intel Loihi. Ученые надеются, что, позволяя ему время от времени спать, сделают его работу стабильной. Если результаты подтвердят необходимость сна в искусственном мозге, ожидается, что то же самое будет справедливо для андроидов и других интеллектуальных машин, которые появятся в будущем.
Читайте также:
— Астрономы нашли планету, похожую на Землю. Она вращается вокруг звезды, похожей на Солнце
— Новая технология позволила рассмотреть самых странных существ океана