Впервые ученые показали, что большая нейронная сеть может обрабатывать последовательности, например, предложения, потребляя при этом в 4–16 раз меньше энергии.
Новое исследование основано на нейроморфном чипе Loihi от Intel Labs, который использует данные нейробиологии для создания устройств, функционирующих как наш мозг.
Разные устройства могут автономно распознавать объекты и искать взаимосвязи между ними. Но потребление энергии является серьезным препятствием на пути к развитию таких методов. Разработчики считают, что ситуацию могут исправить нейроморфные технологии, которые используют для вычислений логику работы человеческого мозга. Для обработки информации 100 млрд нейронов потребляют всего около 20 Ватт, сколько же надо средней энергосберегающей лампочке.
В ходе исследования группа сосредоточилась на алгоритмах, которые работают с временными процессами. Например, система должна была отвечать на вопросы о ранее рассказанной истории и улавливать отношения между объектами или людьми из контекста. Протестированное оборудование состояло из 32 чипов Loihi.
Авторы отмечают, что новая система в 4–16 раз более энергоэффективна, чем другие модели искусственного интеллекта на обычном оборудовании.
В своей нейроморфной сети группа использовала механизм памяти мозга. Ранее экспериментальные исследования показали, что человеческий мозг может хранить информацию в течение короткого периода времени даже без нейронной активности, для этого он использует внутренние переменные нейроны.
Чтобы повторить этот принцип, исследователи использовали два типа сетей глубокого обучения. Нейронные сети с обратной связью отвечают за кратковременную память. Дальше рекуррентные модули отфильтровывают релевантную информацию из входного сигнала и сохраняют ее. Затем сеть прямой связи определяет, какие из найденных взаимосвязей очень важны для решения поставленной задачи. Бессмысленные данные отсеиваются, а нейроны срабатывают только в тех модулях, где была найдена соответствующая информация. Этот процесс в конечном итоге приводит к экономии энергии.
Читать далее
Гравитации и темной материи не существует: главное о новой работе физиков
Во Вселенной происходит что-то странное: как объяснить нестыковки в постоянной Хаббла
Осьминоги мучают и поедают себя после спаривания. Ученые наконец-то поняли почему