Оказалось, что забывчивость помогает ИИ учиться: как это работает

Специалисты из Института психолингвистики Макса Планка искусственно ограничили память современных нейросетей. В отличие от классических систем, которые безупречно помнят огромные объемы данных, новый алгоритм целенаправленно стирает точные буквенные формы старых слов.

Ученые протестировали новую технологию на ИИ-бенчмарке BabyLM. Этот датасет содержит ровно столько текстовой информации, сколько человеческий ребенок успевает услышать за период своего развития.

Эксперименты показали, что «забывающий» ИИ справляется с тестами на знание синтаксиса и языковое моделирование значительно лучше стандартных трансформеров. Оказалось, что жесткое ограничение памяти заставляет нейросеть игнорировать лишний текстовый шум. Вместо этого она фокусируется на поиске устойчивых закономерностей и абстрактных правил грамматики.

Положительный эффект проявился только тогда, когда деградацию данных объединили с коротким эхо-буфером. Он сохраняет в неизменном виде лишь последние 3–7 слов, обеспечивая локальный контекст. За пределами этого окна точные фразы постепенно стираются.

Эта работа подтверждает давнюю гипотезу когнитивистов о том, что несовершенство человеческой памяти — это эволюционное преимущество для обучения, а не баг. Проект доказывает, что для создания продвинутого ИИ не всегда требуются терабайты данных и бесконечные контекстные окна.

Читать далее:

Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу

Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе

Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды

Обложка: magnific