Исследователи объяснили, что модели эффективно запоминают любую информацию. Обычно это хорошо, но в некоторых случаях — вредно, ведь ИИ не разделяет важные и второстепенные данные и обрабатывает их с одинаковой эффективностью, тратя примерно такое же количество данных. Но по мере увеличения объема доступной информации, системы вынуждены тратить все больше и больше ограниченных вычислительных ресурсов на ее обработку. Исследователи Facebook надеются помочь будущим ИИ быть более внимательными, наделив данные сроком годности.
Этот метод называется Expire-Span и поможет нейронным сетям эффективно сортировать и хранить информацию, наиболее подходящую для выполнения поставленных перед ними задач. Expire-Span работает, сначала предсказывая, какая информация будет наиболее полезной для сети в данном контексте, а затем присваивая ей срок годности. Чем важнее, по мнению Expire-Span, та или иная информация, тем более отдаленный срок годности будет у данных. Нейронные сети смогут дольше хранить актуальную информацию, постоянно освобождая память, забывая неактуальные данные.
«Expire-Span рассчитывает значение срока годности информации для всех видов данных и делает это каждый раз, когда ему предоставляют новый фрагмент информации. Этот тег определяет, как долго информация сохраняется в памяти, — пояснили исследователи. — Постепенный распад части данных является ключом к сохранению важной информации без ее размывания».
Хотя исследования еще находятся на ранней стадии, ученые уверены, что для усовершенствования нейронной сети нужно не так много шагов. В будущем команда надеется разработать еще более приближенную к человеческой память, но способную усваивать новую информацию гораздо быстрее, чем позволяют нынешние технологии.
Читать далее
Ученые придумали способ зарядки электромобилей на ходу
Ученые показали, как черная дыра разрывает звезду
Ошибка эволюции: какие органы в организме человека работают нелогично