Новости 29 ноября 2024

Российские ученые создали платформу для контекстного обучения с подкреплением

Платформа XLand-MiniGrid позволяет моделировать сложные задачи и мгновенно менять условия обучения. Ученые говорят, что это ускорит создание адаптивных ИИ-алгоритмов и откроет новые возможности в персонализированных рекомендациях, робототехнике и автономном транспорте, сообщили в представители пресс-служб Университета Иннополис и T-Bank AI Research.

Читайте «Хайтек» в

Исследователи Университета Иннополис, T-Bank AI Research и AIRI разработали XLand-MiniGrid — открытую виртуальную среду для исследований в области контекстного обучения с подкреплением (In-Context RL). Это направление искусственного интеллекта помогает моделям быстрее адаптироваться к новым задачам, используя подсказки и контекст вместо длительного обучения с нуля. Платформа уже заинтересовала ведущие научные центры, включая Google DeepMind и Оксфордский университет.

Почему это важно?

Контекстное обучение с подкреплением позволяет искусственному интеллекту быстро реагировать на новые условия и дообучаться в процессе работы. Это особенно полезно для персонализированных рекомендаций, управления роботами и автономных транспортных систем. Однако доступные платформы для таких исследований ограничены. Корпоративные среды, например Google DeepMind, закрыты, а публичные инструменты не подходят для сложных задач.

XLand-MiniGrid устраняет эти барьеры. Она позволяет моделировать задачи разной сложности, менять условия в реальном времени и использовать готовые датасеты, что упрощает разработку новых алгоритмов.

Технические особенности

Среду построили на базе JAX — технологии, способной выполнять миллиарды операций в секунду. За счет высокой производительности XLand-MiniGrid собрала более 100 миллиардов примеров поведения ИИ, охватывающих 30 тысяч различных задач. Это позволяет исключить этапы начального обучения, оптимизируя ресурсы и время исследований.

На графике показано, что XLand-MiniGrid позволяет агентам совершать до 1 трлн взаимодействий со средой за три дня, что ускоряет эксперименты и проверку гипотез. Однако больше половины попыток обучения агентов заканчиваются неудачей. Несмотря на повышение среднего качества агентов, медианное значение остается на нуле, что подчеркивает высокую сложность самой среды для текущего уровня технологий, а значит, может стимулировать их улучшение

Мнение разработчиков

«Когда мы начали работать в этой области, ни одна существующая платформа не подходила для тестирования наших идей. Это стало серьезной проблемой не только для нас, но и для других исследователей. XLand-MiniGrid появился, чтобы закрыть этот пробел», — пояснил Вячеслав Синий из T-Bank AI Research.

Руководитель группы «Адаптивные агенты» Владислав Куренков добавил, что благодаря разнообразию задач в XLand-MiniGrid можно собирать обширные датасеты и обучать алгоритмы без необходимости начинать с нуля.

Эксперименты в XLand-MiniGrid уже провели исследователи из Google DeepMind, Калифорнийского университета в Беркли и Оксфордского университета. Научная статья XLand-MiniGrid: Scalable Meta-Reinforcement Learning Environments in JAX, описывающая создание среды, была принята на крупнейшую международную конференцию в области искусственного интеллекта — NeurIPS 2024. В этом году конференция пройдет с 10 по 15 декабря в Ванкувере, Канада.