Исследователи из Стэнфорда и Университета Вашингтона представили ИИ-модель s1, которая превзошла OpenAI в математических тестах. Её обучили на 1000 вопросах с помощью метода дистилляции. Разработчики доказали, что для эффективного ИИ не нужны огромные вычислительные мощности и тысячи GPU.
Метод дистилляции позволил s1 учиться на ответах более крупных моделей. Учёные использовали открытый проект Qwen2.5 от Alibaba, но в итоге сократили обучающий набор до 1000 задач. Для вычислений потребовалось всего 16 GPU Nvidia H100.
Дополнительно применили технику «масштабирование времени тестирования», которая позволила ИИ проверять свои выводы перед генерацией ответа. Включение команды «Wait» заставляло модель рассуждать дальше и исправлять ошибки.
По итогам тестов s1 превзошла OpenAI o1-preview на 27% в математических задачах. Похожий подход использовала модель R1 от DeepSeek. OpenAI уже обвинила её разработчиков в нарушении условий, а Google запрещает использовать API Gemini для конкурирующих продуктов.
Эксперты считают, что появление компактных ИИ может изменить рынок. Компании больше не придётся тратить миллиарды на обучение моделей и закупку тысяч GPU.
Подробности о разработке опубликованы в библиотеке препринтов arXiv.
Читать далее:
Потенциально обитаемую планету нашли недалеко от нас: она похожа на Землю
Астрофизики впервые наблюдали детали нити космической паутины
Квантовая физика оказалась более странной, чем считалось: что показал новый эксперимент
Обложка: AI | vecstock