В эксперименте проверили o1 и o3 от OpenAI, R1 от DeepSeek, Claude 3.7 Sonnet от Anthropic и Gemini от Google. Каждой из моделей предлагались четыре классические логические задачи: переправа через реку, прыжки через шашки, укладка блоков и башня Ханоя.
Результаты оказались неожиданными. В простых задачах продвинутые модели со способностью к рассуждениям уступали обычным большим языковым моделям. В задачах средней сложности — превосходили их, а при переходе к действительно сложным головоломкам точность стремилась практически к нулю.
Даже при предоставлении пошаговых алгоритмов решения, например, для башни Ханоя, качество не улучшалось. Более того, модели вели себя непоследовательно: могли сделать до 100 правильных ходов в одной задаче, но проваливали первые пять — в другой.
Анализ показал, что по мере роста сложности модели начинали использовать меньше токенов, то есть «размышляли» меньше, чем раньше, даже при наличии ресурсов. Это указывает на фундаментальные ограничения в поддержании цепочки рассуждений.
Рассуждающие модели работают по принципу «цепочки мыслей»: они имитируют человеческую логику, разбивая сложные задачи на множество шагов и объясняя свои действия на каждом этапе. Однако исследователи Apple полагают, что этот подход основан не на «понимании», а на узнавании шаблонов из обучающих данных.
Apple также критикует принятые подходы к оценке ИИ: по их мнению, существующие бенчмарки часто включают задачи, встречающиеся в обучающих выборках, что искажает реальную картину.
Работа вызвала неоднозначную реакцию. Одни считают, что Apple, отстающая в гонке ИИ, таким образом подрывает доверие к конкурентам. Другие — поддерживают.
Например, эксперт по машинному обучению и бывший руководитель группы в Gartner Андрей Бурков в посте в X назвал исследование важным вкладом в понимание возможностей ИИ. Он подчеркнул, что даже самые продвинутые модели остаются нейросетями — со всеми их ограничениями.
Apple did more for AI than anyone else: they proved through peer-reviewed publications that LLMs are just neural networks and, as such, have all the limitations of other neural networks trained in a supervised way, which I and a few other voices tried to convey, but the noise…
— Andriy Burkov (@burkov) June 9, 2025
Читать далее:
«Врата ада» в Туркменистане начали гаснуть после 54 лет горения
Физики поняли, что произошло в первые секунды Вселенной: это их удивило
Археологи нашли останки «призрачного народа»: он исчез, не оставив потомков
На обложке: Изображение от freepik, сведения о лицензии