ИИ проходил тесты с некоторыми ограничениями — например, ему не нужно было решать задачи, связанные с изучением диаграмм. Тем не менее, исследователи протестировали программу на разных версиях теста, а также на задачах разных лет и выяснили, что ее производительность была последовательной. Если бы школьник показывал такие результаты, он был бы отличником.
При этом исследователи отмечают быстрый прогресс машины — в 2016 году ни один ИИ не смог набрать и 60% баллов на аналогичном тесте по естественным наукам для восьмиклассников.
Для того, чтобы он мог лучше выполнять задачи, систему ИИ обучили понимать и обрабатывать текст, улучшили зрение и серьезно обновили базу знаний, на которой он обучался.
Однако критики технологии считают: эти результаты не означают, что ИИ стал настолько же умным, как большинство выпускников школ. «Языковая модель будет отражать статистические ассоциации между словами, которые позволяют ИИ ответить на вопрос без какого-либо реального понимания предмета», — заявила профессор компьютерных наук Университета Портленда Мелани Митчелл в интервью WIRED.
«Многие издания освещали работу Института Аллена слишком восторженно, — отмечает автор издания Vox. — Большая часть достижений машины заключалась в том, что она хорошо работает со своей базой данных и может обрабатывать текст задач. Такие заголовки, как «Этот ИИ только что прошел научный тест и может быть умнее восьмиклассника» или «Искусственный интеллект сейчас так же умен, как выпускники школ США», далеко не соответствуют действительности».