Недавнее исследование показало, что популярные модели искусственного интеллекта, такие как трансформеры, на самом деле не понимают, как устроен мир.
Трансформеры — это особая архитектура нейронных сетей, которая широко применяется в таких моделях, как GPT-4, BERT и других. Эти модели обучаются на огромных объемах текста, чтобы предсказывать следующие слова или фразы в тексте, анализировать язык и выполнять задачи, связанные с обработкой информации.
В ходе эксперимента исследователи проверили, как хорошо трансформеры могут ориентироваться в Нью-Йорке, создавая маршруты для водителей. Модели действительно показывали почти идеальные результаты, направляя водителей по улицам города. Но когда ученые закрыли несколько улиц и добавили объезды, точность навигации резко упала. Если закрыть даже один процент улиц, точность модели упала с почти 100% до 67%.
После этого ученые решили изучить, как именно модели формируют карты города. Оказалось, что модели не используют реальные карты, а создают свои собственные «воображаемые» карты, на которых улицы часто располагались неправдоподобным образом — с кривыми, которых не существует в реальности, и улицами, которые соединяли далеко расположенные перекрестки. Эти карты не соответствовали реальному городскому плану.
Исследователи также проверили, как ИИ справляется с другими задачами, например, игрой в настольную игру Othello. Оказалось, что модели могут правильно делать ходы, но не понимают правил игры, что еще раз подтверждает, что ИИ не всегда осознает, что происходит.
Чтобы лучше понять, как ИИ формирует модели мира, ученые разработали два новых критерия. Первый, «последовательная отличимость», проверяет, может ли модель различать разные состояния, например, два разных поля в игре. Второй критерий, «сжимаемость последовательностей», проверяет, понимает ли модель, что одинаковые ситуации требуют одинаковых решений.
«Мы надеялись, что ИИ, который решает такие сложные задачи, можно будет применить и в других областях науки. Но важно понять, правильно ли он понимает мир, прежде чем использовать его для новых открытий», — сказал один из авторов исследования, Ашеш Рамбачан.
Команда ученых из MIT и Гарварда добавила, что даже самые успешные модели ИИ могут не понимать основ мира, несмотря на то, что они хорошо решают определенные задачи. Это открытие важно, поскольку оно показывает, что такие модели не всегда можно применять в реальной жизни.
«Нужно не только доверять этим моделям, но и тщательно проверять, для каких задач они подходят», — добавил Рамбачан.
В будущем ученые планируют использовать свои новые методы для анализа более сложных ситуаций, где правила частично известны.
Читать далее:
Привычное, но непонятное поведение собак наконец-то объяснили
Биологи случайно нашли животное, которое стареет в обратном направлении
Названа дата следующей магнитной бури: когда она обрушится на Землю
Обложка: Kandinsky by Sber AI