Ученые установили, что элементы языка, которые часто воспринимаются как малозначимые — знаки препинания и артикли — на самом деле играют важную роль в понимании искусственными интеллектом текстов. Анализ показал: именно в этих «незаметных» деталях содержится критически важная информация для корректной интерпретации контекста.
Специалисты разработали методику, которая позволяет отслеживать, какие данные сохраняются в связке с конкретными токенами. Это минимальные элементы текста, на которых основана работа языковых моделей. Первый эксперимент заключался в обучении модели восстанавливать исходный текст по последовательности токенов, включая знаки препинания и стоп-слова. Неожиданно оказалось, что именно стоп-слова, обычно считающиеся неинформативными, несли наибольшую нагрузку для понимания контекста.
Затем исследователи провели дополнительные тесты на стандартных наборах задач MMLU и BABILong. Из текстов намеренно удалялись «малозначимые», с точки зрения логики, элементы. Чтобы уточнить, что можно убрать без потери смысла для человека, ученые задали этот вопрос языковым моделям — включая ChatGPT.
Результаты подтвердили гипотезу: при исключении из формулировок даже, казалось бы, несущественных символов, точность выполнения задач снижалась — в некоторых случаях до 20%.
Изучение принципов действия языковых моделей – одна из главных задач нашей научной группы. Мы работаем над этим уже два года. Глубокое понимание того, как модели принимают решения, поможет сделать их не только эффективнее, но и безопаснее.
Антон Разжигаев, руководитель группы «Интерпретируемый ИИ» лаборатории FusionBrain Института AIRI
Исследователи опубликовали код для анализа работы языковых моделей по ссылке.
Читать далее:
Ученые в тупике: «Уэбб» засек невозможный свет в галактике
Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу
Миллионы «невидимых» людей: ученые нашли ошибку в оценке населения Земли
На обложке: Изображение от jcomp на Freepik, сведения о лицензии