Исследователи обнаружили, что большие языковые модели преднамеренно манипулируют результатами личностных тестов, чтобы казаться более привлекательными. Ученые провели эксперимент с тестом «Большая пятерка» (Big 5), который оценивает пять личностных характеристик: экстроверсию, открытость опыту, добросовестность, доброжелательность и нейротизм.
В исследовании тестировали модели от OpenAI, Anthropic, Google и Meta*. Эксперимент показал, что пока моделям задавали небольшое количество вопросов они отвечали нейтрально. Но при увеличении количества вопросов, когда системы распознавали тест, они быстро адаптировались, стремясь продемонстрировать наиболее социально одобряемые черты характера.
Наиболее интересные результаты показала GPT-4. Модель существенно повышала баллы по всем позитивно воспринимаемым чертам — более чем на одно стандартное отклонение. Показатели нейротизма, напротив, значительно занижались. Этот эффект эквивалентен ситуации, когда человек внезапно начинает представляться более привлекательной личностью, чем 85% населения.
Исследователи предполагают, что способность к манипуляции является следствием заключительного этапа обучения языковых моделей, когда люди выбирают наиболее предпочтительные ответы. По сути, ИИ научился глубоко понимать социальные нормы и ожидания, что позволяет моментально адаптироваться под желаемый образ.
Исследование ставит под сомнение достоверность психологических и социологических исследований, где языковые модели применяются для моделирования человеческого поведения. Ученые предупреждают о необходимости разработки новых методик, которые могли бы нивелировать подобные искажения при взаимодействии с ИИ.
* Компания Meta Platforms Inc. признана в России экстремистской. Деятельность компании и принадлежащих ей социальных сетей Facebook и Instagram на территории РФ запрещена
Читать далее:
Квантовый чип Google превзошел суперкомпьютеры на септиллионы лет
У интервального голодания обнаружили неожиданный побочный эффект
Болото вместо степи: выяснили, каким был мост между Евразией и Америкой
На обложке: Изображение от freepik, сведения о лицензии