Anthropic изучила «внутренний мир ИИ»: как языковые модели принимают решения

Исследователи компании Anthropic придумали способ для изучения внутренних механизмов больших языковых моделей. Новый подход позволяет заглянуть в «черный ящик» ИИ и понять, как он принимает решения.

Исследователи использовали технику трассировки цепей, которая позволяет шаг за шагом отслеживать процессы принятия решений внутри большой языковой модели. Инженеры Anthropic использовали трассировку, чтобы наблюдать, как выполняет разные задачи большая языковая модель компании Claude 3.5 Haiku.

Инженеры рассказывают, что искали вдохновения в технологиях сканирования мозга, которые используют в нейробиологии. В результате им удалось создать «микроскоп», который можно направить на разные части модели во время работы. Эта техника выявляет компоненты, которые активны в разное время. Исследователи могут увеличивать масштаб различных компонентов и записывать, когда они активны, а когда нет.

Выяснилось, что языковые модели работают «даже более странно», чем считалось. Ученые обнаружили, что Haiku использует сложные, нелинейные стратегии. Например, при решении математических задач модель прибегает к непривычным промежуточным шагам, а при генерации стихов заранее «планирует» структуру текста, подбирая слова с учетом будущих строк.

Особый интерес вызвали наблюдения за механизмами так называемых «галлюцинаций» — случаев, когда модель генерирует недостоверную информацию. Исследователи пришли к выводу, что такие искажения возникают, когда отдельные внутренние цепочки начинают доминировать над компонентами, отвечающими за достоверность.

Мы, возможно, видим лишь несколько процентов того, что происходит внутри модели, но даже этого достаточно, чтобы заметить невероятно сложную внутреннюю структуру.

Джошуа Бэтсон, научный сотрудник Anthropic

Компания опубликовала две научные статьи по результатам наблюдений. В первой — подробно описан принцип изучения «внутреннего мира» ИИ. Во второй — первые результаты наблюдений.


Читать далее:

Миллионы «невидимых» людей: ученые нашли ошибку в оценке населения Земли

Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу

Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды

Иллюстрация на обложке сгенерирована ChatGPT

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Путин подписал закон против кибермошенничества: что изменится для россиян
Новости
Генератор изображений OpenAI теперь доступен бесплатно, но с ограничениями  
Новости
Apple готовит iOS 19: какие iPhone не получится обновить  
Новости
ЦЕРН представил проект нового коллайдера: что известно прямо сейчас
Наука
На «Госуслугах» запустили сервис для проверки сим-карт: как он работает  
Новости
В России введут маркировку электроники: это изменится для покупателей
Новости
Разработан мозговой имплант, который переводит мысли в речь почти мгновенно
Новости
«Хаббл» зафиксировал драматические сезонные изменения в атмосфере Урана
Космос
Физики МГУ придумали, как ускорить память компьютера терагерцовым излучением
Новости
Клетки жажды: нейробиологи выяснили, как мозг решает, когда нужно пить и есть
Наука
Разработчик ChatGPT анонсировал первую за пять лет модель с открытым кодом
Новости
«Казнить нельзя помиловать»: запятые и точки влияют на точность работы ИИ
Новости
Живые клетки обрабатывают информацию в миллиарды раз быстрее, чем считалось ранее
Наука
Яндекс опубликовал нейросеть YandexGPT 5 Lite в открытом доступе
Новости
Эксперты обсудили управление персоналом в эпоху цифровых технологий
Новости
Роспотребнадзор опроверг информацию о новом опасном вирусе в России
Новости
Последствия невесомости для скелета изучили на мышах-космонавтах
Космос
Томские химики создали экономичные катализаторы для зеленой промышленности
Наука
Ученые создали перчатку, с которой можно «ощущать» объекты в виртуальной реальности
Наука
Ученые в тупике: «Уэбб» засек невозможный свет в галактике
Космос