Во вторник Meta AI* представила демо-версию Galactica, большой языковой модели, предназначенной для «хранения, объединения и анализа научных знаний». Хотя она предназначена для ускорения написания научной литературы, враждебные пользователи, проводящие тесты, обнаружили, что она также может генерировать реалистичную чепуху, сообщает MIT Technology Review.
Модели больших языков (LLM), такие как GPT-3 от OpenAI, учатся писать текст, изучая миллионы примеров и понимая статистические отношения между словами. В результате они могут создавать убедительно звучащие документы, но эти работы также могут быть пронизаны ложью и потенциально вредными стереотипами. Некоторые критики называют LLM «стохастическими попугаями» за их способность убедительно выдавать текст, не понимая его смысла.
Galactica — это LLM, нацеленная на написание научной литературы. Авторы обучили ее «большому и тщательно подобранному корпусу научных знаний человечества», включая более 48 миллионов статей, учебников и конспектов лекций, научных веб-сайтов и энциклопедий. Согласно статье Galactica, исследователи Meta AI* полагали, что эти предполагаемые высококачественные данные приведут к соответствующему результату.
Всю прошедшую неделю, начиная со вторника посетители веб-сайта Galactica могли вводить подсказки для создания документов, таких как обзоры литературы, вики-статьи, конспекты лекций и ответы на вопросы, в соответствии с примерами, предоставленными веб-сайтом. Сайт представил модель как «новый интерфейс для доступа и управления тем, что мы знаем о вселенной».
В то время как некоторые люди сочли демонстрацию многообещающей и полезной, другие вскоре обнаружили, что любой может ввести расистские или потенциально оскорбительные подсказки, создавая авторитетно звучащий контент по этим темам так же легко. Например, кто-то использовал его, чтобы написать вики-запись о вымышленной исследовательской статье под названием «Преимущества употребления в пищу дробленого стекла».
Даже когда контент «Галактики» не оскорбляла социальные нормы, модель могла «атаковать» хорошо понятные научные факты, добавляя в текст неточности, такие как неправильные даты или названия животных, что требовало глубоких знаний предмета, чтобы их поймать.
В результате в четверг Meta удалила демо Galactica. После этого главный научный сотрудник Meta* в области искусственного интеллекта Янн ЛеКун написал в Твиттере: «Демо-версия Galactica сейчас отключена. Больше нельзя веселиться, случайно злоупотребляя ею. Довольны?»
*Meta, в том числе ее продукты Facebook и Instagram, признана экстремистской организацией в России.
Читать далее:
Древний амулет переписал историю самого загадочного языка Европы
Коров накормили коноплей и проверили, что стало с их молоком