Нейросеть для написания научных статей посоветовала есть дробленое стекло

Во вторник Meta AI* представила демо-версию Galactica, большой языковой модели, предназначенной для «хранения, объединения и анализа научных знаний». Хотя она предназначена для ускорения написания научной литературы, враждебные пользователи, проводящие тесты, обнаружили, что она также может генерировать реалистичную чепуху, сообщает MIT Technology Review.

Модели больших языков (LLM), такие как GPT-3 от OpenAI, учатся писать текст, изучая миллионы примеров и понимая статистические отношения между словами. В результате они могут создавать убедительно звучащие документы, но эти работы также могут быть пронизаны ложью и потенциально вредными стереотипами. Некоторые критики называют LLM «стохастическими попугаями» за их способность убедительно выдавать текст, не понимая его смысла.

Galactica — это LLM, нацеленная на написание научной литературы. Авторы обучили ее «большому и тщательно подобранному корпусу научных знаний человечества», включая более 48 миллионов статей, учебников и конспектов лекций, научных веб-сайтов и энциклопедий. Согласно статье Galactica, исследователи Meta AI* полагали, что эти предполагаемые высококачественные данные приведут к соответствующему результату.

Всю прошедшую неделю, начиная со вторника посетители веб-сайта Galactica могли вводить подсказки для создания документов, таких как обзоры литературы, вики-статьи, конспекты лекций и ответы на вопросы, в соответствии с примерами, предоставленными веб-сайтом. Сайт представил модель как «новый интерфейс для доступа и управления тем, что мы знаем о вселенной».

В то время как некоторые люди сочли демонстрацию многообещающей и полезной, другие вскоре обнаружили, что любой может ввести расистские или потенциально оскорбительные подсказки, создавая авторитетно звучащий контент по этим темам так же легко. Например, кто-то использовал его, чтобы написать вики-запись о вымышленной исследовательской статье под названием «Преимущества употребления в пищу дробленого стекла».

Даже когда контент «Галактики» не оскорбляла социальные нормы, модель могла «атаковать» хорошо понятные научные факты, добавляя в текст неточности, такие как неправильные даты или названия животных, что требовало глубоких знаний предмета, чтобы их поймать.

В результате в четверг Meta удалила демо Galactica. После этого главный научный сотрудник Meta* в области искусственного интеллекта Янн ЛеКун написал в Твиттере: «Демо-версия Galactica сейчас отключена. Больше нельзя веселиться, случайно злоупотребляя ею. Довольны?»

*Meta, в том числе ее продукты Facebook и Instagram, признана экстремистской организацией в России.


Читать далее:

Древний амулет переписал историю самого загадочного языка Европы

Коров накормили коноплей и проверили, что стало с их молоком

Создана навигационная система, которая точнее, чем GPS

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Астрономы сфотографировали «детство Вселенной» до появления галактик
Космос
Прощальные кадры: лунный модуль сфотографировал закат на Луне
Наука
Гены загадочных предков людей повлияли на работу мозга, показало исследование
Наука
В Петербурге открыли лабораторию для создания компьютеров, которые имитируют работу мозга
Наука
Телескоп «Евклид» показал 26 млн галактик: опубликованы первые результаты миссии
Космос
Крошечных морских животных увеличили в пять раз, чтобы рассмотреть их клетки
Наука
В Сеченовском Университете появится «умная» операционная 
Новости
Операторы связи начали заменять китайское оборудование на российское
Новости
В России хотят обязать использование отечественных процессоров для ИИ
Новости
Посмотрите на первого робота-гуманоида Nvidia в действии
Новости
Образцы с обратной стороны Луны показали, какой она была в прошлом
Космос
Морские интернет-кабели научились «прослушивать» на предмет саботажа
Новости
Нового рекорда на термоядерном синтезе добились в России
Наука
Российские ученые разработали материалы для памяти будущего  
Наука
Выяснилось, какие мутации ДНК ускоряют старение  
Наука
«Суперджет» с российскими двигателями ПД-8 впервые поднялся в воздух
Новости
Светочувствительные нановолокна ускорили рост нейронов  
Наука
ChatGPT может «заболеть» тревожностью и депрессией, но есть способ его «успокоить»  
Новости
Москва сократила выбросы углерода на 190 000 тонн благодаря электробусам  
Новости
Игуаны совершили рекордное путешествие миллионы лет назад: они проплыли по океану 8 000 км
Наука