Microsoft запускает самую маленькую модель ИИ, обученную на «сказках на ночь»

«Самая маленькая» большая языковая модель Phi-3 Mini обучалась на детских книгах и, по заявлениям разработчиков, не уступает более крупным аналогам.

Microsoft выпустила облегченную модель искусственного интеллекта Phi-3 Mini с 3,8 млрд параметров, переменных используемых большой языковой моделью (LLM). Это первая и самая маленькая LLM, которую планирует выпустить компания. Также в линейке будут Phi-3 Small и Phi-3 Medium с 7 и 14 млрд параметров соответственно.

Разработчики заявляют, что небольшие модели Phi-3 дают ответы близкие к тем, что генерируют более сложные модели, в которых количество параметров отличается на порядок. Phi-3 Mini по своим возможностям не уступает GPT-3.5, «только в меньшем форм-факторе», заявил корпоративный вице-президент Microsoft Azure AI Platform Эрик Бойд.

Небольшие модели ИИ дешевле в эксплуатации, требуют меньше ресурсов и лучше работают на персональных устройствах, таких как телефоны и ноутбуки. Многие ИТ-компании работают над созданием маленьких LLM, но, как правило, они специализируются на решении узких задач. Microsoft заявляет, что Phi-3 — универсальное решение.

Для обучения Phi-3 разработчики использовали необычную «программу». Их вдохновили детские книжки и сказки на ночь, которые простыми словами рассказывают о сложных вещах. Поскольку доступных детских книжек для обучения не хватило, в компании «взяли список из более чем 3000 слов» и попросили магистрантов университетов написать новые на заданные темы.

Разработчики добавляют, что по сложности ответов и комплексности информации Phi-3 уступает передовым LLM, например, GPT-4. Но при этом подобные небольшие модели хорошо подойдут для индивидуальных приложений компаний: внутренние наборы данных в любом случае будут меньше. А поскольку малым моделям не требуется большая вычислительная мощность, они зачастую гораздо более экономичны.


Читать далее:

Движения на краю Солнечной системы указывают на существование неизвестной планеты

Физики предложили радикальную идею построения Вселенной: оказалось, она «рабочая»

Биологи зафиксировали эволюцию, которая происходит раз в миллиард лет: слияние двух форм жизни

Изображение на обложке: Mike Mozart, изменено «Хайтек», CC BY 2.0 DEED

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Больше миллиона Гбит в секунду: японцы побили рекорд скорости передачи данных по оптоволокну
Новости
Хаос во благо: физики создали новый инструмент для квантового мира
Наука
Hugging Face выпустила недорогих человекоподобных роботов с открытым кодом
Новости
Китайский аккумулятор для электромобиля выдержал наезд 36-тонного танка
Новости
Воспитанники детских домов изучат основы работы с нейросетями
Новости
Четвероногий робот из Цюриха научился играть в бадминтон с людьми
Новости
В MIT раскрыли механизм набора веса из-за жирной пищи и как обратить его вспять
Наука
60 000 лет рядом: ученые выяснили, кто стал первым паразитом человека
Наука
Ректора Университета Иннополис избрали членом-корреспондентом РАН
Иннополис
В Корее робопса научили паркуру и бегу по стенам: посмотрите, что он может
Новости
Древний череп «человека-муравья» нашли в Аргентине
Наука
На селфи марсохода попал неожиданный объект: его заметили не сразу
Космос
Посмотрите на двух морских коньков, которых застукали за «поцелуем» в океане
Наука
Почти 10 000 роутеров Asus тайно заразили: как проверить свой и защититься
Новости
Ракета будет доставлять товары с AliExpress за час по всему миру: ее испытали в Китае
Новости
В России пригрозили «душить» иностранные сервисы: кто в опасности
Новости
Boston Dynamics усовершенствовала систему восприятия гуманоидного робота Atlas
Новости
Наклейка на лоб анализирует мозговые волны и предсказывает переутомление
Наука
Посмотрите на робота-трансформера, который меняет форму прямо в полете
Новости
Китай отправил миссию за образцами горных пород с квазиспутника Земли
Космос