Статья исследователей из Университета Иннополис стала лучшей на AI Journey

Исследователи из Университета Иннополис и МФТИ получили 1 млн рублей за лучшую научную статью в конкурсе AI Journey Science. О победе ученых «Хайтек» сообщила пресс-служба ИТ-вуза.

Статья «Техники сжатия активаций слоев и градиентов для распределенного обучения моделей ИИ» исследователей ИИ из Университета Иннополис и МФТИ — Михаила Рудакова, Александра Безносикова, Ярослава Холодова и Александра Гасникова — признана лучшей научной работой на конференции Sber AI Journey.

Авторы исследования получают приз на конференции AI Journey 2023. Фото: Университет Иннополис

Для обучения современных моделей ИИ, таких, например, как ChatGPT, LLaMA или BLOOM, требуется много вычислительных ресурсов, объясняют исследователи. Поэтому обучение, как правило, проводится на нескольких серверах, между которыми модель делится последовательно с помощью техники параллелизации. Передача данных между устройствами занимает много времени, поэтому для ускорения обучения применяется сжатие. В статье исследователи показали, с какими параметрами сжатия можно эффективно тренировать и применять эти модели.

Мы экспериментируем с разными техниками сжатия активаций слоев нейронных сетей и их градиентов: квантизация, сжатие TopK или «жадное» сжатие, добавляем техники компенсации ошибки. Наши результаты показывают особенности применения сжатия во время обучения, дообучения и применения моделей машинного обучения.

Михаил Рудаков, студент первого курса магистратуры Университета Иннополис и соавтор научной работы

Ученые определили границы применимости сжатия, для которых качество модели соответствует исходному, и выяснили, что можно сжимать передаваемую информацию в 10 раз практически без потери качества модели. Исследователи отмечают, что они одними из первых ставят эксперименты над сжатием информации в задаче распределенного машинного обучения с разделением модели по разным устройствам и исследуют применимость разных техник компенсации ошибки.


Читать далее:

Найдена монета в древнеримском театре: она сильно впечатлила ученых

Посмотрите на «сердце» Млечного Пути на снимках телескопа «Джеймс Уэбб»

Зоологи поняли, зачем летучим мышам нужен гигантский пенис

На обложке: Изображение от rawpixel.com на Freepik

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Процессорный модуль «Фишт» запустили в производство: заменит зарубежные аналоги  
Новости
НАСА сообщило о возможных следах древней жизни на Марсе  
Космос
Робот TRON 1 научился прыгать через барьеры и взбираться по лестницам  
Новости
Проект мощнейших в мире приливных турбин запустили во Франции
Новости
Суперкомпьютер раскрыл тайны «молекулярного ремонта» ДНК
Наука
В Китае разработали батарейку с радиоактивным углеродом, которая проработает до 100 лет
Наука
Ученые MIT разработали «простой способ» превратить клетки кожи в нейроны
Наука
Microsoft запускает ИИ Copilot для геймеров: он будет работать, как тренер
Новости
Частный лунный модуль сфотографировал солнечное затмение с Луны
Космос
Почему Вселенная несимметрична: физики приблизились к разгадке тайны
Новости
Посмотрите на обратную сторону спутника Марса: это второе фото в истории
Новости
Это приложение буквально заставляет трогать траву и блокирует соцсети
Новости
Посмотрите на место гибели лунного аппарата «Афина»
Новости
Apple призвала срочно обновить iPhone из-за критической уязвимости  
Новости
В РосНИИРОС опровергли планы ICANN закрыть домен .su  
Новости
Европейские охотники каменного века «путешествовали» по морю в Африку
Наука
Зонд «Гера» сделал снимки спутника Марса на пути к «пострадавшему в ДТП» астероиду
Космос
В испанской пещере нашли «фрагменты лица» древнейшего жителя Западной Европы
Наука
Стартап представил робота, который готовит как шеф-повар лучших ресторанов
Новости
В паровом реакторе впервые зажгли термоядерную плазму
Новости