Статья «Техники сжатия активаций слоев и градиентов для распределенного обучения моделей ИИ» исследователей ИИ из Университета Иннополис и МФТИ — Михаила Рудакова, Александра Безносикова, Ярослава Холодова и Александра Гасникова — признана лучшей научной работой на конференции Sber AI Journey.
Для обучения современных моделей ИИ, таких, например, как ChatGPT, LLaMA или BLOOM, требуется много вычислительных ресурсов, объясняют исследователи. Поэтому обучение, как правило, проводится на нескольких серверах, между которыми модель делится последовательно с помощью техники параллелизации. Передача данных между устройствами занимает много времени, поэтому для ускорения обучения применяется сжатие. В статье исследователи показали, с какими параметрами сжатия можно эффективно тренировать и применять эти модели.
Мы экспериментируем с разными техниками сжатия активаций слоев нейронных сетей и их градиентов: квантизация, сжатие TopK или «жадное» сжатие, добавляем техники компенсации ошибки. Наши результаты показывают особенности применения сжатия во время обучения, дообучения и применения моделей машинного обучения.
Михаил Рудаков, студент первого курса магистратуры Университета Иннополис и соавтор научной работы
Ученые определили границы применимости сжатия, для которых качество модели соответствует исходному, и выяснили, что можно сжимать передаваемую информацию в 10 раз практически без потери качества модели. Исследователи отмечают, что они одними из первых ставят эксперименты над сжатием информации в задаче распределенного машинного обучения с разделением модели по разным устройствам и исследуют применимость разных техник компенсации ошибки.
Читать далее:
Найдена монета в древнеримском театре: она сильно впечатлила ученых
Посмотрите на «сердце» Млечного Пути на снимках телескопа «Джеймс Уэбб»
Зоологи поняли, зачем летучим мышам нужен гигантский пенис
На обложке: Изображение от rawpixel.com на Freepik