Предложен способ сократить на 30% расход энергии при обучении ИИ

Исследователи нашли способ сократить «холостой» расход электричества.

Исследователи из Мичиганского университета показывают, что можно сократить на 30% расход энергии, необходимой для обучения крупных языковых моделей ИИ, таких как GPT. Предложенный метод позволяет завершать обучение за то же время, потребляя меньше электричества.

Ученые объясняют, что энергетические затраты возникают из-за неравномерного распределения вычислений между графическими процессорами. Некоторые процессоры оказываются перегруженными, в то время как другие простаивают, что приводит к неэффективному потреблению энергии.

Модели ИИ настолько велики, что не могут поместиться в один процессор компьютера. Их нужно разделить на десятки тысяч процессоров для обучения, но разделить модели на идеально равные размеры практически невозможно.

Чжэ-Вон Чунг, соавтор исследования

Задания по обучению также сложно равномерно распределить, потому что некоторые задачи должны быть сгруппированы вместе на одном процессоре. В зависимости от группировки, некоторые процессоры могут застрять на сложных задачах, пока другие быстро решат простые и будут работать в холостом режиме.

Для решения этой проблемы исследователи разработали программу Perseus. Она определяет критические участки вычислений или ряд подзадач, выполнение которых займет больше всего времени. Затем программа замедляет процессоры, которые не находятся на критическом пути, чтобы они все завершили свою работу примерно в одно и то же время, устраняя ненужное потребление энергии.

По оценкам ученых, подтвержденных тестами, при таком подходе сроки обучения не меняются, а энергопотребление сокращается на 30%. Сэкономленных ресурсов хватит для питания 1,1 млн домов. Кроме того, предложенный метод снизит углеродный след, связанный с работой центров обработки данных.


Читать далее:

Биологи случайно нашли животное, которое стареет в обратном направлении

Одно из библейских чудес Иисуса Христа объяснили

Эта пищевая добавка предотвращает 19 видов рака — исследование

На обложке: Изображение от freepik, сведения о лицензии

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Термоэлектрические генераторы могут снабжать топливом колонию на Марсе
Космос
Склеивание двух белков заставляет раковые опухоли разрушаться
Наука
Посмотрите, как робот научился чистить раковину, «наблюдая» за домохозяйкой
Новости
Китайский марсоход нашел следы древнего океана на Красной планете
Космос
Предполагаемые условия внутри нейтронной звезды воссоздали в лаборатории
Космос
Астрономы нашли Большой взрыв в миниатюре: как он выглядел
Космос
Ученые подсмотрели будущее Земли: каким оно будет
Космос
Посмотрите на «инопланетное», мерцающее существо: оно живет на дне океана
Наука
Оказалось, что суеверия работают, но не так, как все думали
Наука
Это открытие бросает вызов Эйнштейну и переписывает теорию пространства-времени
Космос
Датчик диагностирует рак легких по выдыхаемому воздуху
Наука
Анализ ДНК переписывает историю жертв извержения вулкана в Помпеях
Наука
Как летучие мыши перерабатывают кровь, изучили на беговой дорожке
Наука
Астрономы решили загадку происхождения загадочных магнетаров
Космос
Команды из Москвы, Казани и Иннополиса победили на хакатоне InnoGlobalHack
Иннополис
Meizu is back: бренд вернулся с экосистемой DreamSmart и новыми смартфонами
Технологии
Более 6000 участников из 101 страны обсудили будущее на симпозиуме в Москве
Новости
Это открытие может перевернуть физику: ученым поможет излучение Хокинга
Космос
Названа дата следующей магнитной бури: когда она обрушится на Землю
Космос
Ученые придумали, как добывать энергию из тела человека
Наука