Предложен способ сократить на 30% расход энергии при обучении ИИ

Исследователи нашли способ сократить «холостой» расход электричества.

Исследователи из Мичиганского университета показывают, что можно сократить на 30% расход энергии, необходимой для обучения крупных языковых моделей ИИ, таких как GPT. Предложенный метод позволяет завершать обучение за то же время, потребляя меньше электричества.

Ученые объясняют, что энергетические затраты возникают из-за неравномерного распределения вычислений между графическими процессорами. Некоторые процессоры оказываются перегруженными, в то время как другие простаивают, что приводит к неэффективному потреблению энергии.

Модели ИИ настолько велики, что не могут поместиться в один процессор компьютера. Их нужно разделить на десятки тысяч процессоров для обучения, но разделить модели на идеально равные размеры практически невозможно.

Чжэ-Вон Чунг, соавтор исследования

Задания по обучению также сложно равномерно распределить, потому что некоторые задачи должны быть сгруппированы вместе на одном процессоре. В зависимости от группировки, некоторые процессоры могут застрять на сложных задачах, пока другие быстро решат простые и будут работать в холостом режиме.

Для решения этой проблемы исследователи разработали программу Perseus. Она определяет критические участки вычислений или ряд подзадач, выполнение которых займет больше всего времени. Затем программа замедляет процессоры, которые не находятся на критическом пути, чтобы они все завершили свою работу примерно в одно и то же время, устраняя ненужное потребление энергии.

По оценкам ученых, подтвержденных тестами, при таком подходе сроки обучения не меняются, а энергопотребление сокращается на 30%. Сэкономленных ресурсов хватит для питания 1,1 млн домов. Кроме того, предложенный метод снизит углеродный след, связанный с работой центров обработки данных.


Читать далее:

Биологи случайно нашли животное, которое стареет в обратном направлении

Одно из библейских чудес Иисуса Христа объяснили

Эта пищевая добавка предотвращает 19 видов рака — исследование

На обложке: Изображение от freepik, сведения о лицензии

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Больше миллиона Гбит в секунду: японцы побили рекорд скорости передачи данных по оптоволокну
Новости
Хаос во благо: физики создали новый инструмент для квантового мира
Наука
Hugging Face выпустила недорогих человекоподобных роботов с открытым кодом
Новости
Китайский аккумулятор для электромобиля выдержал наезд 36-тонного танка
Новости
Воспитанники детских домов изучат основы работы с нейросетями
Новости
Четвероногий робот из Цюриха научился играть в бадминтон с людьми
Новости
В MIT раскрыли механизм набора веса из-за жирной пищи и как обратить его вспять
Наука
60 000 лет рядом: ученые выяснили, кто стал первым паразитом человека
Наука
Ректора Университета Иннополис избрали членом-корреспондентом РАН
Иннополис
В Корее робопса научили паркуру и бегу по стенам: посмотрите, что он может
Новости
Древний череп «человека-муравья» нашли в Аргентине
Наука
На селфи марсохода попал неожиданный объект: его заметили не сразу
Космос
Посмотрите на двух морских коньков, которых застукали за «поцелуем» в океане
Наука
Почти 10 000 роутеров Asus тайно заразили: как проверить свой и защититься
Новости
Ракета будет доставлять товары с AliExpress за час по всему миру: ее испытали в Китае
Новости
В России пригрозили «душить» иностранные сервисы: кто в опасности
Новости
Boston Dynamics усовершенствовала систему восприятия гуманоидного робота Atlas
Новости
Наклейка на лоб анализирует мозговые волны и предсказывает переутомление
Наука
Посмотрите на робота-трансформера, который меняет форму прямо в полете
Новости
Китай отправил миссию за образцами горных пород с квазиспутника Земли
Космос