Учёные из Университета Иннополис, МФТИ и ИСП РАН разработали метод децентрализованной оптимизации. Алгоритм продолжает обучать нейросеть, даже если связь между серверами обрывается. Об этом «Хайтеку» сообщили в пресс-службе Университета Иннополис.
Исследователи взялись за задачи стохастической негладкой оптимизации. Это математическая основа для обучения сложных ИИ-алгоритмов в условиях, когда данные разбросаны по разным компьютерам, а каналы связи между ними работают с перебоями и постоянно меняют параметры. Такое происходит при координации беспилотных автомобилей, которые обмениваются информацией на ходу, или когда несколько организаций обучают общую модель на своих данных.
Задачу разделили на две части. Гладкая часть отвечает за коммуникации между компьютерами. Её ускоряют методом Нестерова. Негладкая часть отвечает за обучение самой модели. Вместо глобального усреднения по всей сети, которое требует идеальной связи, алгоритм обменивается данными только с теми узлами, которые доступны в данный момент.
Специалист Центра научных исследований Университета Иннополис Максим Дивильковский пояснил: предыдущая теория работала для стабильных гладких задач или статических сетей. Новая работа охватывает более общий и сложный случай. Метод оптимален с точки зрения вычислений и обменов данными. Его теоретически невозможно улучшить.
Алгоритм подходит для федеративного обучения, роботизированных систем и интернета вещей. Он также применим к седловым задачам, на которых строятся современные генеративные модели ИИ. Статья опубликована в сборнике материалов конференции AAAI. Исследование выполнено при поддержке Министерства экономического развития РФ.
Читать далее:
Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу
Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе
Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды
Обложка: magnific
