В Абу-Даби прошла вторая Международная конференция по вычислительной оптимизации ICOMP 2025, собравшая 400 исследователей из 15 стран.
Учёные представили разработки, которые помогут сделать обучение нейросетей быстрее, а методы оптимизации — эффективнее.
Лучшей научной работой конференции признали статью «Нормы Ки Фана и не только: двойственные нормы и комбинации для оптимизации матриц». Её авторы — Александр Виноградов (МФТИ), Даниил Меркулов (Sber AI4Science), Иван Оселедец (Институт AIRI) и их коллеги.
Исследователи предложили новый подход к оптимизации весовых матриц нейронных сетей, показав, что не всегда нужно стремиться к «идеальному» решению. Иногда достаточно почти оптимального варианта, который даёт тот же результат, но обрабатывается гораздо быстрее. Это делает процесс обучения больших языковых моделей менее затратным и более гибким, открывая путь к созданию лёгких и мощных алгоритмов ИИ.
Одним из самых заметных докладов стала работа об «Адаптивных регуляризованных методах Ньютона с неточным гессианом». Её представили Александр Безносиков (МФТИ), Александр Шестаков (Университет ИИ Мохаммеда бин Зайда), Андрей Семёнов (Федеральная политехническая школа Лозанны), Дмитрий Камзолов (Тулузская школа экономики), Александр Гасников (Университет Иннополис) и Мартин Такач (Университет ИИ Мохаммеда бин Зайда).
Учёные упростили классический метод Ньютона, который требует вычисления второй производной — гессиана, что обычно занимает много времени и ресурсов. Новый алгоритм допускает приближения и адаптируется под конкретную задачу. Он гарантированно сходится и при этом работает не хуже современных решений, устраняя их основные недостатки. Это делает его особенно ценным для оптимизации нейросетей и анализа больших данных.
Отдельное внимание участников ICOMP 2025 привлекла работа учёных Научно-технологического университета имени короля Абдаллы — Григория Малиновского, Юрия Демидовича и Петера Рихтарика. Их доклад «Оптимизация в римановом пространстве: эффективная риманова оптимизация с бесцикловым уменьшением дисперсии» касался задач, где данные расположены на искривлённых поверхностях. Команда предложила новые методы Riemannian Loopless SVRG и PAGE, которые избавились от неудобной двухцикловой структуры.
Алгоритм теперь сам решает, какие вычисления проводить, что делает его проще и быстрее. На основе этого подхода создан алгоритм Riemannian MARINA для распределённых систем — он сокращает объём передаваемых данных между серверами и ускоряет обмен информацией.
Ректор Университета Иннополис Александр Гасников отметил, что в этом году на ICOMP отобрали более 40 работ в области вычислительной оптимизации. Каждая прошла жёсткую экспертизу и соответствует высочайшему уровню научной дискуссии. По его словам, ICOMP уже закрепила за собой репутацию одной из главных мировых площадок в этой области.
Конференцию организовали Университет Иннополис, Фонд «Сколково», Университет искусственного интеллекта Мохаммеда бин Зайда и Альянс в сфере ИИ. Генеральным партнёром выступил Сбер, партнёром — «АТОМДАТА».
Читать далее:
Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу
Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе
Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды
