Nvidia представила Nemotron 3 Nano 30B с огромным контекстным окном

Компания Nvidia представила ИИ Nemotron 3 Nano 30B с открытыми весами, предназначенный для разработки многоагентных систем нового поколения. Модель выделяется контекстным окном на 1 миллион токенов и гибридной архитектурой Mamba-Transformer, которая обеспечивает долгосрочные рассуждения и позволяет удерживать большие объёмы информации в одном окне.

Nemotron 3 Nano 30B — первый представитель нового семейства Nemotron 3. Модель насчитывает 30 млрд параметров, из которых одновременно активны до 3 млрд. Архитектура Mamba-Transformer объединяет «смесь экспертов» (MoE) и обучение с подкреплением в интерактивных средах, что позволяет ИИ решать сложные задачи в многоагентных приложениях.

Контекстное окно модели достигает 1 млн токенов, что обеспечивает возможность долговременного рассуждения по длинным документам, кодовым базам и многоэтапным планам. Агент может хранить целые наборы доказательств, историю диалогов и многократные действия в одном окне, без необходимости фрагментированной сегментации данных.

Для запуска Nemotron 3 Nano используется система DGX Spark и ускорители H100 или B200. Маршрутизатор модели активирует 6 из 128 экспертов за один проход, обеспечивая высокую эффективность и производительность. Nvidia также открыла доступ к весам, данным и конвейеру обучения модели, что делает её прозрачной и готовой к адаптации для сторонних проектов.

Семейство Nemotron 3 включает три модели: Nano с 30 млрд параметров для компактных задач, Super с около 100 млрд параметров и до 10 млрд активных параметров для сложных многоагентных приложений, а также Ultra — крупную модель для масштабных задач рассуждения. Пока доступна только Nano, версии Super и Ultra выйдут позже.

Читать далее:

Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу

Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе

Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды

_{Обложка: Alekseyii | goodfon}