Nvidia ускорила работу ИИ на видеокартах GeForce RTX в три раза

Nvidia увеличила ИИ-производительность видеокарт GeForce RTX и платформ RTX AI PC с выпуском драйвера GeForce Game Ready 555.85 WHQL.

На конференции Microsoft Build Nvidia представила новые оптимизации для алгоритмов искусственного интеллекта, доступные в экосистеме RTX, включая графические процессоры GeForce RTX, рабочие станции и ПК.

Представители компании заявили, что последние оптимизации ускоряют работу больших языковых моделей, применяемых в генеративном ИИ. Драйвер версии 555 обеспечивает трехкратное повышение ИИ-производительности видеокарт GeForce RTX и платформ RTX AI PC при работе с фреймворками ONNX Runtime и DirectML, которые запускают ИИ-модели в операционной системе Windows. Кроме того, драйвер увеличивает производительность WebNN для DirectML, используемого веб-разработчиками для внедрения новых ИИ-моделей.

Сейчас Nvidia активно сотрудничает с Microsoft для дальнейшего улучшения производительности графических процессоров RTX и поддержки DirectML в PyTorch.

Новый драйвер Nvidia R555 для графических процессоров GeForce RTX и ПК с RTX включает поддержку метакоманды DQ-GEMM для обработки квантования INT4 только по весу для LLM, новые методы нормализации RMSNorm для моделей Llama 2, Llama 3, Mistral и Phi-3, механизмы группового и многозапросного внимания, а также внимания скользящего окна для поддержки Mistral, обновления KV для улучшения внимания и поддержку GEMM-тензоров, не кратных 8, для улучшения производительности контекстной фазы.

В тестах производительности ORT и генеративного расширения искусственного интеллекта от Microsoft новый драйвер Nvidia показывает прирост производительности для данных типов INT4 и FP16. Благодаря добавленным методам оптимизации, производительность больших языковых моделей Phi-3, Llama 3, Gemma и Mistral увеличивается до трех раз.

Nvidia утверждает, что ее GPU обеспечивают ИИ-производительность до 1300 TOPS, что значительно превышает возможности конкурентных решений.

Читать далее:

Спутниковые наблюдения подсказали, как египтяне могли построить пирамиды

Ледник «Судного дня» оказался более уязвимым, чем считали ученые

Посмотрите на фото Камчатки из космоса

Обложка: Сведения о лицензии

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Астрономы обнаружили загадочный объект, мерцающий как фейерверк
Космос
Ученые выяснили, как перерыв в тренировках влияет на силу
Наука
Посмотрите на самый южный действующий вулкан на Земле из космоса
Космос
Алгоритм MIT определяет причины и последствия в сложных системах
Наука
Искусственный интеллект ответит, кто победил на выборах в США
Новости
Разработан «фитнес-трекер» для отдельных клеток
Наука
В Национальном центре «Россия» открылся симпозиум «Создавая будущее»
Новости
Посмотрите на странные фото Земли из космоса с расстояния 2 млн километров
Космос
WhatsApp выкатил обновление: оно упростит работу с чатами
Новости
Следы темной материи можно найти на кухне: ученые рассказали, как это сделать
Наука
Nvidia готовит ARM-процессоры для настольных ПК: названы сроки выхода
Новости
Появились ультралегкие и сверхтонкие солнечные батареи на основе кремния
Новости
На «Госуслугах» появилась форма для регистрации блогеров: как она работает
Новости
Астрономы рассмотрели необычно «гладкий» околозвездный диск
Космос
ИИ превращает скучные картинки и схемы в учебниках в анимацию
Наука
Посмотрите, как видеоблогер превратил старый трактор в электромобиль
Новости
Следы темной материи предложили искать в древних камнях на Земле
Наука
Ученые посчитали, за сколько лет обезьяна напишет «Гамлет»
Новости
Фотоны «задерживают» вблизи кремния, чтобы улучшить солнечные панели
Новости
Посмотрите на таинственные острова из космоса: чем они уникальны
Космос