Новые ИИ-ускорители Gaudi 3 от Intel сравнили с NVIDIA H100

На недавнем мероприятии Vision 2024, Intel объявила о запуске серии новых продуктов, в том числе о инновационных ИИ-ускорителей Gaudi 3.

Разработчики утверждают, что Gaudi 3 ускоряют процесс обучения нейронных сетей в 1,7 раз, увеличивают производительность вывода на 50%, и работают на 40% эффективнее моделей основных конкурентов — ускорителей H100 от NVIDIA.

Gaudi 3 — третье поколение ИИ-ускорителей от Intel, разработка которых стала возможной благодаря приобретению компанией Intel стартапа Habana Labs за $2 млрд в 2019 году. Ожидается, что массовое производство Gaudi 3 начнется в третьем квартале 2024 года для OEM-производителей серверов. Кроме того, Gaudi 3 будет доступен в Intel Developer Cloud, облачной платформе для разработчиков, сообщает tomshardware.com.

В отличие от предшественника, Gaudi 3 использует более продвинутый 5-нм производственный процесс от TSMC, в то время как Gaudi 2 был основан на 7-нм технологии. Ускоритель включает в себя два кристалла, содержащих 64 ядра Tensor Processing Cores пятого поколения и восемь матричных математических движков. А также — 96 Мбайт памяти SRAM с пропускной способностью 12,8 Тбайт/с. Кроме того, устройство оборудовано 128 Гбайт памяти HBM2e с пропускной способностью 3,7 Тбайт/с и 24 контроллерами Ethernet RDMA. Они поддерживают скорость передачи данных до 200 Гбит/с. Это обеспечивает эффективную связь как внутри одного сервера, так и между ними в одной сети.

Gaudi 3 поступит в продажу в двух формфакторах. Первый — модуль OAM (OCP Accelerator Module) HL-325L. Его разработали для систем с высокопроизводительными вычислительными ускорителями. Его тепловая мощность составляет 900 Вт, а вычислительная — 1835 терафлопс в режиме FP8.

Вторая конфигурация представляет собой двухслотовую расширительную карту PCIe с TDP в 600 Вт. По утверждениям Intel, несмотря на сниженное энергопотребление, эта версия сохраняет аналогичную вычислительную мощность в 1835 терафлопс в режиме FP8, как и более мощный вариант. Впрочем, она предлагает меньшие возможности для масштабирования, поскольку предназначена для работы в конфигурации по четыре модуля. Выпуск данного варианта Gaudi 3 запланирован на четвёртый квартал 2024 года.

Intel также поделилась результатами испытаний производительности, сопоставив их с характеристиками систем, основанных на H100. Тесты показали, что Gaudi 3 позволяет обучать нейронные сети на 1,5–1,7 раза быстрее. Для сравнения, инженеры использовали модели LLAMA2-7B и LLAMA2-13B на конфигурациях с 8 и 16 ускорителями, а также модель GPT 3-175B на системе, включающей 8192 ускорителя.

Читать далее:

Посмотрите, каким было солнечное затмение из космоса

Посмотрите, что подводный робот нашел на дне Байкала

Ученые поняли, почему «Вояджер-1» отправлял ерунду почти пять месяцев

Обложка: Intel

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Вирус герпеса перестраивает геном человека, но есть способ его остановить
Наука
Разработаны роботы размером с игрушечную машинку для ремонта водопроводных труб
Новости
В Самаре запустили первый в России дата-центр, объединяющий майнинг и ИИ
Новости
Болезнь Паркинсона на ранней стадии определят по ушной сере
Наука
BI-стратегия компании: что она дает и как ее создать
Мнения
В Мариинке показали оперу, которую дописал искусственный интеллект
Новости
Открыт нейронный путь, который приводит к бессонице после перенесенного стресса
Наука
Китайский маглев установил рекорд: разогнался до 650 км/ч за семь секунд
Новости
Австралийские бабочки используют звезды для навигации в пространстве
Наука
Древний череп из Китая впервые позволил понять, как выглядели денисовцы
Наука
Открыта загадочная связь между уровнем кислорода и магнитным полем Земли
Космос
Альтернатива сжиганию: разработана технология переработки угля в высокотехнологичное сырье
Наука
Ракета Starship Илона Маска взорвалась на площадке при подготовке к испытаниям
Космос
TECNO MEGABOOK K15S: универсальный ноутбук для тех, кто работает, создает и отдыхает
Кейсы
Два китайских спутника встретились на орбите Земли
Космос
В Москве пройдет второй Международный технологический конгресс МТК-2025
Новости
Из перовскита создали датчик изображения, который улавливает в три раза больше света
Новости
ИИ научили предсказывать риск провала технологических новинок
Новости
Разработан нанопластырь с микроиглами, который может заменить биопсию
Наука
В глубинах Тихого океана обнаружили пауков, питающихся бактериями
Наука