Цель сотрудничества — улучшить скорость и сократить стоимость инференсинга. Также появится возможность добавить в AWS HealthOmics новейшие базовые моделей NVIDIA BioNeMo и поддержку обновлённой платформы NVIDIA AI Enterprise со стороны AWS.
Это сотрудничество привело к созданию совместной инфраструктуры, объединяющей передовые технологии обеих компаний, включая многоузловые системы с чипами NVIDIA Blackwell, инструменты ИИ, систему AWS Nitro, сервис AWS Key Management Service для управления ключами, сетевые адаптеры Elastic Fabric Adapter и кластеры EC2 UltraCluster. Это позволит эффективнее создавать и запускать масштабные языковые модели, сокращая затраты и время на развёртывание по сравнению с предыдущими поколениями EC2-инстансов с NVIDIA.
Кроме того, AWS внедрит кластеры EC2 UltraClusters с новейшими суперускорителями GB200 NVL72, обеспечивая интеграцию тысяч чипов GB200, также доступных через инстансы NVIDIA DGX Cloud. Предложение включает и кластеры EC2 UltraClusters с ускорителями B100. Представители Amazon отметили, что комбинация AWS Nitro и NVIDIA GB200 усилит защиту ИИ-моделей благодаря шифрованию NVLink ускорителем GB200, шифрованию данных EFA при передаче между узлами кластера и возможностям KMS по централизованному управлению ключами шифрования.
Аппаратный гипервизор AWS Nitro продолжает обеспечивать разгрузку центрального процессора узлов, перенимая на себя выполнение IO-операций и обеспечивая безопасность кода и данных в процессе работы. Эксклюзивная для сервисов AWS технология была тщательно проверена и получила подтверждение от NCC Group. Инстансы, оснащённые GB200, поддерживают технологию анклавов AWS Nitro Enclaves, обеспечивая прямую работу с ускорителем и данными в надёжно защищённом и изолированном пространстве, недоступном даже для работников Amazon.
Чипы Blackwell станут основой для обновлённого облачного суперкомпьютера AWS Project Ceiba, который задействует NVIDIA для проведения исследований и разработок в различных областях, включая разработку больших языковых моделей, создание изображений, видео и 3D-моделирование, цифровую биологию, робототехнику, разработку беспилотных автомобилей, а также в исследованиях климата и других направлениях. Этот суперкомпьютер, первый в своём роде на базе GB200 NVL72, будет включать 20 736 суперчипов GB200, каждый из которых оснащён соединением EFA со скоростью 800 Гбит/с, сообщает servernews.ru.
Читать далее:
Магнитную левитацию испытали на обычной железной дороге
Опубликовано видео с самым быстрым роботом в мире
Гигантская «песчаная батарея» будет отапливать город в Финляндии
Обложка: Аlekseyii