На мероприятии Open Compute Global Summit (OCP) 2024 компания NVIDIA представила новые графические процессоры форм-фактора PCIe — NVIDIA H200 NVL. Эти GPU мы увидели в системах MGX, поскольку NVIDIA делает акцент на выпуске на рынок решений для обработки данных с низким энергопотреблением (максимальный TDP — всего 600 Вт) и более доступной стоимостью.
NVIDIA H200 NVL 4 Way MGX Server на OCP Summit 2024
NVIDIA H200 NVL 4-Way показана на OCP Summit 2024
NVIDIA H200 NVL показали установленными в нескольких системах. Отмечу, что эти карты имеют маркировку «H200 NVL», а не просто «H200», как это было, например, у NVIDIA A100. Ещё одна важная особенность — четырёхсторонний мост NVLink между различными GPU. Это хороший скачок по сравнению с двусторонней связью. Используя этот мост, GPU сохраняют поддержку PCIe, но также получают NVLink-интерконнект, причём для соединения не используются NVLink-переключатели, что позволяет снизить энергопотребление и стоимость.
NVIDIA H200 NVL 4 Way Block на OCP Summit 2024
NVIDIA разместила на своем сайте информацию о H200 NVL, и производительность этих карт несколько ниже по сравнению с H200 SXM, поскольку мощность PCIe-версий ограничена 600 Вт. Также сообщается, что с картами H200 NVL поставляется NVIDIA AI Enterprise.
Спецификации NVIDIA H200 и H200 NVL на сайте NVIDIA
Учитывая объём памяти каждой карты в 141 ГБ, общая ёмкость HBM на четырёх картах достигает 564 ГБ, что впечатляет в контексте задач, связанных с выводом данных.
Сервер с видеокартой NVIDIA H200
Заключительные слова
Идея серверов, поддерживающих до восьми GPU двойной ширины, существует уже много лет, и решение 4-GPU H200 NVL позволяет разместить два кластера по 4 GPU в такой сервер.
NVIDIA H200 NVL 4 Way MGX Server на OCP Su
Эти карты значительно превосходят NVIDIA L40S по производительности, цене и энергопотреблению. Поскольку PCIe-серверы используются для масштабирования задач инференса при меньших затратах, без использования таких решений, как коммутаторы NVLink, NVIDIA H200 NVL становится разумным выбором. Кроме того, некоторые организации предпочитают использовать PCIe GPU, даже если это модели с увеличенным энергопотреблением (600 Вт), поскольку они хорошо подходят для многих серверных конфигураций.
