Сегодня серверы искусственного интеллекта (ИИ), будучи главным направлением развития для большинства крупных производителей, непрерывно претерпевают значительные изменения. Справедливо это утверждение и по отношению к особенно мощным серверам с восемью GPU на базе PCIe. В ходе выступления NVIDIA на мероприятии Computex 2025 речь шла в первую очередь о корпоративных фабриках ИИ (Enterprise AI Factories), но при этом один из ключевых для ИИ-решений новых компонентов был предоставлен NVIDIA основным OEM-производителям ещё перед выставкой. Как вы уже могли догадаться, этим компонентом является новая плата NVIDIA MGX PCIe с ConnectX-8. Данная плата заменяет традиционную плату коммутатора PCIe, используемую в серверах с восемью GPU в комплекте со встроенными сетевыми решениями NVIDIA.
Характеристики платы NVIDIA MGX PCIe
У нас есть возможность детально изучить новое устройство - при рассмотрении нижней части платы можно увидеть разъемы для оптических трансиверов, а также четыре сетевых контроллера (NIC) NVIDIA ConnectX-8. Здесь мы хотим сделать небольшую паузу, чтобы подробнее разобраться с ConnectX-8.
NVIDIA ConnectX-8 — это новейшее поколение высокопроизводительных сетевых адаптеров (SmartNIC) от NVIDIA, анонсированное в марте 2024 года. Он является преемником успешных адаптеров серии ConnectX-7 и ориентирован на самые требовательные задачи в дата-центрах, особенно связанные с искусственным интеллектом (ИИ), высокопроизводительными вычислениями (HPC) и ультра-масштабируемыми облачными средами.
Контроллеры ConnectX-8 оснащены встроенным коммутатором PCIe, количество линий в котором увеличилось с 32 в предыдущем поколении до 48 в текущем. Более того, это контроллеры стандарта PCIe Gen6, способные обеспечить пропускную способность сети до 800 Гбит/с.
На верхней части расположены подключения MCIO к хосту, а также 16 слотов PCIe. По два слота для GPU подключены к каждому из четырех контроллеров ConnectX-8 на обратной стороне платы.
Внимательные читатели наверняка сразу заметили, что на обратной стороне на самом деле девять слотов. На этой плате девятый слот помечен как "управление" (management), и обычно в эти слоты устанавливаются процессоры обработки данных (Data Processing Unit) BlueField-3.
Преимущества платы NVIDIA MGX PCIe
Как можно увидеть на представленной ниже фотографии сервера MSI, на самом деле новая плата предлагает заметные изменения. В отличие от платформ NVIDIA MGX Chenbro и подобных им, где под основной областью размещения GPU находились четыре слота для сетевых карт (по два на каждый GPU), новая конструкция добавляет разъемы для оптических трансиверов под слотами PCIe, в результате чего пропадает необходимость добавления в систему отдельных сетевых карт (NIC). Единственным исключением можно считать наличие слота для добавления DPU BlueField-3.
Таким образом, мы наблюдаем первое за десятилетие изменение архитектуры в данной сфере. Однако, даже более интересно другое - сложилась ситуация, при которой NVIDIA уже сейчас располагает коммутируемой архитектурой PCIe Gen6, еще до выхода процессоров с поддержкой PCIe Gen6. Более того, она позволяет парам GPU взаимодействовать по каналам PCIe Gen6 x16, а также получать доступ к высокоскоростной сети для обеспечения горизонтальной масштабируемости (scale-out). В результате, NVIDIA не нужно ждать следующего поколения процессоров от Intel или AMD для перехода на PCIe Gen6. Вместо этого она может спокойно перевести GPU на Gen6 и сеть 800 Гбит/с не дожидаясь релиза новых CPU от ведущих производителей.
