Прежде, чем переходить к деталям о новом чипе Tomahawk Ultra, хотелось бы начать с небольшого предисловия о истоках противостояния технологий Broadcom и NVIDIA (и не только). Итак, хотя производители чипов, например AMD, постепенно сокращают разрыв с NVIDIA по показателям FLOPS GPU или пропускной способности памяти и объему HBM, без высокоскоростной интерконнект-системы и коммутаторов (таких как NVLink и NVSwitch), их способность масштабировать эту производительность ограничена. Наличие этих технологий позволило NVIDIA создавать системы с 72 GPU на стойку, в то время как Intel и AMD все еще ограничены восемью. Чтобы обойти это ограничение, многие представители отрасли поддержали новый протокол Ultra Accelerator Link (UALink) — открытую альтернативу NVLink.
Однако, не все согласны, что новый протокол необходим, и готовы ждать, пока первое оборудование UALink появится на рынке. Несмотря на то, что Broadcom была среди основателей консорциума UALink, теперь в компании считают, что Ethernet способен справиться с данными задачами быстрее.
«Использование одной и той же технологии для всех частей сети дает огромное преимущество», — сказал Пит Дель Веккио (Pete Del Vecchio), менеджер линейки продуктов Tomahawk. «Использование Ethernet дает множество преимуществ с точки зрения инструментов мониторинга, телеметрии и отладки. Вот почему мы думаем, что UALink едва ли сможет куда-то продвинуться».
Вместо этого Broadcom продвигает конкурирующую технологию, которую она называет Scale-Up Ethernet (SUE). Компания утверждает, что эта технология будет поддерживать системы вертикального масштабирования как минимум с 1024 ускорителями, использующие любую платформу Ethernet. Для сравнения, Nvidia заявляет, что ее технология коммутаторов NVLink может поддерживать 576 ускорителей, хотя на сегодняшний день нам неизвестно о каких-либо развертываниях, масштабирующихся за пределы 72 сокетов GPU.
Broadcom Tomahawk Ultra
Главным решением Broadcom для SUE станет анонсированный Tomahawk Ultra — чип-коммутатор с пропускной способностью 51,2 Тбит/с, специально оптимизированный для конкуренции с InfiniBand от NVIDIA в традиционных суперкомпьютерах и HPC-кластерах, а также с NVLink в развертываниях на уровне стойки, подобных Nvidia GB200 NVL72 или AMD Helios.
Хотя Tomahawk Ultra использует тот же корпус и совместим по выводам (pin-compatible) с Tomahawk 5 от Broadcom, на самом деле это совершенно другой чип. Наряду с относительно большим radix и 512 SerDes по 100 Гбит/с каждый, чипсет специально оптимизирован для высокопроизводительных сетей и обеспечивает задержку всего в 250 наносекунд при обработке 64-байтовых пакетов со скоростью 77 миллиардов раз в секунду. Это важно, поскольку такие небольшие пакеты распространены в HPC-системах и могут создавать проблемы для сетевого оборудования, не рассчитанного на более высокую частоту сообщений, которая с ними связана.
Источник изображений: Broadcom
Чип также обладает полным набором механизмов контроля перегрузок, включая прямую коррекцию ошибок (forward error correction) и credit-based flow control для снижения потерь пакетов, сохраняя при этом совместимость с существующими сетевыми картами Ethernet (NIC) и процессорами для обработки данных (DPU). Коммутатор также поддерживает внутрисетевые коллективные операции, которые NVIDIA называет SHARP в своих коммутаторах NVLink. Это позволяет передавать операции типа all-reduce на сеть, что повышает эффективность за счет сокращения необходимой для их выполнения пропускной способности.
По сравнению с коммутаторами NVLink пятого поколения от NVIDIA, Tomahawk Ultra предлагает почти вдвое большую пропускную способность: 51,2 Тбит/с против 28,8 Тбит/с. Это означает, что используя такое же количество коммутаторов, как в 72-GPU системах NVL от NVIDIA, Broadcom могла бы поддерживать структуру со 128 ускорителями.
Также утверждается, что в сравнении с UALink, Tomahawk Ultra способен предложить лучшие показатели задержку, хотя объективно оценить это заявление трудно. В частности, недавно Кутис Боуман (Kutis Bowman), председатель консорциума UALink, заявлял, что задержка коммутаторов будет в диапазоне 100-150 нс. Если этого удастся добиться, у протокола UALink появится преимущество.
Ждать информации о том, как новейший чип Broadcom на самом деле проявит себя, придется недолго. Tomahawk Ultra уже поставляются клиентам, и поскольку они совместимы по выводам с TH5, перепрофилирование существующих шасси коммутаторов должно быть относительно простым и быстрым.
А что если объединить технологии?
Конечно, тот факт, что оборудование UALink еще не вышло на рынок, не означает, что протокол недоступен для AMD или Intel. Еще в апреле консорциум UALink опубликовал свою первую спецификацию, а на мероприятии Advancing AI в июне AMD представила свои стойки Helios, которые будут использовать как UALink, так и Ethernet. Всё верно — для своих первых систем AMD будет туннелировать протокол UALink через обычные коммутаторы Ethernet.
Другие транспортные протоколы, такие как UALink или Infinity Fabric, могут передаваться поверх Ethernet. Однако такое туннелирование UALink не назовешь идеальным вариантом. В частности, в таком случае точно не удастся приблизиться к целевой задержке UALink в 100-150 нс. С другой стороны, нельзя поставить то, чего у тебя нет - если бы AMD ждала до 2027 года, чтобы вывести на рынок свою стойку Helios, ей пришлось бы конкурировать с системами Kyber от Nvidia на 144 GPU-сокета.
