Cisco удваивает пропускную способность коммутаторов, чтобы справиться с масштабированием ИИ

В современном центре обработки данных для ИИ, потребности в обработке давно вышли за пределы одного ЦОД или даже нескольких центров в одном регионе в некоторых экстремальных случаях, существует два узких места в сети.

Во-первых, это межсоединение центров обработки данных, которое создаёт магистральную маршрутизацию для объединения нескольких центров в единый вычислительный комплекс.
Во-вторых, это внутренняя сеть, которая формирует единое пространство памяти для десятков, а в будущем сотен или тысяч GPU или XPU, что является наиболее удобным уровнем детализации для обучения и инференса моделей со смешанной экспертизой.

Осенью прошлого года Cisco решала задачу межсоединения ЦОД с помощью своего чипа маршрутизатора P200 под кодовым названием «Dark Pyramid», входящего в постоянно растущую и расширяющуюся линейку продуктов Silicon One. Этот чип используется Cisco в собственных коммутаторах и маршрутизаторах, а также гиперскейлерами и облачными провайдерами в их специализированном оборудовании.

На этой неделе на конференции Cisco Live в Амстердаме Cisco увеличивает пропускную способность на стороне коммутаторов с помощью своего чипа G300 ASIC, который обеспечивает суммарную пропускную способность 102,4 Тбит/с. Он предназначен для конкуренции с Broadcom и Nvidia в гонке за порты 1,6 Тбит/с для соединения GPU и XPU во внутренних сетях, а также для улучшения внешних сетей с портами 800 Гбит/с, реализуемых через высокоуровневые коммутаторы, которые упрощают сеть и радикально снижают ее стоимость.

Процессор G300 удваивает базовые характеристики чипа G200 ASIC, выпущенного в июне 2023 года, который был явно представлен на рынке для конкуренции с InfiniBand в масштабируемых сетях для кластеров ИИ и высокопроизводительных вычислений. G200 начал набирать популярность в этой сфере в мае 2025 года как более масштабируемая и дешевая альтернатива InfiniBand, но не стоит заблуждаться: Nvidia все еще продает огромное количество сетей на основе InfiniBand и заработала состояние на межсоединениях NVSwitch для внутренних масштабируемых сетей, связывающих память GPU.

Чипы G200, а теперь и G300, явно разработаны для предоставления значительно улучшенного и упрощенного Ethernet, способного делать то, что хорошо удается. InfiniBand это высокая пропускная способность, низкая задержка, адаптивная маршрутизация и контроль перегрузок, одновременно сохраняя многие преимущества Ethernet, которых недостает в InfiniBand: безопасность, микросегментация и конкуренция нескольких поставщиков. У InfiniBand только один источник, и это стало проблемой для некоторых.

Сегодня выходит G300 вместе с новыми системами Nexus 9000 и Cisco 8000, новыми сменными оптическими модулями, которые в них устанавливаются, а также обновлениями сетевой операционной системы и плоскости управления, чтобы упростить управление более масштабируемыми сетями или более мощными фронтальными сетями, которые обслуживают системы искусственного интеллекта с использованием коммутаторов на базе G300.

Cisco пока не предоставила технического подробного описания ASIC G300, поэтому мы не можем поделиться блок-схемой чипа или схемами коммутаторов G300. Но у нас есть некоторые основные характеристики производительности и информация от Ракеша Чопры, старшего вице-президента и Cisco Fellow, отвечающего за разработку Silicon One.

Подобно G200, G300 имеет 512 блоков схем SerDes для создания портов, объединённых вокруг процессора обработки пакетов. Оба также имеют один MAC-адрес Ethernet на каждый SerDes, что позволяет сопоставлять порты и MAC-адреса в соотношении один к одному. У многих сетевых ASIC MAC-адресов на SerDes в два раза меньше, что вполне допустимо, если вы объединяете SerDes для создания портов заданной пропускной способности. Но что, если вы хотите раздробить их, чтобы создать коммутатор с высокой плотностью портов и гораздо большим количеством портов меньшей пропускной способности? В этом случае MAC-адресов попросту не хватит.

Подобно анонсированному прошлой осенью P200, G300 использует так называемую «lidless» конструкцию чипа. Это означает, что защитная крышка корпуса снята, что позволяет радиаторам воздушного охлаждения и блокам жидкостного охлаждения монтироваться непосредственно на чип и эффективнее отводить от него тепло.

Сетевой ASIC G100 с пропускной способностью 25,6 Тбит/с, представленный в октябре 2022 года, был изготовлен на 7-нм техпроцессе TSMC, а G200 лета 2023 года по 5-нм техпроцессу. Учитывая буферную память SRAM объёмом 252 МБ на G300 (что, по нашей оценке, как минимум вдвое больше, чем у G200), и постоянное количество более быстрых SerDes, мы полагаем, что Cisco выбрала для производства G300 смесь техпроцессов TSMC. G300 имеет многокристальную конструкцию, и, если бы нас заставили угадывать, мы бы сказали, что блок чипа процессора обработки пакетов и его SRAM-буфер были изготовлены по 3-нм техпроцессу, а окружающие его чиплеты SerDes, по достаточно освоенному 4-нм техпроцессу, который является усовершенствованной версией 5-нанометрового от TSMC. Уменьшить размеры схем обработки сигналов сложнее, чем вычислительных схем, к тому же использование 3-нм технологии оказывается дороже, чем 4-нм.

По словам Ракеша Чопры, старшего вице-президента Cisco Fellow, этот буфер объемом 252 МБ является единым, объединенным и общим для всех 512 SerDes и не сегментирован для поддержки групп SerDes на коммутаторе ASIC, как в некоторых других конструкциях. Таким образом, он не только больше, но и представляет собой единую общую память для всех SerDes, что повышает эффективность операций, особенно при высокой загруженности сети, когда буфер используется для предотвращения потерь Ethernet-пакетов и их разделения.

Этот глубокий буфер работает в связке с набором аппаратных агентов балансировки нагрузки на кристалле, которые могут анализировать внутреннее состояние коммутатора, понимать характер проходящего через него трафика и создавать карту потоков с учетом их перегрузок и сбоев передачи, а также оптимизировать трафик между всеми устройствами G300 в сети. Данное ПО алгоритмическое, но, технически говоря, не является ИИ. И, как и все чипы Silicon One, G300 полностью программируем на сетевом языке программирования P4, что позволяет оперативно создавать новые функции и возможности по мере их появления на рынке.

Используемые в G300 SerDes разработаны Cisco и обеспечивают 224 Гб/с до кодирования и 200 Гб/с после кодирования. Мы подозреваем, что собственная тактовая частота сигнализации SerDes составляет 112 Гб/с и удваивается до 224 Гб/с с использованием модуляции PAM4, которая позволяет передавать два бита на сигнал. Это, кстати, первый SerDes от Cisco со скоростью 200 Гб/с.

При желании можно создать коммутатор на 512 портов со скоростью 200 Гб/с на порт с использованием чипа G300, либо на 256 портов со скоростью 400 Гб/с, 128 портов со скоростью 800 Гб/с или 64 порта со все еще поразительной скоростью 1,6 Тб/с.

G300 может напрямую управлять линейной подключаемой оптикой LPO со скоростью 800 Гб/с на порт, и у Cisco есть модуль LPO, совместимый с коммутаторами на базе G300. У Cisco также есть собственный подключаемый оптический модуль OSFP на 1,6 Тб/с для тех, кто решит использовать G300 для портов 1,6 Тб/с. Эти оптические модули основаны на собственной кремниевой технологии Cisco, а не на решениях сторонних производителей. Nvidia и Broadcom также предлагают полный комплект этих компонентов. Но интересный поворот: Cisco разрабатывает подключаемые модули на базе DSP сторонних производителей для клиентов, которым нужен выбор или желательно вторичное снабжение для распределения рисков по более широкой цепочке поставок.

Переход на LPO обеспечивает огромную экономию энергии, что, в свою очередь, позволяет выделить больше мощности на вычислительные модули. Чопра утверждает, что это примерно 50% экономии мощности для оптики и около 30% экономии в инфраструктуре коммутатора в ИИ-кластере.

Некоторым клиентам требуется более высокая пропускная способность для предстоящих GPU и XPU, ожидаемых во второй половине 2026 года, поэтому они готовы потратить дополнительную энергию для получения портов 1,6 Тб/с. Другие клиенты пока довольствуются 800 Гб/с, и поэтому маломощные модули LPO являются для них лучшим вариантом.

Если все сложить и нормализовать по пропускной способности, G300 обеспечивает на 33% более высокую утилизацию сети и на 28% меньшее время выполнения задач по сравнению с G200 и многими его конкурентами на рынке, говорит Чопра.

Cisco размещает G300 в нескольких устройствах. Для устройств с воздушным охлаждением G300 используется в Nexus N9364-SG3 под управлением собственной ОС NX-OS компании и в Cisco 8133 под управлением открытой сетевой ОС SONiC.

Эти коммутаторы занимают 3U в стойке и имеют 64 порта со скоростью передачи данных 1,6 Тб/с.

Если вам нужен более компактный вариант с жидкостным охлаждением, а также совместимостью со стандартом Open Rack, то есть модель Nexus N9363-SG2, работающая под управлением NX-OS, и Cisco 8132, работающая под SONiC. Это устройство шириной 21 дюйм, соответствующее спецификации Orv3N от Open Compute Project.

Вот более детальный взгляд на коммутатор с жидкостным охлаждением:

Суть в том, что если требуется обеспечить совокупную пропускную способность в 102,4 Тб/с для соединений между графическими процессорами в масштабируемой сети внутри сервера или между серверными узлами и их графическими процессорами, связывающимися друг с другом в распределенной сети, раньше для этого требовалось шесть перекрёстно соединённых устройств G200, а теперь достаточно всего одного G300.

Вероятно, это также означает, что G300 может стоить в три или четыре раза дороже, но по сравнению с G200 всё равно будет казаться выгодной покупкой. Мы не знаем его реальную стоимость, однако в эпоху до появления ИИ было принято, чтобы новый ASIC стоил примерно в 1,5 раза больше, обеспечивая при этом удвоенную пропускную способность на один чип.

На 70% более высокая энергоэффективность — это крайне важный фактор, учитывая, что компании, двигающие революцию GenAI, закупают мощности блоками в гигаваттах.

В дополнение к G300, его коммутаторам и оптике, Cisco на этой неделе также расширяет линейку устройств P200. Осенью прошлого года Cisco представила P200 в маршрутизаторе производительностью 51,2 Тбит/с для каналов DCI с 64 портами по 800 Гбит/с, а теперь поставляет P200 в коммерческом оборудовании серии Nexus, а также в линейных картах для своих модульных коммутаторов Nexus.

Источник