Для большинства корпоративных систем RAG, локальных ИИ-ассистентов и инференса моделей до 70 млрд параметров разумной отправной точкой будет сервер с одной или несколькими RTX PRO 6000. B200 нужен, когда крупную модель приходится распределять между тесно связанными ускорителями и одновременно обслуживать много запросов. B300 оправдан при ещё более высоких требованиях к видеопамяти, длинному контексту и плотности инференса моделей рассуждения. H100 или H200 могут оказаться выгоднее, если задача уже укладывается в их возможности, а готовая платформа доступна дешевле.
Blackwell объединяет разные классы оборудования. RTX PRO 6000 — отдельная PCIe-карта для универсального GPU-сервера. B200 и B300 обычно приобретают как часть HGX-платформы, где восемь SXM-ускорителей связаны NVLink и NVSwitch. Поэтому сравнивать нужно не только GPU, но и серверную архитектуру, размер модели, ожидаемую нагрузку, число пользователей и условия дата-центра.
Серверы с GPU NVIDIA RTX PRO 6000, B200 и B300
5 лет гарантии
Бесплатная доставкаот 114 559 680 ₽
3 980 949 ₽/мес в лизинг
от 95 466 400 ₽
+ 19 093 280 НДС
5 лет гарантииБесплатная доставкаот 17 049 120 ₽
592 457 ₽/мес в лизинг
от 14 207 600 ₽
+ 2 841 520 НДС
5 лет гарантииБесплатная доставкаот 21 103 440 ₽
733 345 ₽/мес в лизинг
от 17 586 200 ₽
+ 3 517 240 НДС
5 лет гарантииБесплатная доставкаот 84 645 600 ₽
2 941 435 ₽/мес в лизинг
от 70 538 000 ₽
+ 14 107 600 НДС
Три уровня Blackwell-серверов
RTX PRO 6000 Blackwell Server Edition
RTX PRO 6000 Server Edition получила 96 ГБ памяти GDDR7 с коррекцией ошибок, пропускную способность около 1,6 ТБ/с и настраиваемое энергопотребление до 600 Вт. Карта рассчитана на серверное воздушное или жидкостное охлаждение и подходит не только для LLM, но и для видео, 3D, цифровых двойников и других вычислений, включая инженерные.
Сервер можно собрать с одной, двумя, четырьмя или восемью картами, а ресурсы разделить между сервисами. Например, один GPU обслуживает генеративную модель, второй — эмбеддинги и переранжирование, третий — обработку изображений.
Не следует путать Server Edition с Workstation Edition и Max-Q Workstation Edition. У них одинаковый объём памяти, но различаются конструкция, охлаждение и допустимая мощность. Для стоечного сервера нужна версия, поддержка которой подтверждена производителем системы.
B200
B200 — ускоритель класса дата-центра с 180 ГБ HBM3e. В типовой HGX-конфигурации восемь B200 установлены на общей плате и соединены при помощи NVLink/NVSwitch. Такая архитектура рассчитана на задачи, где одна модель или процесс обучения постоянно обменивается данными между несколькими GPU.
HBM3e даёт не только больший объём, но и более высокую пропускную способность памяти. Это важно при чтении весов большой модели, формировании крупных пакетов запросов и распределённом инференсе.
B300 и GB300
B300 относится к Blackwell Ultra. На одном GPU физически установлено до 288 ГБ HBM3e, а восьмиускорительный узел получает около 2,3 ТБ совокупной видеопамяти. У некоторых производителей может указываться около 270 ГБ доступной памяти на GPU: часть ёмкости резервируется для служебных функций и надёжности.
B300 ориентирован на крупные модели, с поддержкой рассуждений, а также на работу с длинным контекстом и высокой параллельностью. Пропускная способность до 8 ТБ/с на GPU помогает быстрее работать с весами и крупным KV-кэшем.
Важно отметить, что B300 и GB300 — не одно и то же. B300 может работать в HGX-сервере с процессорами Intel Xeon или AMD EPYC. GB300 объединяет Blackwell Ultra с процессором Grace и используется в специализированных стоечных платформах Grace Blackwell, включая NVL72.
Почему восемь RTX PRO 6000 не равны восьми B200
Восемь RTX PRO 6000 дают 768 ГБ физической GDDR7, но эта память остаётся распределённой между отдельными PCIe-картами. Приложение должно явно разделить модель, данные или запросы по GPU.
В HGX память тоже физически находится на отдельных ускорителях. Разница в том, что NVLink и NVSwitch обеспечивают быстрый обмен между ними. В официальной архитектуре HGX указаны 180 ГБ на B200, 288 ГБ на B300 и до 1,8 ТБ/с связи GPU с GPU.
| Критерий | RTX PRO 6000 Server Edition | HGX B200 | HGX B300 |
|---|---|---|---|
| Форм-фактор | Отдельная PCIe-карта | 8 SXM-GPU на HGX-плате | 8 SXM-GPU Blackwell Ultra |
| Память одного GPU | 96 ГБ GDDR7 ECC | 180 ГБ HBM3e | До 288 ГБ HBM3e |
| Связь между GPU | Через PCIe-топологию | NVLink и NVSwitch | NVLink и NVSwitch |
| Масштабирование | Гибкое, от одного GPU | Плотно связанный узел | Плотно связанный узел |
| Основные задачи | Частный ИИ, RAG, LoRA, видео и 3D | Крупные модели, обучение, высокая параллельность | Длинный контекст, модели рассуждения, максимальная плотность |
| Риск переплаты | Купить много карт, не решив проблему обмена между ними | Недогрузить дорогой узел | Не использовать дополнительную память |
Если каждый GPU обслуживает отдельную модель или очередь запросов, PCIe-сервер масштабируется эффективно. Но при тензорном параллелизме, когда вычисления одного слоя распределены между несколькими GPU, обмен активациями идёт постоянно. Тогда интерконнект становится частью вычислительного тракта, и HGX получает принципиальное преимущество.
Два сервера по четыре RTX PRO 6000 иногда лучше одного восьми-GPU узла: повышается отказоустойчивость, а независимые сервисы проще распределять. Для одной монолитной модели такая схема, наоборот, увеличит требования к межсерверной сети.
Сколько видеопамяти действительно требуется LLM
Начальную оценку можно получить по размеру весов:
- BF16 или FP16 — примерно 2 байта на параметр;
- FP8 или INT8 — около 1 байта;
- 4-битное хранение — около 0,5 байта;
- дополнительно нужен запас на буферы, служебные данные и работу движка.
Модель на 70 млрд параметров занимает около 140 ГБ в BF16, 70 ГБ в 8-битном и 35 ГБ в 4-битном представлении. Это не означает, что любой файл такого размера гарантированно запустится: потребление зависит от архитектуры, квантования, контекста, размера пакета и программного движка.
Модель на 405 млрд параметров даже в 4-битном формате требует более 200 ГБ только для весов. Но размещение весов — лишь первая часть расчёта.
KV-кэш
Во время генерации модель сохраняет промежуточные представления предыдущих токенов в KV-кэше, то есть кэше ключей и значений. Его объём растёт вместе с:
- длиной контекста;
- числом одновременных последовательностей;
- количеством слоёв и размерностью модели;
- точностью хранения кэша.
Одна модель может стабильно работать для одного пользователя и исчерпать память при десятках параллельных сессий. Поэтому 96 ГБ часто хватает для внутреннего ассистента, но мало для массового сервиса с объёмными документами.
Дополнительная память B300 нередко используется не для более крупных весов, а для большего числа запросов без выгрузки KV-кэша в оперативную память или сетевое хранилище.
Модели «смесь экспертов»
В MoE-моделях на обработку токена активируется лишь часть блоков. Это уменьшает вычисления, но полный набор весов всё равно нужно хранить. Поэтому нельзя оценивать требуемую память только по числу активных параметров.
Для MoE важны общее число параметров, количество активных экспертов, способ их распределения и объём обмена между GPU.
Когда достаточно RTX PRO 6000
RTX PRO 6000 — универсальный серверный GPU для задач, где гибкость важнее максимальной плотности. Одна или две карты часто закрывают потребности компании без тысяч одновременных пользователей.
Подходящие сценарии:
- корпоративный помощник и RAG;
- генерация и анализ кода;
- инференс моделей 7B–70B в оптимизированном формате;
- LoRA- и QLoRA-дообучение;
- распознавание речи и обработка видео;
- мультимодальные модели умеренного размера;
- несколько независимых ИИ-сервисов;
- пилот без достоверного профиля нагрузки.
Преимущество PCIe-платформы — возможность начать с меньшей конфигурации. Например, Dell PowerEdge XE7740 с RTX PRO 6000 можно использовать как основу для нескольких ускорителей, не переходя сразу к HGX. Нужно заранее проверить количество поддерживаемых карт, их мощность, охлаждение и распределение линий PCIe.
Четыре или восемь RTX PRO 6000 оправданы, если GPU заняты независимой работой: разными моделями, арендаторами или очередями. Если одна крупная модель распределена между всеми картами, скорость шины PCIe может ограничить масштабирование.
Когда B200 становится обоснованным выбором
B200 нужен там, где нагрузка использует преимущества HGX, а не просто требует много GPU:
- модель не помещается на одном ускорителе;
- один запрос обрабатывается несколькими GPU;
- выполняется полное дообучение всех весов;
- важна скорость коллективных операций;
- сервис обслуживает много пользователей;
- используются крупные пакеты запросов;
- несколько HGX-узлов объединяются в кластер.
Dell PowerEdge XE9780 с восемью B200 — плотно связанная ИИ-платформа. HBM3e позволяет разместить крупные веса и увеличить KV-кэш, а NVLink/NVSwitch уменьшает потери при распределении модели внутри узла.
Но B200 не устранит ограничения остальной системы. Нужны достаточная RAM, быстрые NVMe, сеть хранения, высокоскоростная связь между узлами и программный стек, эффективно использующий параллелизм. Если данные подаются медленно или GPU простаивают между запросами, дорогой HGX-сервер не даст ожидаемой экономики.
Когда оправдан B300
B300 решает прежде всего проблему ёмкости и плотности. Он нужен, когда B200 уже ограничивает размер модели, длину контекста или число параллельных последовательностей.
Подходящие задачи:
- очень крупные плотные и MoE-модели;
- модели рассуждения с длинной внутренней генерацией;
- массовый инференс с большим KV-кэшем;
- длинный контекст при высокой параллельности;
- полное дообучение крупных моделей;
- инфраструктура с максимальной производительностью на стойку;
- проект с длительным жизненным циклом и постоянной загрузкой.
PowerEdge XE9780 с B300 имеет смысл, когда дополнительная HBM позволяет отказаться от выгрузки кэша, сократить число серверов или выдержать нужное количество сессий.
B300 избыточен для небольшой RAG-системы, нескольких моделей 7B–70B или редкой нагрузки. Пиковые показатели часто приводятся для FP4 и задач LLM; их нельзя напрямую сравнивать с BF16, FP16 или FP64. Низкая точность полезна лишь тогда, когда модель и программный стек поддерживают её без неприемлемой потери качества.
Серверы с NVIDIA RTX PRO 6000, B200 и B300 для AI
5 лет гарантииБесплатная доставкаот 98 030 640 ₽
3 406 565 ₽/мес в лизинг
от 81 692 200 ₽
+ 16 338 440 НДС
5 лет гарантииБесплатная доставкаот 19 450 440 ₽
675 903 ₽/мес в лизинг
от 16 208 700 ₽
+ 3 241 740 НДС
5 лет гарантииБесплатная доставкаот 12 368 160 ₽
429 794 ₽/мес в лизинг
от 10 306 800 ₽
+ 2 061 360 НДС
5 лет гарантииБесплатная доставкаот 60 933 600 ₽
2 117 443 ₽/мес в лизинг
от 50 778 000 ₽
+ 10 155 600 НДС
Как меняется выбор в зависимости от нагрузки
Частный ИИ
Для локального помощника, поиска по внутренним данным и нескольких специализированных моделей чаще достаточно одной-двух RTX PRO 6000. Важнее правильно организовать доступ к данным, разграничение пользователей, журналирование и резервирование.
B200 или B300 логичен, когда платформа обслуживает тысячи сотрудников, несколько подразделений одновременно используют крупные модели, а простой влияет на критические процессы.
RAG
RAG (Retrieval-Augmented Generation, работа модели с внешней базой знаний) не является основанием автоматически покупать B200 или B300. Конвейер включает:
- извлечение и очистку документов;
- эмбеддинги;
- векторную базу и поиск;
- переранжирование;
- генеративную модель.
Узким местом может быть индексация, качество поиска, хранилище или подготовка документов. Для многих корпоративных систем достаточно RTX PRO 6000 для генерации и более компактного GPU либо даже CPU для вспомогательных этапов.
B200/B300 нужен, если модель велика, запросов много, документы формируют длинный контекст, а требуемая задержка не допускает выгрузки данных из видеопамяти.
Инференс
У инференса две разные цели: минимальная задержка работы отдельного пользователя и максимальная общая пропускная способность сервера.
Оценивать следует:
- время до первого токена;
- скорость последующей генерации;
- задержку при пиковой нагрузке;
- число одновременных последовательностей;
- производительность всего узла;
- долю запросов, вышедших за допустимое время.
GPU, лучший для одиночного запроса, не обязательно обеспечивает минимальную стоимость миллиона токенов при массовой нагрузке.
Дообучение и мультимодальные модели
LoRA и QLoRA изменяют сравнительно небольшую часть параметров и требуют меньше памяти, чем полное дообучение. Для адаптации моделей малого и среднего размера RTX PRO 6000 часто достаточно.
B200 и B300 нужны, когда обновляются все веса, используются большие пакеты, обучение идёт на нескольких GPU или цикл должен завершаться в жёсткие сроки.
RTX PRO 6000 также удобна для смешанных нагрузок: текста, изображений, видео, 3D и профессиональной графики. B200/B300 выбирают не из-за наличия изображений во входе, а из-за масштаба модели, обучения и параллельности.
Что кроме GPU определяет производительность
Процессоры и оперативная память
CPU выполняет токенизацию, подготовку данных, работу API, маршрутизацию запросов и операции RAG. Избыточное число ядер не ускорит модель автоматически, но слабый процессор или неудачная PCIe-топология могут ограничить подачу данных.
RAM нужна для загрузки весов, кэшей, датасетов, векторной базы и возможной выгрузки части модели. В двухпроцессорной системе память следует равномерно распределять по каналам и NUMA-узлам.
NVMe и сеть
Быстрые NVMe сокращают время загрузки моделей и контрольных точек, ускоряют датасеты и локальный кэш. Важны устойчивость под смешанной нагрузкой, ресурс записи, защита от отказа и место для нескольких версий модели.
В одиночном сервере сеть обслуживает клиентов, хранилище и управление. В кластере B200/B300 она становится частью вычислительной системы. Медленная межузловая сеть снижает эффективность распределённого обучения, даже если внутри узла GPU соединены NVLink.
Питание и охлаждение
Одна RTX PRO 6000 потребляет до 600 Вт, поэтому восемь карт могут потребовать до 4,8 кВт только для GPU. Дополнительно работают процессоры, память, накопители, сетевые карты и вентиляторы.
DGX B300 — система 10U с потреблением около 14,5 кВт, двенадцатью блоками питания и тепловыделением примерно 49,5 тыс. БТЕ/ч. Она требует подготовленной стойки, соответствующих PDU, достаточного воздушного потока и проверки допустимой массы.
Даже воздушно охлаждаемый HGX-сервер нельзя считать обычным стоечным узлом, который можно поставить в любой colocation. Нужно сопоставить мощность на стойку, резервирование, температуру входящего воздуха и возможности охлаждения ЦОД.
Экономика: считать нужно весь сервис
Цена GPU — лишь часть расходов. В полную стоимость входят сервер, сеть, NVMe, внешнее хранилище, стойка, электроэнергия, охлаждение, лицензии, поддержка, резервирование и труд инженеров.
Сравнивать платформы полезнее по следующим показателям:
- стоимость миллиона токенов;
- токены в секунду на сервер и на ватт;
- стоимость пользовательской сессии;
- продолжительность дообучения;
- фактическая загрузка GPU;
- стоимость простоя.
Сервер с RTX PRO 6000, загруженный на 70–80%, может быть выгоднее HGX B300 с загрузкой 10–15%. Но при круглосуточном массовом инференсе B200 или B300 способен снизить стоимость токена благодаря плотности и меньшему количеству узлов.
Универсальный PCIe-сервер проще расширять и переводить на другие задачи. HGX лучше подходит для стандартизированного кластера с постоянной высокой нагрузкой и дорогими простоями.
Когда H100 или H200 рациональнее Blackwell
Hopper остаётся актуальным, если задача укладывается в доступную память и производительность. H100 стоит рассматривать, когда модель помещается в 80 ГБ, стек уже проверен, а готовый сервер заметно дешевле или доступнее по срокам поставки.
H200 занимает промежуточное положение: 141 ГБ HBM3e и пропускная способность 4,8 ТБ/с делают его сильным вариантом для инференса, который упирается в память, но ещё не требует Blackwell.
PowerEdge XE9680 с H200 может быть рациональнее B200, если 141 ГБ на GPU достаточно, не нужен FP4, инфраструктура стандартизирована на Hopper, а разница в цене превышает эффект нового поколения.
Переход на Blackwell оправдан, когда он устраняет измеримое ограничение: нехватку памяти, низкую пропускную способность, чрезмерное число серверов или неприемлемое время обучения.
Матрица выбора Blackwell-сервера
| Сценарий | Рациональная платформа | Основание |
|---|---|---|
| Частный ассистент, RAG, модели 7B–70B | 1–2 RTX PRO 6000 | Достаточная память и ниже порог входа |
| Несколько независимых сервисов | 2–8 RTX PRO 6000 | GPU распределяются между моделями и очередями |
| LoRA или QLoRA | RTX PRO 6000 | HGX обычно не требуется |
| Одна крупная модель на нескольких GPU | B200 | Быстрый обмен внутри HGX |
| Массовый инференс большой LLM | B200 | HBM3e, NVLink и высокая плотность |
| Длинный контекст и большой KV-кэш | B300 | До 288 ГБ на GPU |
| Модели рассуждения при высокой параллельности | B300 | Больше памяти и высокая производительность внимания |
| Действующая инфраструктура Hopper | H100 или H200 | Ниже риски перехода и возможная экономия |
| Нужно больше 80 ГБ, но B200 избыточен | H200 | 141 ГБ HBM3e |
| Пилот без подтверждённой нагрузки | RTX PRO 6000 или аренда | Не фиксировать бюджет в избыточной системе |
Перед выбором модель следует проверить в том формате, движке и режиме параллелизма, которые будут использоваться в эксплуатации. Тест с одним коротким запросом не заменяет нагрузочное испытание: нужны реальные длины контекста, число пользователей и допустимые задержки.
Для большинства компаний RTX PRO 6000 остаётся наиболее гибкой точкой входа в Blackwell. B200 нужен, когда большая модель зависит от быстрого обмена между GPU. B300 оправдан, если проект использует дополнительную память для длинного контекста, крупного KV-кэша и высокой параллельности. H100 и H200 стоит сохранять в сравнении, пока расчёт полной стоимости не покажет преимущество нового поколения.
Характеристики и доступность платформ проверены на июль 2026 года. Конкретный объем доступной памяти, поддерживаемые GPU, требования к питанию и охлаждению следует уточнять по документации производителя выбранного сервера.
