Как читать характеристики серверных видеокарт NVIDIA: CUDA, Tensor Cores, TFLOPS, шина, bandwidth и TDP

Серверную видеокарту NVIDIA нельзя выбирать только по одной цифре, будь то количество CUDA-ядер, гигабайты памяти или максимальный TFLOPS. Для LLM, обучения нейросетей, VDI, рендеринга и научных расчётов важны разные параметры, поэтому сначала нужно понять задачу, а уже потом сравнивать CUDA, Tensor Cores, точность вычислений, объём и скорость видеопамяти, PCIe/NVLink, TDP и совместимость с сервером.

В карточках GPU легко потеряться: у одной карты больше TFLOPS, у другой — больше видеопамяти, у третьей — ниже энергопотребление. Но серверная видеокарта работает не сама по себе. Она стоит в конкретном сервере, зависит от питания и охлаждения, подключается через PCIe или NVLink, использует определённые драйверы и библиотеки. Поэтому “самая мощная” карта на бумаге не всегда будет лучшей покупкой.

Если вы подбираете видеокарты NVIDIA для ИИ и нейросетей, удобнее читать характеристики не как список терминов, а как ответы на прикладные вопросы:

• поместится ли модель или рабочая сцена в видеопамять;
• успеет ли память подавать данные в вычислительные блоки;
• поддерживает ли GPU нужную точность вычислений;
• сможет ли сервер охладить карту под постоянной нагрузкой;
• есть ли смысл переплачивать за топовую модель именно в вашей задаче.

Мини-глоссарий

CUDA — платформа NVIDIA для параллельных вычислений на GPU.
CUDA-ядра — универсальные вычислительные блоки.
Tensor Cores — блоки для быстрых матричных вычислений, важных для нейросетей.
TFLOPS — триллионы операций с плавающей точкой в секунду.
TOPS — триллионы операций в секунду, часто для низкоточных режимов.
FP32 — одинарная точность.
FP16 — половинная точность.
BF16 — формат, часто удобный для обучения нейросетей.
FP8 — компактный формат для современных AI-нагрузок.
INT8 — целочисленный формат, часто для инференса.
FP64 — двойная точность для научных и инженерных расчётов.
VRAM — видеопамять GPU.
HBM — высокоскоростная память для топовых ускорителей.
GDDR — распространённая графическая память.
Bandwidth — пропускная способность памяти.
PCIe — интерфейс подключения GPU к серверу.
NVLink — быстрая связь между GPU.
TDP — тепловой пакет, влияющий на питание и охлаждение.
vGPU — виртуализация GPU для виртуальных рабочих мест.
MIG — разделение одной поддерживаемой GPU на несколько изолированных инстансов.

Почему характеристики GPU часто читают неправильно

В описании серверной видеокарты обычно видны красивые цифры: десятки тысяч ядер, сотни или тысячи TFLOPS, большая память, высокая пропускная способность. Проблема в том, что эти цифры относятся к разным частям работы GPU.

Например, TFLOPS показывают теоретическую вычислительную мощность. Но если задача упирается в видеопамять, высокая пиковая мощность не раскроется. Если модель не помещается в VRAM, GPU придётся постоянно обмениваться данными с системой или делить модель между несколькими картами. Если сервер не рассчитан на нужный тепловой пакет, карта будет перегреваться или работать не на полной мощности.

Чаще всего ошибаются так:

• сравнивают TFLOPS в разных режимах точности;
• выбирают GPU по количеству CUDA-ядер;
• смотрят только на объём памяти, но не на её скорость;
• забывают про PCIe-линии, NVLink и топологию сервера;
• не проверяют TDP, форм-фактор и охлаждение;
• покупают карту под VDI, но не смотрят поддержку vGPU;
• берут AI-ускоритель для научных расчётов, где нужна двойная точность.

У серверных GPU нет универсального рейтинга “от лучшей к худшей”. Есть соответствие задаче.

Сначала определите нагрузку

Один и тот же GPU может быть удачным выбором для инференса, спорным для VDI и невыгодным для научных расчётов. Поэтому перед сравнением характеристик нужно понять, что именно будет работать на сервере.

LLM-инференс

Для запуска больших языковых моделей важнее всего:

• объём видеопамяти;
• пропускная способность памяти;
• поддержка BF16, FP16, FP8 или INT8;
• Tensor Cores;
• скорость обмена между GPU, если модель делится на несколько карт;
• энергопотребление на один запрос.

Если модель не помещается в память, количество CUDA-ядер не поможет. Если помещается, но память медленная, узким местом может стать подача данных. Поэтому для LLM часто смотрят не только на вычисления, но и на связку “VRAM + bandwidth + Tensor Cores”.

Например, NVIDIA H200 интересна именно тем, что сочетает большой объём HBM3e-памяти и высокую пропускную способность. Это важно для крупных моделей и длинного контекста.

Обучение нейросетей

Для обучения важны:

• Tensor Cores;
• поддержка BF16, FP16 и FP8;
• объём памяти под модель, батч, активации и оптимизатор;
• пропускная способность памяти;
• NVLink или другая быстрая связь между GPU;
• стабильность охлаждения под длительной нагрузкой.

В обучении GPU может работать на высокой загрузке часами или сутками. Поэтому нельзя смотреть только на пиковые TFLOPS. Нужна вся платформа: сервер, питание, охлаждение, топология GPU, драйверы, библиотеки.

Рендеринг и 3D-графика

Для рендеринга важны:

• CUDA-ядра;
• RT-ядра, если используется трассировка лучей;
• объём памяти под сцены, текстуры и геометрию;
• совместимость с конкретным ПО;
• драйверы;
• тепловой режим.

Для таких задач не всегда нужен самый дорогой AI-ускоритель. Иногда более универсальная карта вроде NVIDIA L40S будет логичнее, потому что она рассчитана не только на ИИ, но и на графику, рендеринг и мультимедийные нагрузки.

VDI и виртуальные рабочие места

Для VDI важны не только “сырые” характеристики GPU. Нужно смотреть:

• поддержку vGPU;
• объём видеопамяти на пользователя;
• доступные профили виртуализации;
• лицензирование;
• кодирование и декодирование видео;
• совместимость с гипервизором;
• энергопотребление и плотность размещения.

Документация NVIDIA vGPU полезна именно потому, что для виртуальных рабочих мест важны не только железо, но и программная модель: версии драйверов, лицензии, гипервизоры и поддерживаемые GPU.

Научные и инженерные расчёты

Для HPC и инженерных задач важны:

• FP64, если нужна двойная точность;
• пропускная способность памяти;
• ECC-память;
• стабильность под долгой нагрузкой;
• масштабирование между GPU;
• поддержка нужных библиотек.

Здесь нельзя ориентироваться только на FP8 или INT8. Эти режимы полезны для ИИ, но не заменяют FP64, если расчёт требует высокой численной точности.

Какой параметр смотреть первым

CUDA-ядра: когда они важны, а когда вводят в заблуждение

CUDA-ядра — это универсальные вычислительные блоки GPU. Они выполняют множество параллельных операций и важны для задач, которые хорошо распараллеливаются: рендеринг, симуляции, обработка изображений, часть вычислений в машинном обучении.

Но количество CUDA-ядер нельзя читать как прямой ответ на вопрос “какая карта быстрее”. На реальную производительность влияют:

• архитектура GPU;
• частоты;
• тип и скорость памяти;
• Tensor Cores;
• поддерживаемые режимы точности;
• драйверы и библиотеки;
• оптимизация конкретного приложения.

Ошибка — выбрать GPU для LLM только потому, что у неё больше CUDA-ядер. Для языковых моделей часто важнее, помещается ли модель в память, насколько быстро GPU читает веса из VRAM и поддерживает ли нужный режим вычислений.

Для рендеринга CUDA-ядра могут быть гораздо важнее. Но даже там их нужно смотреть вместе с памятью, RT-ядрами и требованиями конкретного движка.

Tensor Cores: почему они важны для ИИ

Tensor Cores — это специализированные блоки для матричных вычислений. А матричные операции лежат в основе нейросетей, поэтому Tensor Cores особенно важны для обучения и инференса.

H100 GPU.

Источник изображения: NVIDIA

Их роль хорошо видна в поколениях NVIDIA A100, H100 и H200. Например, NVIDIA H100 поддерживает высокую производительность в FP16, BF16, FP8 и INT8, а также использует архитектуру Hopper, рассчитанную на современные ИИ-нагрузки.

При чтении спецификации важно смотреть не только на число Tensor Cores, но и на то, какие режимы они поддерживают:

• FP16 — распространённый формат для нейросетей;
• BF16 — часто удобен для обучения, потому что лучше переносит широкий диапазон значений;
• FP8 — более компактный формат для современных AI-нагрузок;
• INT8 — часто используется для инференса после квантизации.

Большие цифры Tensor TFLOPS не означают автоматического ускорения любой модели. Нужно проверить, поддерживают ли выбранный фреймворк, inference engine и сама модель нужный режим.

FP32, FP16, BF16, FP8, INT8 и FP64 простыми словами

В спецификациях серверных GPU часто указаны разные типы точности. Это не просто технические сокращения. Они показывают, как GPU хранит и обрабатывает числа.

FP32

Одинарная точность. Используется в универсальных вычислениях, графике, части ML-кода и задачах, где нельзя слишком сильно снижать точность.

FP16

Половинная точность. Числа занимают меньше места, вычисления идут быстрее, память расходуется экономнее. Широко используется в нейросетях.

BF16

Формат, удобный для обучения нейросетей. Он похож на FP16 по размеру, но часто лучше ведёт себя при обучении больших моделей.

FP8

Ещё более компактный формат. Может ускорять обучение и инференс, но требует поддержки со стороны GPU, библиотек и модели. Нельзя просто взять любую модель и ожидать, что FP8 даст тот же результат без настройки.

INT8

Целочисленный формат. Часто используется для инференса, когда модель уже обучена и её можно квантизировать. Помогает снизить требования к памяти и повысить скорость, но требует проверки качества.

FP64

Двойная точность. Важна для части научных, инженерных и финансовых расчётов. Для большинства LLM она не главный параметр, но для HPC может быть решающей.

Главная ошибка — сравнивать цифры в разных режимах. FP32 одной карты нельзя напрямую сравнивать с FP8 другой. Это разные типы вычислений, разная точность и разные сценарии.

TFLOPS и TOPS: почему пиковая мощность не равна скорости приложения

TFLOPS показывают, сколько триллионов операций с плавающей точкой GPU теоретически может выполнить за секунду. TOPS чаще используют для низкоточных или целочисленных операций.

Но пиковые значения — это не гарантия скорости в рабочей задаче. На результат влияют:

• точность вычислений;
• размер батча;
• архитектура модели;
• скорость памяти;
• передача данных между CPU и GPU;
• обмен между несколькими GPU;
• версия драйвера;
• оптимизация фреймворка;
• температура и лимиты питания.

Если в спецификации указано очень большое значение TFLOPS, нужно задать три вопроса:

1. В какой точности оно измерено?
2. Это плотные вычисления или режим с разреженностью?
3. Может ли мой софт реально использовать этот режим?

Для LLM-инференса важны не только операции в секунду. Часто важнее задержка ответа, число токенов в секунду, размер контекста, загрузка памяти и стоимость одного запроса.

Видеопамять: объём, тип, шина и пропускная способность

Видеопамять — один из главных параметров серверной GPU. Но её тоже нельзя оценивать только по объёму.

Объём VRAM

Объём видеопамяти показывает, сколько данных может находиться непосредственно на GPU без постоянного обмена с системной памятью.

Он важен для:

• LLM — чтобы модель и контекст помещались в память;
• обучения — чтобы хватило места под модель, батч, активации и оптимизатор;
• рендеринга — чтобы сцена и текстуры не выгружались из памяти;
• VDI — чтобы каждому пользователю хватало своего профиля;
• научных расчётов — чтобы не дробить данные слишком мелко.

Если модели нужно больше памяти, чем есть на GPU, придётся использовать несколько карт, выгружать часть данных в системную память или уменьшать модель/точность. Все эти варианты влияют на скорость и стоимость.

Тип памяти

В серверных GPU чаще встречаются HBM и GDDR.

HBM — дорогая и очень быстрая память, которая используется в топовых ускорителях для ИИ и HPC. Она даёт высокую пропускную способность и хорошо подходит для задач, где GPU постоянно читает большие объёмы данных.

GDDR — более распространённая графическая память. Она часто встречается в универсальных GPU для графики, рендеринга, VDI, видео и части AI-задач.

Например, NVIDIA A100 использует HBM2e, а H100/H200 перешли к более новым поколениям HBM. Поэтому две карты с похожим объёмом памяти могут сильно отличаться по реальной скорости работы с данными.

Шина памяти

Шина памяти — это условная “ширина дороги” между GPU и видеопамятью. Чем она шире, тем больше данных можно передавать за один такт. Но ширина шины сама по себе не даёт полной картины.

На итоговую пропускную способность влияют:

• тип памяти;
• частота памяти;
• архитектура GPU;
• контроллеры памяти;
• кэш;
• особенности конкретной задачи.

Bandwidth

Bandwidth, или пропускная способность памяти, показывает, как быстро GPU может читать и записывать данные в VRAM. Для LLM и HPC этот параметр часто критичен.

Если вычислительные блоки готовы работать быстрее, чем память успевает подавать данные, часть мощности простаивает. Поэтому карта с меньшими пиковыми TFLOPS, но более быстрой памятью может быть лучше в задаче, которая упирается в память.

PCIe, NVLink и линии PCIe

GPU подключается к серверу через интерфейс. Чаще всего это PCIe. В multi-GPU системах также важны NVLink и топология сервера.

PCIe влияет на обмен между CPU, системной памятью, накопителями и GPU. Для одной карты в простой задаче он может не быть главным ограничителем. Но для больших моделей, распределённого обучения и активной передачи данных между несколькими GPU интерфейс становится важнее.

При выборе сервера нужно проверить:

• сколько PCIe-линий доступно для каждой GPU;
• какое поколение PCIe поддерживается;
• сколько карт помещается физически;
• не делят ли GPU линии с другими устройствами;
• есть ли NVLink или NVSwitch;
• поддерживает ли сервер нужную топологию;
• хватает ли питания и охлаждения.

Наличие мощной GPU в прайсе не означает, что её можно без проблем поставить в любой сервер. Особенно если речь о нескольких картах с высоким TDP.

TDP, питание и охлаждение

TDP показывает тепловой пакет GPU. В серверной инфраструктуре это не просто “сколько электричества потребляет видеокарта”. Это параметр, который влияет на всю эксплуатацию.

TDP связан с:

• тепловыделением;
• требованиями к воздушному потоку;
• блоками питания;
• плотностью размещения GPU;
• уровнем шума;
• температурой в стойке;
• стоимостью электроэнергии;
• возможностью поставить несколько карт в один сервер.

Многие серверные GPU имеют пассивное охлаждение и рассчитывают на поток воздуха внутри сервера. Такая карта не предназначена для обычного корпуса без правильного airflow. Если охлаждение не рассчитано на нужную тепловую нагрузку, GPU будет сбрасывать частоты, перегреваться или работать нестабильно.

Высокий TDP не делает карту плохой. Для топовых ускорителей ИИ и HPC это нормальная цена высокой производительности. Вопрос в другом: готов ли сервер и дата-центр к такой карте, и окупается ли её производительность в вашей нагрузке.

Как перевести характеристики GPU в инженерный смысл

Как читать карточку NVIDIA GPU по шагам

Перед покупкой удобно пройти спецификацию по одному маршруту.

1. Определите задачу.
   LLM, обучение, VDI, рендеринг и HPC требуют разных параметров.
2. Проверьте объём видеопамяти.
   Сначала нужно понять, помещается ли модель, сцена, датасет или пользовательский профиль.
3. Посмотрите на пропускную способность памяти.
   Особенно если задача связана с LLM, большими массивами данных или научными расчётами.
4. Проверьте Tensor Cores и точность.
   Для ИИ важны FP16, BF16, FP8 и INT8, но только если ваш стек умеет с ними работать.
5. Сравните TFLOPS только в одинаковом режиме.
   FP32 сравниваем с FP32, FP16 с FP16, FP8 с FP8.
6. Оцените интерфейс.
   PCIe, NVLink и топология сервера особенно важны для нескольких GPU.
7. Проверьте TDP.
   Сервер должен выдерживать питание и охлаждение под постоянной нагрузкой.
8. Уточните форм-фактор.
   PCIe и SXM — разные варианты исполнения. Они не взаимозаменяемы без подходящей платформы.
9. Проверьте программную поддержку.
   Драйверы, CUDA, vGPU, фреймворки и библиотеки должны соответствовать задаче.
10. Считайте стоимость решения, а не только цену карты.
    В итог входят сервер, питание, охлаждение, лицензии, поддержка, простой и масштабирование.

Частые ошибки при выборе серверной NVIDIA GPU

Сравнивать TFLOPS без точности

Одна карта может показывать высокие значения в FP8, другая — в FP32 или FP64. Это разные режимы. Нельзя делать вывод “эта GPU быстрее” без уточнения, в какой точности работает ваша задача.

Выбирать по CUDA-ядрам

Количество CUDA-ядер важно, но не заменяет память, Tensor Cores, bandwidth и архитектуру. Для LLM такая ошибка особенно частая.

Смотреть только на объём VRAM

80 ГБ памяти — это ещё не вся характеристика. Нужно смотреть тип памяти, пропускную способность, интерфейс и форм-фактор. Для больших моделей высокая скорость памяти может быть так же важна, как объём.

Игнорировать сервер

GPU должна физически и электрически подходить к серверу. Нужно проверить питание, airflow, PCIe-линии, высоту и ширину карты, совместимость BIOS и поддержку вендора.

Не учитывать лицензии для VDI

Для виртуальных рабочих мест важна не только GPU, но и vGPU-экосистема. Без нужных лицензий и профилей карта может не решить задачу.

Покупать топовую карту для лёгкой нагрузки

Не каждой задаче нужна H100 или H200. Для лёгкого инференса, видеоаналитики или VDI иногда рациональнее смотреть в сторону карт с меньшим TDP и более подходящей стоимостью владения, например NVIDIA T4 16 ГБ или более универсальных PCIe-GPU.

Примеры выбора под разные сценарии

Сервер для LLM-инференса

Сначала нужно понять:

• сколько параметров у модели;
• в какой точности она будет работать;
• какой нужен размер контекста;
• помещается ли модель в одну GPU;
• нужен ли запуск на нескольких GPU;
• важнее задержка или общая пропускная способность;
• поддерживает ли стек FP8, BF16 или INT8.

Для больших моделей логично смотреть в сторону GPU с большой и быстрой HBM-памятью, например NVIDIA H100 80 ГБ или NVIDIA H200. Но если модель небольшая или уже квантизирована, топовая карта может оказаться избыточной.

Сервер для обучения

При обучении важна не только одна GPU, а вся платформа. Нужно оценить:

• сколько памяти нужно модели и батчу;
• поддерживается ли BF16/FP16/FP8;
• нужен ли NVLink;
• сколько GPU будет в сервере;
• выдержит ли сервер длительную полную нагрузку;
• какие версии CUDA и библиотек нужны.

Для таких задач часто рассматривают NVIDIA A100 80 ГБ, H100 или H200, но выбор зависит от масштаба обучения и бюджета.

Сервер для VDI

Для виртуальных рабочих мест сначала считают пользователей и профили:

• офисные задачи;
• CAD;
• 3D;
• видео;
• работа с несколькими мониторами;
• лёгкие AI-инструменты.

Потом считают видеопамять на пользователя, проверяют vGPU, лицензии и совместимость с гипервизором. В VDI самая дорогая AI-карта не всегда выгоднее. Важнее стабильность, плотность пользователей и предсказуемая стоимость.

Сервер для рендеринга

Для рендеринга нужно смотреть, как конкретный движок использует GPU. Одни задачи больше зависят от CUDA, другие — от RT-ускорения, третьи быстро упираются в VRAM.

Если сцены тяжёлые, память становится критичной. Если сцены небольшие, но рендер идёт потоком, важнее общая производительность и охлаждение. Для смешанных задач рендеринга, графики и инференса можно рассматривать NVIDIA L40S 48 ГБ.

Сервер для научных расчётов

Здесь нужно сразу уточнить, нужна ли двойная точность. Если задача требует FP64, показатели FP8 или INT8 почти ничего не говорят о пригодности GPU.

Также важны:

• ECC;
• bandwidth;
• масштабирование;
• библиотеки;
• повторяемость результатов;
• стабильность под длительной нагрузкой.

Для HPC нельзя выбирать карту только по AI-маркетингу. Нужно читать именно те характеристики, которые относятся к научной задаче.

Какой вывод сделать перед покупкой

Серверную видеокарту NVIDIA нужно выбирать не по самой большой цифре в спецификации, а по связке параметров под конкретную нагрузку. Для LLM сначала важны видеопамять, bandwidth, Tensor Cores и точность. Для обучения — память, Tensor Cores, NVLink и серверная платформа. Для VDI — vGPU, память на пользователя, лицензии и энергоэффективность. Для рендеринга — CUDA/RT-ядра, VRAM и совместимость с ПО. Для HPC — FP64, bandwidth, ECC и стабильность.

Перед покупкой стоит проверять не только GPU, но и сервер: питание, охлаждение, PCIe-линии, форм-фактор, поддержку драйверов и возможность масштабирования. Так проще избежать ситуации, когда карта выглядит мощной в спецификации, но не раскрывается в реальной задаче или вообще не подходит к выбранной платформе.