NVIDIA H100, H200 и A100 для LLM: сравнение по памяти, пропускной способности и сценариям использования

Если выбирать GPU для LLM, то A100 чаще всего остаётся рациональным вариантом для пилотов, дообучения и умеренного инференса, H100 стоит брать там, где важны скорость, FP8 и высокая загрузка, а H200 — когда проект упирается в объём и пропускную способность видеопамяти. Проще говоря: A100 — про разумный бюджет, H100 — про производительность, H200 — про крупные модели, длинный контекст и плотный инференс.

Сравнение NVIDIA A100, H100 и H200 нельзя сводить к одной строке “какая быстрее”. Для больших языковых моделей важны сразу несколько факторов:

• сколько видеопамяти доступно на одной GPU;
• как быстро GPU читает данные из памяти;
• поддерживает ли карта современные форматы вычислений;
• можно ли объединить несколько GPU в одном сервере;
• хватит ли серверу питания и охлаждения;
• сколько будет стоить не только покупка, но и эксплуатация.

Именно поэтому одна и та же карта может быть удачным выбором в одном сценарии и неудачным в другом. Для дообучения модели среднего размера A100 может быть вполне достаточно. Для обучения или тяжёлого инференса H100 даст заметный прирост. Для больших моделей с длинным контекстом H200 часто оказывается интереснее H100 не потому, что она “новее”, а потому что у неё больше и быстрее память.

Как выбрать за минуту

A100 стоит рассматривать, если:

• бюджет ограничен;
• нужна зрелая и хорошо поддерживаемая платформа;
• проект ещё на стадии эксперимента или только выходит из неё;
• планируется дообучение, тестирование моделей, умеренный инференс;
• есть возможность купить refurbished-сервер или карту;
• важна цена входа, а не максимальная скорость.

H100 лучше подходит, если:

• нужно ускорить обучение и дообучение современных моделей;
• важен инференс с высокой нагрузкой;
• используется стек, который умеет работать с FP8;
• проекту нужна высокая производительность на одну GPU;
• серверная платформа рассчитана на плотные GPU-конфигурации.

H200 имеет смысл выбирать, если:

• модель, контекст или батч упираются в видеопамять;
• нужен инференс крупных LLM;
• используется RAG с объёмными документами;
• важна плотная обработка большого числа запросов;
• H100 уже недостаточно по памяти, а не только по скорости.

Для подбора готовой инфраструктуры под такие задачи можно смотреть не только отдельные GPU, но и серверы для ИИ, потому что в LLM-проектах карта почти никогда не существует отдельно от шасси, питания, охлаждения, сети и системы хранения.

Почему для LLM важны не только терафлопсы

В обычных сравнениях GPU часто делают акцент на пиковой производительности. Для LLM это полезный, но неполный показатель. Большая языковая модель постоянно работает с огромным объёмом данных: весами, промежуточными вычислениями, кэшем внимания, входными токенами, батчами запросов.

Из-за этого реальный выбор часто упирается не в вопрос “какая GPU самая мощная”, а в более практичные вопросы:

1. Помещается ли модель в память?
2. Можно ли держать нужный контекст?
3. Хватает ли пропускной способности памяти?
4. Насколько эффективно используется несколько GPU?
5. Сколько стоит один полезный результат: эксперимент, запрос, батч или час обучения?

Объём видеопамяти

Видеопамять — один из главных параметров для LLM. В ней размещаются:

• веса модели;
• кэш внимания;
• промежуточные данные при обучении;
• данные батча;
• служебные структуры фреймворка;
• часть данных для распределённого выполнения.

Чем больше модель и контекст, тем быстрее задача упирается в память. Например, при инференсе может быть ситуация, когда вычислительной мощности ещё хватает, но длинный контекст и большой батч уже не помещаются в доступный объём. В таком случае более быстрая GPU с меньшей памятью не всегда будет лучше.

A100 доступна в версиях 40 и 80 ГБ. H100 в официальных спецификациях NVIDIA для SXM/NVL указывается с 80 и 94 ГБ памяти. H200 уже предлагает 141 ГБ HBM3e, и это её ключевое отличие для LLM-сценариев.

Пропускная способность памяти

Пропускная способность показывает, как быстро GPU может читать и записывать данные в собственной памяти. Для LLM это критично: модель постоянно обращается к весам и кэшу, особенно при генерации текста и работе с большим контекстом.

Если упростить, объём памяти отвечает на вопрос “поместится ли задача”, а пропускная способность — “насколько быстро GPU сможет с ней работать”.

По официальным данным NVIDIA:

• A100 80GB имеет пропускную способность памяти более 2 ТБ/с;
• H100 SXM — 3,35 ТБ/с, H100 NVL — 3,9 ТБ/с;
• H200 — 4,8 ТБ/с.

Поэтому H200 особенно интересна в задачах, где GPU не просто “считает”, а постоянно гоняет большие объёмы данных через память: крупный инференс, пакетная генерация, длинный контекст, RAG, несколько пользователей или сервисов на одной платформе.

Форматы вычислений

Для LLM важна не только “сырая” мощность, но и то, в каком формате выполняются вычисления.

Самые частые варианты:

• FP32 — высокая точность, но большой расход памяти и вычислений.
• FP16/BF16 — распространённый вариант для обучения и дообучения.
• FP8 — более компактный формат, особенно важный для H100 и H200.
• INT8 и другие варианты квантования — часто применяются для инференса, когда нужно снизить потребление памяти и ускорить ответы.

FP8 не означает, что любая задача автоматически станет быстрее и дешевле. Нужны совместимые библиотеки, корректная настройка и проверка качества модели. Но для современных LLM-нагрузок поддержка FP8 у H100 и H200 — серьёзное преимущество перед A100.

Связь между GPU

Крупные модели часто не ограничиваются одной картой. Несколько GPU могут работать в одном сервере или в нескольких узлах. Тогда важна скорость обмена данными между ними.

Здесь появляются три важных понятия:

• PCIe — стандартная шина для подключения устройств в сервере.
• NVLink — более быстрая связь между GPU.
• NVSwitch — технология для плотных multi-GPU-систем, где несколько карт должны быстро обмениваться данными друг с другом.

Для одиночного инференса небольшой модели межсоединение может быть не главным фактором. Но для обучения, распределения модели по нескольким GPU или обслуживания крупных моделей связь между картами становится одним из узких мест.

Сравнение характеристик A100, H100 и H200

Эта таблица полезна как отправная точка, но выбирать нужно не абстрактную “A100 против H100 против H200”, а конкретную версию и конкретный сервер.

Например, H100 SXM, H100 NVL и H100 PCIe — это не одно и то же с точки зрения памяти, питания, охлаждения и интерконнекта. H200 тоже раскрывается только в платформе, которая рассчитана на её энергопотребление, воздушный поток и плотную компоновку.

Если задача — подобрать не только карту, но и совместимое железо, логично смотреть каталог видеокарт NVIDIA для ИИ и нейросетей вместе с серверными платформами, а не отдельно.

A100 для LLM: когда она всё ещё рациональна

Источник изображения: NVIDIA

NVIDIA A100 уже не выглядит самой новой картой на фоне H100 и H200, но это не делает её бесполезной для LLM. На практике A100 остаётся сильным вариантом там, где нужна зрелая инфраструктура, предсказуемая совместимость и более разумная цена.

Сильные стороны A100

A100 подходит для многих задач, где не требуется максимальная производительность Hopper-поколения:

• дообучение моделей;
• инференс моделей среднего размера;
• эксперименты с архитектурами;
• исследовательские задачи;
• корпоративные ML-пайплайны;
• тестирование RAG-систем;
• обучение моделей умеренного размера;
• разделение GPU между несколькими нагрузками.

Отдельный плюс — зрелость экосистемы. Под A100 уже хорошо обкатаны драйверы, фреймворки, серверные конфигурации, мониторинг и практики эксплуатации. Для команды, которая только строит LLM-инфраструктуру, это может быть важнее, чем максимальная скорость.

Где A100 может быть лучшим выбором

A100 особенно уместна, если проекту нужно начать без чрезмерного бюджета. Например:

• компания запускает внутреннего ассистента;
• команда тестирует несколько открытых моделей;
• нагрузка пока непостоянная;
• важнее проверить гипотезу, чем сразу строить дорогой кластер;
• модель помещается в 40 или 80 ГБ памяти;
• нет необходимости в FP8;
• можно использовать refurbished-оборудование.

В таких сценариях A100 может дать лучший баланс между ценой и пользой. Покупка H100 или H200 будет оправдана только тогда, когда ускорение реально снижает стоимость экспериментов, стоимость одного запроса или риск простоя.

Ограничения A100

Главные ограничения A100 для современных LLM:

• нет FP8;
• ниже пропускная способность памяти, чем у H100 и H200;
• меньше запас по видеопамяти по сравнению с H200;
• сложнее работать с очень длинным контекстом;
• при росте батча и размера модели быстрее появляются ограничения.

A100 не стоит выбирать “по привычке”, если проект уже заранее рассчитан на тяжёлый инференс крупных моделей, длинный контекст и высокую плотность пользователей. Но если задача умеренная, а бюджет важен, A100 всё ещё может быть самым здравым вариантом.

H100 для LLM: где появляется реальный прирост

Источник изображения: NVIDIA

H100 — это уже другой класс ускорителя для LLM. Её преимущество не только в том, что она новее A100. Главное — архитектура Hopper, поддержка FP8, высокая пропускная способность памяти и лучшая пригодность для современных AI-пайплайнов.

Почему H100 быстрее в LLM-задачах

H100 лучше раскрывается там, где нагрузка действительно использует её возможности:

• обучение и дообучение больших моделей;
• инференс с высокой частотой запросов;
• большие батчи;
• современные библиотеки с поддержкой FP8;
• распределённая работа нескольких GPU;
• оптимизированные фреймворки для трансформеров.

Если команда использует современный стек и умеет работать с более новыми GPU, H100 может снизить время экспериментов и ускорить вывод модели в продакшен. Это важно не только для технической команды, но и для бизнеса: быстрее обучили, быстрее проверили гипотезу, быстрее обновили модель.

Для готовых конфигураций можно смотреть серверы с GPU NVIDIA H100, но при выборе важно проверять не только саму карту, а всю платформу: CPU, память, слоты, охлаждение, блоки питания, сетевые интерфейсы.

Когда H100 лучше A100

H100 обычно выигрывает у A100, если:

• модель крупнее;
• батч больше;
• требуется высокая скорость инференса;
• важно сократить время дообучения;
• используется FP8;
• есть высокая постоянная загрузка;
• инфраструктура рассчитана на несколько GPU.

Особенно хорошо H100 выглядит в продакшен-сценариях, где ускорение превращается в деньги. Если GPU загружена большую часть времени, более дорогая карта может окупаться за счёт большей производительности и меньшей стоимости одного запроса.

Когда H100 может быть лишней

H100 не всегда оправдана. Она может быть избыточной, если:

• модель небольшая;
• запросов мало;
• проект находится в стадии раннего пилота;
• команда ещё не оптимизировала код;
• узкое место находится в хранилище, сети или логике приложения;
• серверная платформа не позволяет раскрыть GPU.

Распространённая ошибка — покупать H100, когда реальная проблема не в GPU. Например, если данные медленно подаются из хранилища или модель плохо оптимизирована, переход с A100 на H100 может не дать ожидаемого эффекта.

H200 для LLM: когда решает память

Источник изображения: NVIDIA

H200 часто воспринимают как “ещё более мощную H100”, но правильнее смотреть на неё иначе. Это GPU, где главный акцент сделан на большем объёме и более высокой скорости памяти.

У H200 141 ГБ памяти HBM3e и пропускная способность 4,8 ТБ/с. NVIDIA также указывает для H200 поддержку FP8 и форм-факторы SXM/PCIe в зависимости от версии.

Почему 141 ГБ важны для LLM

Большой объём памяти помогает не только “запустить модель побольше”. Он влияет на весь сценарий работы:

• можно держать больше весов на одной GPU;
• проще работать с длинным контекстом;
• можно увеличить батч;
• появляется больше пространства для кэша внимания;
• легче обслуживать несколько потоков запросов;
• меньше вероятность, что модель придётся неудобно дробить между картами.

Это особенно важно для инференса крупных моделей. В обучении часто всё равно нужна multi-GPU-система, а вот в инференсе дополнительная память на одной GPU может сильно упростить архитектуру и повысить плотность обслуживания.

Где H200 особенно сильна

H200 стоит рассматривать для задач, где H100 уже упирается в память:

• инференс крупных LLM;
• RAG с объёмными документами;
• обработка больших батчей;
• корпоративные ассистенты с длинной историей диалога;
• несколько моделей или сервисов на одной GPU-платформе;
• сценарии, где важно обслуживать больше запросов на тот же объём стойки.

RAG здесь важен отдельно. В таких системах модель не просто генерирует ответ, а получает дополнительные фрагменты документов, инструкций, истории и контекста. Чем длиннее контекст, тем выше требования к памяти. Поэтому H200 может быть ценна не “для красоты”, а как способ уменьшить ограничения при работе с большими входными данными.

Когда H200 не нужна

H200 не стоит выбирать автоматически. Она может быть неоправданно дорогой, если:

• модель небольшая;
• контекст короткий;
• нагрузка редкая;
• инференс не упирается в память;
• проект только тестирует гипотезу;
• сервер не рассчитан на такую GPU;
• экономику проекта не считали.

Если A100 или H100 уже закрывают задачу с запасом, H200 может не дать пропорциональной выгоды. Её стоит выбирать тогда, когда расчёт показывает: дополнительная память и пропускная способность действительно уменьшают число серверов, ускоряют обработку или снижают стоимость одного запроса.

Что выбрать под разные LLM-сценарии

Эта таблица не заменяет тестирование. Итоговый выбор зависит от модели, длины контекста, формата весов, батча, фреймворка, требований к задержке и доступной серверной платформы.

Форм-фактор и платформа: где часто ошибаются

Один из самых рискованных подходов — выбрать GPU по характеристикам, а потом искать, куда её поставить. Для H100 и H200 это особенно опасно: разные версии карт требуют разных серверов, питания, охлаждения и межсоединений.

PCIe

PCIe-карты проще интегрировать в стандартные серверы. Обычно это более гибкий путь, если нужно поставить одну, две или несколько GPU без перехода на специализированную HGX/DGX-платформу.

Плюсы PCIe:

• шире выбор серверов;
• проще модернизация;
• понятнее обслуживание;
• легче найти совместимые конфигурации;
• подходит для многих инференс-задач.

Ограничения:

• ниже плотность по сравнению с SXM-платформами;
• меньше возможностей для быстрых связей между GPU;
• не всегда лучший вариант для обучения крупных моделей;
• нужно внимательно проверять охлаждение, особенно для пассивных серверных карт.

SXM

SXM — это не “обычная карта”, которую можно поставить в любой сервер. Это формат для плотных GPU-систем, где несколько ускорителей работают как единая платформа.

Плюсы SXM:

• высокая плотность GPU;
• лучшая связность между картами;
• подходит для 4/8-GPU систем;
• хорошо раскрывается в обучении и тяжёлых LLM-нагрузках.

Ограничения:

• требуется специализированное шасси;
• сложнее апгрейд;
• выше требования к питанию;
• выше требования к охлаждению;
• обычно выше стоимость входа.

NVLink и NVSwitch

NVLink ускоряет обмен данными между GPU. NVSwitch помогает строить плотные системы, где нескольким картам нужно быстро обмениваться данными внутри одного сервера. В DGX H100/H200, например, используются восемь GPU, а H100-версия даёт 640 ГБ общей GPU-памяти, H200-версия — 1128 ГБ; в системе также указаны NVSwitch и мощная серверная обвязка. Более подробно можно прочитать в документе NVIDIA.

Это важно для:

• обучения крупных моделей;
• распределения модели между несколькими GPU;
• высокой загрузки одного сервера;
• задач, где задержки между GPU влияют на итоговую скорость.

Для небольшого инференса NVLink может быть не главным фактором. Но если модель не помещается на одну карту или нагрузка рассчитана на несколько GPU, экономить на интерконнектах опасно.

Питание и охлаждение

Перед покупкой GPU-сервера нужно проверить не только “влезет ли карта”, но и весь контур эксплуатации.

Минимальный чек-лист:

1. Поддерживает ли сервер нужный форм-фактор GPU?
2. Хватает ли блоков питания под пиковую нагрузку?
3. Рассчитано ли шасси на пассивные серверные GPU?
4. Достаточно ли воздушного потока?
5. Поддерживает ли BIOS нужные карты?
6. Есть ли нужные райзеры, кабели и мосты?
7. Поддерживаются ли нужные версии драйверов?
8. Хватает ли места в стойке?
9. Есть ли запас по электропитанию в серверной?
10. Как быстро можно заменить карту при отказе?

H100 и H200 в тяжёлых конфигурациях — это уже не просто “купить видеокарту”. Это проектирование GPU-платформы.

TCO: почему самая быстрая GPU не всегда самая выгодная

В LLM-инфраструктуре цена карты — только часть расходов. Иногда более дорогая GPU оказывается выгоднее, потому что обрабатывает больше запросов. Иногда наоборот: дорогая карта простаивает, а проект мог бы спокойно работать на A100.

Что входит в стоимость владения

При расчёте нужно учитывать:

• стоимость GPU;
• стоимость сервера;
• процессоры и системную память;
• сеть;
• хранилище;
• стойку;
• питание;
• охлаждение;
• гарантию;
• сервис;
• простой;
• работу инженеров;
• ожидаемый срок эксплуатации.

Если считать только цену GPU, выбор почти всегда будет искажён. Для бизнеса важнее не цена карты сама по себе, а стоимость полезного результата.

Refurbished и доступность

A100 часто интересна именно в refurbished-сценариях. Для пилота, внутренней платформы или умеренного инференса это может быть разумнее, чем сразу покупать H100 или H200.

Но здесь важно проверять:

• состояние оборудования;
• гарантию;
• совместимость с сервером;
• происхождение карты;
• условия замены;
• репутацию поставщика.

Для некоторых проектов refurbished A100 может дать больше пользы на рубль бюджета, чем новая H100. Особенно если команда ещё не уверена в нагрузке и не готова сразу строить дорогую инфраструктуру.

Стоимость простоя

Дешёвая конфигурация становится дорогой, если она часто простаивает или долго ремонтируется. Для продакшен-сервиса с LLM важны:

• запасные компоненты;
• гарантия;
• понятный SLA;
• мониторинг;
• возможность быстро заменить GPU;
• предсказуемость поставки;
• поддержка со стороны поставщика.

Если сервис приносит деньги или критичен для внутренних процессов, простой может стоить дороже, чем разница между A100 и H100.

Плотность GPU на юнит

H100 и H200 могут быть выгоднее A100, если позволяют обслуживать больше запросов на тот же объём стойки, питания и охлаждения. Это особенно важно в дата-центрах, где ограничены:

• место в стойках;
• доступная мощность;
• тепловой бюджет;
• количество серверов;
• сетевые порты.

Но высокая плотность окупается только при высокой загрузке. Если GPU работает несколько часов в день, дорогая конфигурация может не иметь смысла.

Как принять решение без гадания

Хороший выбор GPU начинается не с таблицы характеристик, а с описания задачи.

Порядок может быть таким:

1. Определить сценарий: обучение, дообучение, инференс, RAG, пакетная обработка, разделяемая платформа.
2. Оценить модель: размер, формат весов, длина контекста.
3. Посчитать, сколько памяти потребуется под веса, кэш и батч.
4. Проверить, помещается ли задача в одну GPU.
5. Если не помещается — оценить квантование, разбиение модели или переход на GPU с большим объёмом памяти.
6. Понять, что важнее: задержка ответа или количество запросов в единицу времени.
7. Проверить, нужна ли связка нескольких GPU.
8. Выбрать форм-фактор: PCIe, SXM, NVL.
9. Проверить совместимость сервера.
10. Посчитать стоимость владения.
11. Протестировать реальную модель на похожей конфигурации.

На этом этапе полезно смотреть не только GPU, но и серверы с GPU NVIDIA, потому что итоговая производительность зависит от всей платформы.

Частые ошибки при выборе GPU для LLM

Самые частые проблемы появляются не из-за плохой карты, а из-за неправильного выбора под задачу.

Ошибки, которых лучше избегать:

• смотреть только на пиковую производительность;
• не считать видеопамять;
• забывать про длинный контекст;
• не учитывать кэш внимания;
• считать, что любая H100 одинаковая;
• путать PCIe, SXM и NVL;
• покупать GPU без проверки совместимости с сервером;
• недооценивать питание и охлаждение;
• считать цену карты, но не считать простой;
• брать H200 там, где достаточно A100;
• брать A100 там, где проект уже требует FP8 и высокой плотности;
• не тестировать реальную модель перед закупкой.

Отдельно стоит сказать про “запас на будущее”. Он полезен, если есть понятный рост нагрузки. Но если проект не знает, какая модель будет использоваться и сколько будет запросов, слишком дорогая GPU может стать не инвестицией, а замороженным бюджетом.

Что выбрать в итоге

A100, H100 и H200 не заменяют друг друга полностью. У каждой карты есть своя зона рациональности.

A100 — хороший выбор для пилотов, дообучения, умеренного инференса и бюджетных LLM-проектов. Она особенно интересна, если важны доступность, зрелость платформы и возможность снизить стоимость входа.

H100 — выбор для проектов, где нужна высокая скорость, современный стек, FP8 и серьёзная постоянная нагрузка. Она хорошо подходит для обучения, дообучения и производительного инференса, если серверная платформа позволяет раскрыть её возможности.

H200 — вариант для сценариев, где главным ограничением становится память: крупные модели, длинный контекст, RAG, большие батчи и плотный инференс. Её преимущество особенно заметно там, где 80–94 ГБ уже мало, а 141 ГБ даёт больше свободы в архитектуре сервиса.

Лучшая GPU для LLM — не самая новая и не самая дорогая. Лучшая — та, которая помещает вашу модель в память, даёт нужную скорость, совместима с сервером и окупается в вашем сценарии.