Платформа с HGX H100 (8×SXM5) рассчитана на Обучение моделей (Training), Дообучение моделей (Fine-tuning), Инференс / Развертывание (Inference), RAG-системы (Retrieval-Augmented Generation) и HPC / Научные расчёты - когда важны масштабирование на 8 GPU и быстрый обмен данными между ускорителями.
H100 (Hopper) поддерживает FP16/FP8/INT8 и использует HBM3; эта конфигурация даёт суммарно 640GB VRAM (8×80GB) — в вашем тексте “640TB” выглядит как опечатка. Между GPU используется NVLink + NVSwitch (в спецификации заявлена межGPU-пропускная способность до 900 GB/s), что особенно полезно для распределённого обучения и тяжёлого serving с длинным контекстом.
Ограничение из спецификации: при установке только 1 CPU часть функций PCIe/памяти может быть недоступна, поэтому для максимальной производительности обычно предполагается двухпроцессорная конфигурация.
Платформа поддерживает 2× LGA4677 и процессоры Intel Xeon Scalable 4/5-го поколения, а также Intel Xeon CPU Max Series (dual CPU, TDP до 350W). Память - DDR5 RDIMM, 32 DIMM, 8-канальная на процессор; скорости: 5th Gen Xeon - до 5600 MT/s (1DPC), 4400 MT/s (2DPC), 4th Gen Xeon - до 4800 MT/s (1DPC), 4400 MT/s (2DPC), Xeon Max Series - до 4800 MT/s (1DPC), 4400 MT/s (2DPC). Для накопителей доступны 8× 2.5" hot-swap Gen5 NVMe/SATA/SAS-4 (для SAS требуется SAS-карта).
Производительность GPU
| Тип точности | Совокупная мощность восьми H100 SXM |
| FP64 Tensor Core | 536 TFLOPS |
| FP8 Tensor Core | 31 664 TFLOPS |
| BF16 / FP16 Tensor Core | 15 832TFLOPS |
| TF32 Tensor Core | 7 912 TFLOPS |
| INT8 Tensor Core | 31 664 TOPS |
Совместимость с LLM-моделями
| Модель | Тип квантизации | Требуется VRAM | Совместимость | Примечание |
| DeepSeek-R1-GGUF 685B |
Q4_K_M |
Примерно 404GB |
✅ |
4-бит и TP на 8 GPU; оставляйте запас под KV-cache при длинном контексте. |
| Qwen3.5-397B-A17B-FP8 |
FP8 |
Примерно 406GB |
✅ |
Без квантизации; удобно распараллеливать по 6–8 GPU под батчи и RAG. |
| Gpt-oss:120b |
Нет |
Примерно 196GB |
✅ |
Хорош для высокого throughput: запуск на 2–4 GPU даёт большой запас по памяти. |
| ai-sage_GigaChat3-702B-A36B-preview-GGUF |
Q4_K_M |
Примерно 472GB |
✅ |
4-бит + TP на 8 GPU — стабильный serving с длинными контекстами. |
| Mistral-Large-3-675B-Instruct-2512-GGUF |
Q4_K_M |
Примерно 407GB |
✅ |
4-бит сохраняет запас под KV-cache; подходит для аналитики и длинных диалогов. |
| GLM-5-GGUF |
Q4_K_M |
Примерно 456GB |
✅ |
Запуск на 4–8 GPU с запасом под батчи и высокий concurrency. |
Совместимость с диффузионными моделями
| Модель | Тип | Совместимость | Примечание |
| Stable Diffusion XL 1.0 |
Текст в изображение |
✅ |
Легко держит высокие разрешения и крупные батчи на нескольких GPU. |
| Flux.2-dev |
Текст в изображение |
⚠️ |
~178GB VRAM: лучше запускать распределённо по 2+ GPU или с оптимизациями памяти. |
| SD Turbo |
Быстрые предпросмотры |
✅ |
Максимальная скорость предпросмотров; удобно держать параллельные очереди. |
| Kandinsky-5.0-T2I-Lite-sft-Diffusers |
Текст в изображение |
✅ |
~35GB VRAM - большой запас под высокое разрешение и batch. |
| Kandinsky-5.0-T2V-Lite-sft-5s-Diffusers |
Текст в видео |
✅ |
~29GB VRAM; можно параллелить генерацию по GPU для очередей видео. |
Технические характеристики
| Видеокарта | 8x Nvidia H100 SXM 80GB HBM3 |
| Процессор | 2x LGA4677 и процессоры Intel Xeon Scalable 4/5-го поколения, а также Intel Xeon CPU Max Series (dual CPU, TDP до 350W) |
| Оперативная память | до 8TB DDR5 ECC REG, 32 DIMM, 8-канальная на процессор |
| SSD накопители | 8× 2.5" hot-swap Gen5 NVMe/SATA/SAS-4 |
Если нужна конфигурация на эту платформу под ваши задачи - свяжитесь с менеджером, и мы предложим подходящий вариант под бюджет и требования.
Нажимая кнопку «Отправить», я даю согласие на обработку и хранение персональных данных и принимаю соглашение