Для разработки, небольших языковых моделей и умеренной RAG-нагрузки будет достаточно классической R-серии с одной-двумя видеокартами. Если нужны три-четыре мощных PCIe-ускорителя, стоит рассматривать R760xa, а для пяти-восьми карт — XE7740 или XE7745. Крупные модели, интенсивное дообучение и обучение с постоянным обменом между восемью GPU требуют XE9680, XE9780 или XE9785. Сервер при этом выбирают не по одному количеству видеокарт: сначала рассчитывают необходимый объём VRAM, контекст и параллельность, затем проверяют CPU, RAM, линии PCIe, NVMe, сеть, питание и охлаждение.
LLM — большая языковая модель, инференс — её запуск для получения ответа, RAG — генерация с поиском по корпоративным данным, VRAM — память графического ускорителя. Сведения о моделях актуальны на июль 2026 года; перед заказом нужно повторно сверить матрицу совместимости Dell.
Серверы Dell PowerEdge XE для AI
5 лет гарантии
Бесплатная доставкаот 114 559 680 ₽
3 980 949 ₽/мес в лизинг
от 95 466 400 ₽
+ 19 093 280 НДС
5 лет гарантииБесплатная доставкаот 114 949 800 ₽
3 994 506 ₽/мес в лизинг
от 95 791 500 ₽
+ 19 158 300 НДС
5 лет гарантииБесплатная доставкаот 17 062 500 ₽
592 922 ₽/мес в лизинг
от 14 218 750 ₽
+ 2 843 750 НДС
Начинать нужно с нагрузки
Под названием «AI-сервер» могут скрываться системы с разным профилем потребления ресурсов.
Инференс LLM
Для запуска готовой модели важны:
- размер модели и точность хранения весов;
- длина контекста;
- число одновременных запросов;
- требуемая скорость ответа;
- допустимая задержка первого токена.
Модель может уверенно работать в тесте с одним пользователем и исчерпывать видеопамять при десятках параллельных диалогов. Поэтому сервер нельзя выбирать только по результату единичного локального запуска.
RAG
В RAG GPU-ускоритель обслуживает лишь часть цепочки. Помимо генерации выполняются загрузка документов, построение векторных представлений, поиск, повторное ранжирование и работа с метаданными. Узким местом могут стать CPU, RAM, NVMe или сеть. Более мощная GPU не ускорит систему, если векторная база медленно читает индекс.
Дообучение и машинное обучение
Параметроэффективное дообучение изменяет небольшую часть модели и может выполняться на одной или нескольких PCIe-GPU. Полное дообучение требует намного больше памяти: кроме весов хранятся градиенты, состояния оптимизатора и промежуточные активации.
Компьютерное зрение
Для видео учитывают число потоков, разрешение, кодек, глубину архива и задержку. При десятках камер сеть и запись могут ограничивать систему сильнее, чем GPU.
| Нагрузка | Главный ограничивающий ресурс | Частое второе узкое место | Подходящий класс PowerEdge |
|---|---|---|---|
| Небольшой инференс | VRAM одной GPU | CPU и сеть | R750, R760, R770 |
| Производственный инференс | VRAM и параллельность | Связь между GPU | R760xa, XE7740, XE7745 |
| RAG | Генерация и поиск | RAM, NVMe, сеть | R760, R770, R760xa |
| Дообучение | VRAM и обмен между GPU | RAM и хранилище | R760xa, XE7740, XE7745 |
| Крупное обучение | Интерконнект восьми GPU | Сеть и питание | XE9680, XE9780, XE9785 |
| Компьютерное зрение | Производительность GPU | Видеопотоки и диски | R760xa, XE7740, XE7745 |
Это классы платформ, а не готовые конфигурации: например, крупная RAG-система может потребовать раздельных узлов генерации, поиска и хранения.
AI-сервер — это вся платформа
GPU выполняет матричные операции, но её загрузка зависит от того, насколько быстро остальные компоненты подают данные. Дорогой ускоритель может простаивать из-за медленного накопителя, нехватки линий PCIe или слабой обработки на CPU.
GPU и видеопамять
Вычислительная мощность и объём VRAM — разные характеристики. Быстрая карта с 24 ГБ может не запустить задачу, которая помещается на менее производительной GPU с 48 или 96 ГБ, и наоборот — для небольших моделей более производительная видеокарта может быть эффективнее медленной, но с большим объёмом памяти.
При этом следует учесть, что видеопамять расходуется на:
- веса модели;
- кэш обработанного контекста;
- промежуточные результаты;
- служебные буферы;
- пакеты параллельных запросов;
- дополнительные данные при дообучении.
Поэтому сравнения только по терафлопсам, как и только по гигабайтам — недостаточно.
CPU и RAM
Процессоры выполняют токенизацию, обработку документов, работу части баз данных и обслуживание контейнеров. При этом число ядер не заменяет частоту, пропускную способность памяти и правильную локальность устройств.
В зависимости от шасси можно рассматривать серверы на Intel Xeon или серверы на AMD EPYC. Процессорная платформа влияет на число ядер, каналы памяти и линии PCIe, но выбирается вместе с GPU, а не отдельно.
RAM нужна для загрузки модели, векторной базы, обработки данных и вспомогательных сервисов. Правила «оперативной памяти должно быть вдвое больше VRAM» нет: объём считают по всем компонентам и оставляют запас.
PCIe и топология
Количество физических слотов не равно количеству полноскоростных подключений. GPU, сетевые карты и NVMe делят линии PCIe, а часть слотов может работать с меньшей шириной канала.
В двухпроцессорной системе важно, к какому CPU подключена каждая карта. Если данные находятся в памяти одного процессора, а GPU — на линиях другого, обмен проходит через межпроцессорное соединение. Поэтому проверяют настройки и архитектуру NUMA, схему райзеров, ширину линий и локальность памяти.
Как рассчитать видеопамять
Первичная оценка весов модели выглядит так:
память весов ≈ количество параметров × размер одного параметра.
Ориентиры:
- 16-битное представление — около 2 байт на параметр;
- 8-битное — около 1 байта;
- 4-битное — теоретически около 0,5 байта.
Реальный объём выше из-за служебных данных. Модель на 70 млрд параметров в 16-битном виде требует около 140 ГБ только под веса и не помещается на одной карте с 80–96 ГБ.
Квантование уменьшает расход памяти, но может влиять на точность, скорость отдельных операций и совместимость. Нельзя считать, что перевод любой модели в 4 бита даёт одинаково приемлемый результат.
Контекст и параллельность
При генерации система хранит данные уже обработанного текста, чтобы не пересчитывать его на каждом шаге. Объём этого кэша растёт с длиной контекста, числом слоёв и количеством одновременных последовательностей. Поэтому переход от 8 тысяч токенов к 32–128 тысячам способен заметно изменить требования к VRAM. NVIDIA рассматривает кэш контекста как одно из основных ограничений инференса: его уменьшение позволяет обслуживать более длинные запросы и крупные пакеты.
Несколько GPU
Четыре карты по 48 ГБ физически дают 192 ГБ VRAM, но память не становится единым быстрым пулом. Программное обеспечение должно разделить модель, после чего части вычислений обмениваются данными через PCIe, NVLink или NVSwitch.
На результат влияют:
- способ распределения модели;
- объём обмена на каждом шаге;
- скорость интерконнекта;
- топология GPU и CPU;
- поддержка распределённого запуска.
Производственной конфигурации нужен запас на контекст, рост параллельности, обновление модели и служебные процессы.
PCIe и HGX/SXM: в чём разница
PCIe-ускорители подходят для большинства систем инференса, RAG, компьютерного зрения и параметроэффективного дообучения. Их можно устанавливать по одной, подбирать под бюджет и заменять отдельно.
Ограничение проявляется, когда одна модель постоянно обменивается данными между несколькими картами. Добавление GPU не гарантирует пропорционального роста скорости, поскольку часть времени уходит на передачу через PCIe.
В платформах HGX ускорители связаны через NVLink и NVSwitch. Такая архитектура лучше подходит для обучения и крупных моделей, распределённых между восемью GPU. При этом она дороже, потребляет больше энергии и требует подготовленного охлаждения.
Восемь PCIe-карт и восемь HGX-ускорителей неравнозначны. Для независимых экземпляров модели PCIe может быть рациональнее; для одной модели на всех картах важнее быстрое межсоединение.
Какие Dell PowerEdge рассматривать
Серверы Dell для AI можно разделить на стандартные R-системы, усиленный R760xa и плотные платформы XE.
R750, R760 и R770
PowerEdge R750 подходит для лаборатории, разработки, обработки изображений и умеренного инференса. При покупке восстановленного сервера нужно проверить GPU-комплект: стандартное шасси может не иметь подходящих райзеров, воздуховода и блоков питания.
PowerEdge R760 — универсальный 2U-сервер 16-го поколения для одной-двух GPU, вполне подойдёт под RAG и для рабочих сред специалистов по данным. Но он не заменяет R760xa, когда нужны четыре мощных ускорителя.
R760xa уже специализированная платформа, рассчитанная на GPU-нагрузки. В зависимости от комплектации поддерживает до четырёх двухслотовых карт мощностью до 400 Вт либо до двенадцати однослотовых ускорителей. Платформа предназначена для обучения, инференса, аналитики и виртуальных рабочих мест.
PowerEdge R770 относится к 17-му поколению, также общего назначения. Возможны конфигурации с шестью однослотовыми либо двумя двухслотовыми GPU. Стоит учитывать, что для H200 NVL и RTX PRO 6000 Dell ограничивает мощность до 450 Вт и задаёт отдельные требования к операционной системе, ядру, райзерам и охлаждению.
XE7740 и XE7745
XE7740 и XE7745 — 4U-платформы для высокой плотности PCIe-GPU. Первая использует Intel Xeon 6, вторая — AMD EPYC. Это промежуточный класс между R760xa и HGX-системами.
XE7740 поддерживает до восьми двухслотовых PCIe Gen5 x16 карт мощностью до 600 Вт либо до шестнадцати однослотовых карт до 75 Вт. Он подходит для производственного инференса, дообучения, обработки видео и нескольких независимых моделей.
XE9680, XE9780 и XE9785
XE9680 — 6U-платформа с восемью ускорителями NVIDIA H100/H200, AMD MI300X или Intel Gaudi 3 в зависимости от исполнения. Она рассчитана на обучение, крупные модели и высокопроизводительные вычисления.
XE9780 и XE9785 относятся к новому поколению воздушно охлаждаемых систем с восемью тесно связанными ускорителями. XE9780 использует Intel Xeon 6 и NVIDIA HGX B200/B300, XE9785 — AMD EPYC. Dell позиционирует этот класс для обучения, крупномасштабного инференса и AI-кластеров.
| Платформа | Типичная GPU-конфигурация | Подходящие задачи | Ограничения |
|---|---|---|---|
| R750 | Умеренное число карт предыдущих поколений | Разработка, небольшие модели, зрение | PCIe Gen4, зависимость от GPU-комплекта |
| R760 | Одна-две мощные GPU | RAG, разработка, инференс | Ниже плотность, чем у R760xa |
| R760xa | До четырёх двухслотовых GPU | Инференс, ML, дообучение | Ограничения 2U по мощности и охлаждению |
| R770 | До двух двухслотовых или шести однослотовых GPU | Современный корпоративный инференс | Мощные карты могут иметь ограничение TDP |
| XE7740/XE7745 | До восьми мощных PCIe-GPU | Масштабный инференс, зрение, дообучение | Нет общего HGX-модуля |
| XE9680 | Восемь ускорителей H100/H200, MI300X или Gaudi 3 | Крупные LLM, обучение, HPC | Высокие требования к питанию |
| XE9780/XE9785 | Восемь ускорителей нового поколения | Обучение и крупный инференс | Нужна подготовленная инфраструктура |
Поддержка GPU зависит от райзеров, накопителей, сетевых карт, вентиляторов и БП. Название сервера само по себе не подтверждает совместимость.
Серверы Dell PowerEdge XE для AI
5 лет гарантииБесплатная доставкаот 114 559 680 ₽
3 980 949 ₽/мес в лизинг
от 95 466 400 ₽
+ 19 093 280 НДС
5 лет гарантииБесплатная доставкаот 114 949 800 ₽
3 994 506 ₽/мес в лизинг
от 95 791 500 ₽
+ 19 158 300 НДС
5 лет гарантииБесплатная доставкаот 17 062 500 ₽
592 922 ₽/мес в лизинг
от 14 218 750 ₽
+ 2 843 750 НДС
Выбор PowerEdge под задачу
Небольшие LLM и разработка
Для моделей на 7–14 млрд параметров и внутреннего помощника небольшой команды часто достаточно одной GPU с подходящим объёмом VRAM. Если важен бюджет, можно рассматривать R750. Для новой инфраструктуры логичнее сравнивать PowerEdge 16-го поколения и PowerEdge 17-го поколения.
Две слабые карты не всегда полезнее одной GPU с большей VRAM, и/или дополнительных RAM и быстрых NVMe. Модель на одном ускорителе проще настраивать, поскольку использование нескольких GPU требует поддержки со стороны приложения и часто упирается в интерконнект.
Производственный инференс
Сервер выбирают по трём показателям:
- помещается ли модель во VRAM вместе с кэшем контекста;
- сколько запросов обрабатывается одновременно;
- какая задержка допустима.
Для одной-двух мощных GPU подходит R770, для трёх-четырёх — R760xa. Пять-восемь PCIe-карт и несколько независимых моделей ведут к XE7740/XE7745. Если одна крупная модель распределяется между всеми ускорителями, лучше подходят XE9680/XE9780/XE9785.
RAG
RAG проектируют как набор сервисов. Отдельно оценивают генеративную модель, эмбеддинги, повторное ранжирование, векторную базу, обработку документов и постоянное хранение.
Для среднего проекта генерация может работать на R760 или R770, а база и индексация — на отдельном узле с большим объёмом RAM и быстрыми NVMe.
Один R760xa оправдан, когда важны компактность и простота, но индексация не должна конкурировать с генерацией за ресурсы CPU, RAM и дисков.
Дообучение
Параметроэффективное дообучение небольших и средних моделей возможно на R760xa. Для нескольких мощных GPU и крупных выборок подходит XE7740/XE7745. Полное дообучение крупной модели требует памяти под градиенты и оптимизатор, поэтому XE9680/XE9780/XE9785 с быстрым обменом между ускорителями дают более подходящую архитектуру.
Компьютерное зрение
Для пакетной обработки часто достаточно R760xa. При большом числе независимых потоков XE7740/XE7745 позволяют распределить камеры или модели между GPU. До заказа определяют количество потоков, разрешение, кодек, требуемую задержку, срок хранения архива, нагрузку на CPU и пропускную способность сети.
Иногда несколько менее плотных узлов рядом с источниками видео эффективнее одного центрального сервера: не приходится передавать весь поток через общую сеть.
Корпоративный private AI
Для закрытой корпоративной системы важны управление и отказоустойчивость. iDRAC и OpenManage дают удалённый контроль, централизованное обновление прошивок и телеметрию. Производственную и экспериментальную среды лучше разделять, чтобы обновления моделей и библиотек не влияли на рабочий сервис.
При высокой критичности и требования по доступности не обойтись без проектирования резервированной схемы питания, сети и возможности обслуживать узлы без полной остановки системы.
Хранилище для LLM и RAG
Системный раздел лучше разместить на зеркалированных M.2 в BOSS, а модели, индексы и наборы данных — на отдельных накопителях.
Локальные NVMe используют для:
- весов моделей;
- векторных индексов;
- кэша и временных файлов;
- обучающих выборок;
- контрольных точек.
Для RAG важна не только последовательная скорость SSD, но и задержка при случайных обращениях. Множество небольших файлов и частые обновления индекса могут сильнее зависеть от числа операций ввода-вывода.
Отказоустойчивый RAID нужен для данных, которые должны пережить отказ диска. При прямом подключении NVMe отказоустойчивость обеспечивает операционная система, приложение или копирование на другой узел. При этом HDD использовать можно, они подходят для архива, но не для моделей и активной базы RAG, тут их производительности в случайном чтении будет недостаточно.
Сеть и масштабирование
Для разработки может хватить 10 Гбит/с. Производственная RAG-система, общее хранилище и несколько GPU-узлов обычно требуют уже 25–100 Гбит/с. Сети 200–400 Гбит/с актуальны при распределённом обучении и частом обмене тензорами между серверами.
Желательно разделять трафик управления, пользовательские запросы, доступ к хранилищу и обмен между вычислительными узлами хотя бы на уровне VLAN.
Скорость порта не гарантирует результат, если адаптер делит PCIe с GPU или если общее хранилище медленнее сети. Распределение одной модели между серверами добавляет задержку, тогда как независимые экземпляры инференса масштабируются лучше.
Питание и охлаждение
В AI-сервере GPU часто потребляют больше энергии, чем остальные компоненты вместе. Расчёт должен включать потребление ускорителей, CPU, RAM, NVMe, сети, систем охлаждения, потери БП и кратковременные пики.
Номиналы двух блоков питания нельзя просто сложить. В режиме резервирования сервер должен сохранять рабочую нагрузку после отказа одного БП. Высокоплотные системы также могут требовать 200–240 В, несколько силовых подключений, подходящие PDU и отдельный расчёт мощности стойки.
Пассивные серверные GPU охлаждаются воздушным потоком через шасси. Поэтому готовая к GPU комплектация может иметь специальные вентиляторы, радиаторы и воздуховоды. Установка мощных карт в стандартный сервер после покупки нередко требует заменить райзеры, кабели, БП и часть дисковой конфигурации.
Жидкостное охлаждение снижает нагрузку на воздух в зале, но требует коллекторов, теплообменников, контроля утечек и подготовленного контура дата-центра.
Программная совместимость и эксплуатация
Поддержку GPU проверяют вместе с операционной системой и драйверами. Карта может требовать определённую версию Linux, ядра, CUDA или прошивки сервера. Работа гипервизора не гарантирует доступность всех функций ускорителя внутри виртуальной машины.
Для производственной среды фиксируют проверенный набор версий:
- Linux и ядро;
- драйвер GPU;
- контейнерный стек;
- оркестрацию;
- режим совместного использования GPU;
- BIOS, iDRAC и прошивки устройств.
Мониторинг должен охватывать не только аппаратное состояние, но и VRAM, очереди запросов, скорость дисков и задержку модели. Сервер может быть полностью исправен, пока приложение замедляется из-за нехватки памяти или перегруженной базы.
Типичные ошибки при выборе PowerEdge для AI
- Смотреть только на число GPU. Физические слоты не гарантируют нужного количества линий PCIe, достаточное питание и охлаждение.
- Сравнивать только вычислительную мощность. Быстрая карта бесполезна, если модель не помещается в VRAM.
- Механически складывать память GPU. Для её использования нужны распределение модели и межкарточный обмен.
- Считать только веса. Контекст, параллельность и рабочие буферы также занимают память.
- Покупать стандартное шасси для будущего апгрейда. Могут отсутствовать райзеры, кабели, вентиляторы и подходящие БП, как результат стоимость апгрейда может быть сравнима с покупкой нового шасси.
- Экономить на NVMe в RAG. Медленный индекс оставляет ускорители без данных.
- Недооценивать CPU и RAM. Это особенно заметно при обработке документов, видео и выборок.
- Игнорировать топологию PCIe и NUMA. GPU, память, сеть и накопители могут быть подключены к разным процессорам.
- Неверно считать резервирование питания. Система должна выдержать нагрузку после отказа одного БП.
- Не учитывать тепловые ограничения. Поддержка карты не означает работу любой конфигурации при любой температуре.
- Не проверять ОС и драйверы. Для новых GPU могут требоваться конкретные версии ядра и библиотек.
- Опираться на демонстрационный тест. Один запрос с коротким контекстом не отражает производственную нагрузку.
Какую платформу выбрать
R750 подходит для бюджетной разработки и умеренных GPU-нагрузок. R760 и R770 — для одной-двух видеокарт, небольших и средних LLM, RAG и корпоративного инференса. R760xa стоит выбирать, когда в 2U нужны до четырёх мощных PCIe-GPU.
XE7740 и XE7745 подходят для пяти-восьми PCIe-ускорителей, масштабного инференса, компьютерного зрения и дообучения. XE9680, XE9780 и XE9785 нужны для крупных моделей, интенсивного обучения и задач, чувствительных к скорости обмена между восемью GPU.
Последовательность выбора должна быть такой: определить модель, точность, контекст, параллельность и поток данных; рассчитать VRAM; выбрать класс GPU; проверить PCIe; затем подобрать CPU, RAM, NVMe, сеть, питание и охлаждение. Такой подход защищает от ситуации, когда дорогие ускорители установлены, но платформа не может обеспечить их данными или стабильно работать под полной нагрузкой.
