В нашем блоге недавно выходила статья с обзором 15-ого поколения серверов Dell и последнего ненумерного поколения серверов HPE. В ней я пробежался по всем новинкам, выделил основные преимущества и нововведения, но рассмотреть каждый сервер отдельно в рамках той статьи никак не получалось из-за объема. Пора исправлять это недоразумение. Тем более, что есть отличный повод — у нас в наличии появился сервер Dell EMC PowerEdge R750.
Почему только сейчас, если презентация Dell Technologies прошла ещё в марте? Всё просто — на тот момент новейшие процессоры Intel Xeon Scalable 3 ещё не были выпущены, а инженеры и разработчики Dell доводили продукты до ума.
Технические характеристики и сравнение сервера Dell R750 с Dell R740
Dell EMC PowerEdge R750 — это стоечный двухпроцессорный сервер корпоративного класса в корпусе 2U. Напомню, что 1U = 44.45 см, а потому R750 всё ещё относится к компактным устройствам, не занимающим много месте в стойке или в шкафу.
Данный сервер создан для решения бизнес-задач, а потому обозревать его в отрыве от сухих технических характеристик нельзя. Но чтобы этот раздел статьи не вызывал приступы зевоты, как скучные пользовательские соглашения на 100 страниц, я постараюсь покороче, а также сравню новинку с предыдущим поколением — Dell R740. Приступим.
|
Параметр |
Dell EMC PowerEdge R750 |
Dell EMC PowerEdge R740 |
|
CPU |
2 x Intel Xeon Scalable 3 (до 40 ядер на процессор) |
2 x Intel Xeon Scalable 1 или 2 (до 28 ядер на процессор) |
|
Память |
32 x DDR4 RDIMM (до 2 ТБ), LRDIMM (до 8 ТБ) 16 x PMem — Intel Optane Persistent Memory 200 Series (до 8 ТБ) До 3200 MT/s |
24 x DDR4 RDIMM (до 1.53 ТБ), LRDIMM (до 3 ТБ) 12 x NVDIMM (до 192 ГБ) 12 x PMem — Intel Optane Apache Pass (до 6.14 ТБ или до 7.68TB в связке PMem + LRDIMM) До 2933 MT/s |
|
Накопители |
3.5’ LFF, 2.5’ SFF; 12 Гб SAS, 6 Гб SATA, NVMe (до 24 штук) + форм-фактор U.2 |
3.5’ LFF, 2.5’ SFF; 12 Гб SAS, 6 Гб SATA, NVMe (до 24 штук) |
|
Дисковые контроллеры |
HBA355I, HBA355E, H345, H745, H755, H755N, H840 BOSS S1, BOSS S2 SW RAID: S150 HW RAID: PERC 10.5 & 11 (dual PERC Option) HW NVMe RAID |
HBA330, H330, H730P, H740P, H840, 12G SAS HBA Mini Mono: HBA330, H330, H730P, H740P SW RAID: S140 |
|
PCIe слоты |
8 x PCIe 4.0 (до 6 x16 слотов), SNAP I/O |
8 x PCIe 3.0 (до 4 x16 слотов) |
|
LOM |
2 x 1Gb |
Нет |
|
Сеть |
1 x OCP 3.0 (x8 PCIe) |
Различные варианты rNDC |
|
USB порты |
Спереди: 1 порт (USB 2.0), 1 для управления через iDRAC Direct (micro-USB) Сзади: 2 порта (снизу: USB 3.0, сверху: USB 2.0) Внутри: 1 порт (USB 3.0) для IDSDM |
Спереди: 2 порта (USB 2.0), 1 для управления через iDRAC Direct (micro-USB) Сзади: 2 порта (USB 3.0) Внутри: 1 порт (USB 3.0) |
|
Форм-фактор |
2U |
2U |
|
Блоки питания |
100~240VAC/240VDC: 800W, 1100W, 1400W, 2400W DC-48V~-60V: 1100W |
AC (Platinum): 495W, 750W, 1100W, 1600W, 2000W, 2400W AC(Titanium): 750W DC: 1100W Mix Mode/HVDC: 750W, 1100W |
|
Управление системой (System Management) |
LC 3.x, OpenManage, QuickSync 2.0, OMPC3, Digital License Key, iDRAC Direct (выделенный micro-USB порт), Easy Restore |
LC 3.x, OpenManage, QuickSync 2.0, OMPC3, Digital License Key, iDRAC Direct (выделенный micro-USB порт), Easy Restore, vFlash |
|
GPU (внутренний) |
До 2 x double width, FH, FL (300W каждый) До 4x16 single width, FH, FL (150W каждый) или 6x8 PCIe single width FH, FL (75W каждый) До 6x single width, LP/FH, HL (75W каждый) |
До 3 x 300W double width До 6 x 75W single width |
|
Возможности для высокой доступности |
Диски с горячей заменой Вентиляторы с горячей заменой Блоки питания с горячей заменой IDSDM BOSS S2 с горячей заменой BOSS S1 |
Диски с горячей заменой Вентиляторы с горячей заменой Блоки питания с горячей заменой IDSDM BOSS |
Как видно из таблицы, внутренняя компоновка комплектующих в R750 стала более плотной, что дало возможность установить больше планок оперативной памяти.
Dell R750 с установленным 16 планками оперативной памяти
Одевайтесь потеплее, будет холодно
Также была значительно переработана система охлаждения. Теперь воздушные потоки распределяются равномернее, уменьшая количество “горячих точек”.
Помимо оптимизации потоков были улучшены вентиляторы, они стали мощнее и надёжнее — три уровня (вместо двух), пять лопастей (вместо трёх).
Слева вентилятор от R740, справа — от R750
Также инженеры Dell реализовали в R750 технологию Multi-Vector Cooling (MVC) 2.0, которая анализирует температуру воздушных потоков на входе и выходе, обрабатывает эти данные, а следом передаёт их пользователю для более тонкой настройки охлаждения. И это при наличии встроенной автоматики, которая срабатывает при критическом перегреве процессоров, графических ускорителей, памяти и других комплектующих.
MVC 2.0 на примере R750
Для высокоплотных сред, где реализовать традиционное воздушное охлаждение сложно или невозможно, есть дополнение опция — DLC (Direct Liquid Cooling). А так как жидкостное охлаждение потенциально может навредить аппаратной составляющей сервера, вызвать короткое замыкание и даже пожар, в R750 встроена система обнаружения утечек. Она способна мгновенно обесточить систему, перекрыть поток охлаждающей жидкости и уведомить системного администратора. И хотя вероятность выхода из строя контура охлаждения и утечки крайне мала, приятно осознавать, что инженеры Dell проработали и этот момент.
В остальном изменения эволюционные, но от этого не менее значительные: современные процессоры Intel Xeon Scalable 3, быстрее память, улучшенная дисковая подсистема, PCIe 4.0 и апгрейд уже существующих технологий.
Разные конфигурации Dell R750
Дизайн и архитектура Dell EMC PowerEdge R750
Dell EMC PowerEdge R750 с установленным лицевым безелем
Серверы — это функциональный бизнес-инструмент для выполнения задач, поэтому Dell R750 не окрашивают в 17-3938 (Very Peri), названный цветом 2022 года по версии Pantone. Почти все элементы имеют в первую очередь функциональное назначение, а уже в последнюю — эстетическое. Из-за этих факторов дизайн серверов не сильно меняется от поколения к поколению.
Всё же не про смартфоны речь.
Единственный элемент декора — безель. Это некая фальшь-панель для лицевой части сервера, которая докупается отдельно. Однако и она несёт в себе функциональную нагрузку — фронтальным безелем можно закрыть на ключ передние интерфейсы, дисковые корзины и т.д.
Что касается архитектуры. На передней панели находится классическая кнопка питания, индикаторы состояния для визуального определения нештатных ситуаций, USB type A и Micro-USB для управления через iDRAC (оба версии 2.0), а также VGA. Куда же без него? :)
Дисковая подсистема
R750 есть 4 варианта дисковых корзин на фронтальной части:
Вариант с фронтальной корзиной на 24 SFF диска
-
До 12 3,5-дюймовых SAS / SATA (HDD / SSD) до 192 ТБ
-
До 8 2,5-дюймовых NVMe (SSD) до 122,88 ТБ
-
До 16 x 2,5-дюймовых SAS / SATA / NVMe (HDD / SSD) до 245,76 ТБ
-
До 24 2,5-дюймовых SAS / SATA / NVMe (HDD / SSD) до 368,84 ТБ
И ещё два варианта по тыльным отсекам:
-
До 2 x 2,5-дюймовых SAS / SATA / NVMe (HDD / SSD) макс. 30,72 ТБ
-
До 4 x 2,5-дюймовых SAS / SATA / NVMe (HDD / SSD) макс 61,44 ТБ
Больших отличий по дисковым корзинам с предыдущим поколениям нет, зато есть одна важная особенность — поддержка дисков PCIe 4.0, а также форм-фактора U.2. Это открывает возможность для установки современных накопителей с очень высокими показателями скорости чтения и записи. Например, SSD Intel U.2 D7-P5510 на 3.84 ТБ, который выдаёт до 6500 Мб/сек на чтение, до 3400 Мб/сек на запись и 170000 IOPS при записи 4Кб файлов с глубиной очереди 32.
Другое интересное решение — это новые платы BOSS-S2 с горячим подключением через специальную кассету на тыльной стороне. Если раньше данная процедура требовала разборки сервера, то теперь обслуживание проходит очень быстро. Кстати, кассета очень маленькая, меньше, чем салазки для 1.8-дюймовых SSD :)
BOSS-2 в процессе горячей замены
Масштабируемость и сеть
Dell EMC PowerEdge R750 со снятой крышкой и воздуховодами
Восемь слотов PCIe 4.0, шесть из которых — x16, говорят сами за себя. Добавим сюда новый опциональный модуль SNAP I/O, который делит слот x16 на два x8, и получим идеальный сервер для высокопроизводительных вычислений (HPC). Например, благодаря модулю SNAP сетевая карта сможет взаимодействовать с двумя процессорами сразу.
А раз уж заговорили о сетях, то стоит упомянуть 2 встроенных гигабитных порта 8P8C и OCP 3.0 (пришел на замену rNDC в R740). Что это даёт на практике? В R750 вам не нужно выбирать между 1 Гб/c или 10 Гб/c (или другими скоростями). Вы можете использовать несколько портов одновременно. Да, в R740 проблему решала дополнительная плата PCie 3.0, но ведь слот может пригодиться под другую задачу. Поэтому новинка безоговорочно выигрывает.
Как Dell EMC PowerEdge R750 показывает себя в реальных тестах
Платформу под тесты мы возьмём очень мощную (только под заказ):
-
CPU — 2 x Intel Xeon Scalable 3-его поколения, модель 8380;
-
RAM — 32 x 32GB DDR4 3200 MT/s;
-
Накопители — 8 x Intel P5510 3.84TB Gen4 SSD;
-
ESXi 7.0u1;
-
CentOS 8.2.
Разные конфигурации Dell R750
Производительность SQL Server
Каждая виртуальная машина SQL Server настроена с двумя виртуальными дисками: 100 ГБ для загрузки и 500 ГБ для файлов базы данных и журналов + следующие ресурсы: 16 vCPU, 64 ГБ DRAM и контроллер LSI Logic SAS SCSI. Тесты SQL направлены на изучение времени отклика.
SQL Server конфигурация для теста (на каждую виртуалку):
-
Windows Server 2012 R2;
-
Размер хранилища: 600 ГБ выделено, 500 ГБ занято;
-
SQL Server 2014:
-
Размер БД: 1500;
-
Нагрузки виртуального клиента: 15000;
-
RAM буфер: 48 ГБ;
-
Продолжительность теста: 3 часа:
-
2,5 часа предварительной подготовки;
-
30-минутный sample период.
Для SQL Server наша конфигурация Dell EMC PowerEdge R750 показала задержку 1 мс в течение всего периода тестирования с восемью VM.
Производительность Sysbench MySQL
Каждая виртуальная машина Sysbench настроена с тремя виртуальными дисками: один для загрузки (~92 ГБ), один с предварительно созданной базой данных (~447 ГБ) и третий для тестируемой базы данных (270 ГБ) + следующие ресурсы: 16 vCPU, 60 ГБ DRAM и контроллер LSI Logic SAS SCSI.
Sysbench MySQL тест измеряет среднюю скорость передачи данных (транзакции в секунду или TPS), среднюю задержку и среднюю задержку по 99-му процентилю (p99-метрика).
Sysbench конфигурация для теста (на каждую виртуалку):
-
CentOS 6.3 64-разрядная;
-
Percona XtraDB 5.5.30-rel30.1;
-
Таблицы базы данных: 100:
-
Размер БД: 10,000,000;
-
Потоки базы данных: 32;
-
RAM буфер: 24 ГБ.
-
Продолжительность теста: 3 часа:
-
2 часа предварительной подготовки 32 потоков;
-
1 час 32 потока.
Показатели TPS.
Sysbench OLTP замерил балл в 29174 TPS для восьми VM (каждая VM в диапазоне от 3631 до 3665 TPS). Если взять 16 виртуалок, то получится 26838 TPS (каждая VM от 1662 до 1690 TPS).
Картина со снижением производительности вполне характерна при увеличении нагрузок, так как для каждой платформы есть точка перенасыщения (хотя многие хостеры любят злоупотреблять этим). Но при этом видно, что новые процессоры 8380 Intel Xeon Scalable 3 показывают отличную производительность и имеют некий запас. Старые процессоры при таких же нагрузках трудились бы на пределе своих возможностей.
Что касается средней задержки.
Восемь VM показали совокупно 8,77 мс (каждая VM — от 8,73 мс до 8,81 мс). 16VM дали цифру в 19,1 мс (каждая VM — от 18,87 мс до 19,24 мс).
p99-метрика.
В наихудшем сценарии задержка 8VM составила 15,2 мс, а 16VM — целых 35,4 мс. 
Вариации Dell R750
У сервера Dell R750 есть два брата-близнеца: Dell R750xa и Dell R750xs. Эти модели во многом напоминают своего старшего брата, но созданы для выполнения других задач. Поэтому и некоторые технические особенности были изменены, чтобы конечные пользователи не переплачивали за ненужный функционал.
Таблица сравнения
|
Параметр |
Dell R750 |
Dell R750xa |
Dell R750xs |
|
Назначение |
Базы данных, Analytics, HPC, традиционные корпоративные IT-среды: VDI, AI или ML |
Машинное обучение, искусственный интеллект, системы логического вывода, высокопроизводительные вычисления и виртуализацию |
Базы данных, SDS, виртуализация, VM средней плотности и VDI |
|
CPU |
2 x Intel Xeon Scalable 3 (до 270W и 40 ядер на процессор) + поддерживается Direct Liquid Cooling |
2 x Intel Xeon Scalable 3 (до 270W и 40 ядер на процессор) + поддерживается Direct Liquid Cooling |
2 x Intel Xeon Scalable 3 (до 220W и 32 ядер на процессор) |
|
Память |
32 x DDR4 RDIMM (до 2 ТБ), LRDIMM (до 8 ТБ) 16 x PMem — Intel Optane Persistent Memory 200 Series (до 8 ТБ) До 3200 MT/s |
32 x DDR4 RDIMM (до 2 ТБ), LRDIMM (до 4 ТБ) 16 x PMem — Intel Optane Persistent Memory 200 Series (до 4 ТБ) До 3200 MT/s |
16 x DDR4 RDIMM (до 1 ТБ) До 3200 MT/s |
|
Накопители |
До 12 x 3.5” SAS/SATA HDD До 24 x 2.5” SAS/SATA HDD, SSD или NVMe с универсальными слотами До 16 x 2.5” SAS/SATA HDD or SSD + 8 x 2.5” NVMe До 4 x тыльных 2.5” SAS/SATA HDD, SSD или NVMe Тыльный BOSS-S2 (2 x M.2) — загрузочные Внутри: IDSDM или USB |
До 8 x 2.5” SAS/SATA SSD До 8 x 2.5” HW RAID NVMe До 6 x 2.5” Direct Attach NVMe Смешанная конфигурация: до 4 x 2.5” SAS/SATA SSD + 4 x 2.5” NVMe Тыльный BOSS-S2 (2 x M.2) — загрузочные Внутри: IDSDM или USB |
До 12 x 3.5” SAS/SATA HDD До 12 x 3.5” SAS/SATA HDD + 2 x 2.5” тыльных До 16 x 2.5” SAS/SATA HDD или SSD Смешанная конфигурация: до 16 x 2.5” SAS/SATA HDD или SSD + 8 x NVMe HW NVMe RAID (8 x 2.5” с PERC H755N) Тыльный BOSS-S2 (2 x M.2) — загрузочные Внутри: IDSDM или USB |
|
Дисковые контроллеры |
HW RAID: PERC 10.5 & 11 (dual PERC Option) HW NVMe RAID Встроенный SW RAID: да |
HW RAID: PERC 10.5 & 11 (no dual PERC option) HW NVMe RAID Встроенный SW RAID: да |
HW RAID: PERC 10.5 & 11 (no dual PERC option) HW NVMe RAID Встроенный SW RAID: да |
|
Сеть |
2 x 1GbE LOM + 1 x OCP 3.0 |
2 x 1GbE LOM + 1 x OCP 3.0 |
2 x 1GbE LOM + 1 x OCP 3.0 |
|
PCIe слоты |
До 8 x PCIe Slots Gen4 (до 6 x16) с SNAP I/O option |
До 8 x PCIe Slots Gen4 (6 x16, 2 x8) |
До 5 x PCIe Gen4 (5 x16), 1 x PCIe Gen3 (x8) с SNAP I/O option |
|
GPU |
2 x 300W DW 4 x 150W SW 6 x 75W SW |
4 x 300W DW
4 x 150W SW 2 x 75W SW |
Не поддерживается |
|
USB порты |
Спереди: 1 порт (USB 2.0), 1 для управления через iDRAC Direct (micro-USB) Сзади: 2 порта (снизу: USB 3.0, сверху: USB 2.0) Внутри: 1 порт (USB 3.0) для IDSDM |
Спереди: 1 порт (USB 2.0), 1 для управления через iDRAC Direct (micro-USB) Сзади: 2 порта (снизу: USB 3.0, сверху: USB 2.0) Внутри: 1 порт (USB 3.0) для IDSDM |
Спереди: 1 порт (USB 2.0), 1 для управления через iDRAC Direct (micro-USB) Сзади: 2 порта (снизу: USB 3.0, сверху: USB 2.0) Внутри: 1 порт (USB 3.0) для IDSDM |
|
Управление системой |
iDRAC9 Enterprise, Datacenter license options; OpenManage Enterprise and Plugins (Power Manager, SupportAssist, and Update Manager). iDRAC Direct, Quick Sync 2.0 |
iDRAC9 Enterprise, Datacenter license options; OpenManage Enterprise and Plugins (Power Manager, SupportAssist, and Update Manager). iDRAC Direct, Quick Sync 2.0 |
iDRAC9 Enterprise, Datacenter license options; OpenManage Enterprise and Plugins (Power Manager, SupportAssist, and Update Manager). iDRAC Direct, Quick Sync 2.0 |
|
Возможности для высокой доступности |
Диски с горячей заменой, 3-уровневые вентиляторы с горячей заменой, PSU, IDSDM и BOSS-S2 (2 x M.2) |
Диски с горячей заменой, 3-уровневые вентиляторы с горячей заменой, PSU, IDSDM и BOSS-S2 (2 x M.2) |
Диски с горячей заменой, 3-уровневые вентиляторы с горячей заменой, PSU, IDSDM и BOSS-S2 (2 x M.2) |
|
Блоки питания |
800W, 1100W, -48Vdc/1100W,1400W, 2400W |
1400W, 2400W |
600W, 800W, 1100W, -48Vdc/1100W, 1400W |
|
Форм-фактор, габариты |
В x Ш x Г: 2U x 434мм x 736мм |
В x Ш x Г: 86.8мм x 434мм x 837,2мм |
В x Ш x Г: 2U x 434mm x 721мм |
Выводы в двух словах
Через моих коллег, занимающихся сборкой и закупкой, прошло много Dell EMC PowerEdge R740 — это самые популярные и надёжные серверы Dell с огромным потенциалом и невероятной производительностью. Интересно, что R740 так хорошо справляется с существующими задачами, что и в 2022 году нет предпосылок к его устареванию. Поэтому в ближайшие годы он не исчезнет из нашего ассортимента. Если честно, было сложно представить, чем Dell будет удивлять в 15-ом поколении серверов.
Но инженеры Dell Technologies кушают свой хлеб не зря :) R750 получился достойным приемником, в котором почти каждый пункт был доработан и улучшен. Особенно подкупает внимание к деталям и проработка мелочей. Бездумно прикрутить новые процессоры Xeon Scalable 3 может кто угодно, но не каждая компания в силах исполнить все аспекты своих продуктов на высочайшем уровне качества. И Dell — как раз такая компания.
