Dell VRTX — четыре блейда у вас под столом

12 мая 2022
1071


Давайте начистоту, мировой рынок серверов устоялся. На нём закрепились мастодонты, вроде Dell, HPE, Lenovo, IBM, Cisco, Huawei и другие. Все производят плюс-минус схожие линейки серверов: башенные, стоечные, блейд-системы. 

Принципиально новых решений почти не появляется. Вышли на плато и скучную эволюционную модель развития. Но есть кое-что интересное, выбивающееся из серого однообразия — Dell PowerEdge VRTX. Модель не новая, но если стряхнуть пыль, то она сможет вас удивить.

Зови меня вэртекс, Dell вэртекс

Как уверяют ребята из Dell в своём блоге на Хабре, “VRTX” переводится с латыни как “высшая ступень”. Сильное заявление, спросить с ним я конечно не буду. 

Из этой же статьи видим, что “VRTX” правильно читается как “вэр-текс”. Так и запишем. Но уберегу вас от недопониманий: сисадмины, которых я знаю, называют эту шайтан-коробку “вэр-тэ-икс”. Вне контекста другие варианты не считываются на слух.

С чудо неймингом от маркетологов разобрались, идём дальше.

Где деньги, Вэртовски?

Dell VRTX — это блейд-система, поэтому она стоит как перо птицы гуйя. Всем спасибо за прочтение статьи, всем пока. 

Ладно, шутка :)

Но доля правды в ней есть. В 2013 году вэртекс (шасси + блейды) стоил прилично. Приведу пример с базовой комплектацией за $11 000 (≈$13 500 с поправкой на инфляцию):

  • 2 лезвия M520

Xeon E5-2403, 4 ядра и 1,8 ГГц; 8 ГБ DDR3; 500 ГБ SATA-диск и контроллер Dell iDRAC7 Express)

  • Шасси

Один CMC (Chassis Management Controller, расскажу про него ниже), 2 блока питания по 1100 Вт, три SAS Near-Line емкостью 1 ТБ

  • Стандартная трехлетняя гарантия Dell NBD на шасси и узлы

А сегодня за ≈$16 000 (до недавних событий ≈$11 800) вы получите следующее:

  • 4 лезвия M630

Xeon E5-2687W v3, 10 ядер и 3,1 ГГц; 128 ГБ DDR4; контроллер Dell iDRAC8 Express)

  • Шасси

Один CMC (Chassis Management Controller), 4 блока питания по 1100 Вт

  • Пятилетняя выездная гарантия Servermall на шасси и узлы

Да, нужно докупить диски, но вэртекс однозначно стал доступнее. Поэтому обсудим его предназначение.

Не место красит VRTX, а VRTX красит место

Dell позиционирует вэртекс как решение для SMB (small-medium business). Учитывая цену, я бы ориентировался на малый и средний бизнес, но некоторые макропредприятия также могут прикоснуться к прекрасному взять кредит с прекрасной ставкой от ЦБ, если того требует задача.


Критерии SMB

Предприятие

Сотрудники

Годовой оборот: Европейский союз

Годовой оборот: Россия

Микро

< 10

≤ €2 млн

≤ ₽120 млн

Малое

< 50

≤ €10 млн

≤ ₽800 млн

Среднее

< 250

≤ €50 млн

≤ ₽2 млрд

Но если немного отстраниться от цены, то есть важные преимущества Dell VRTX для небольших организаций: он не ревёт, как двигатель самолёта, он компактный, модульный (Blade-система) и самодостаточный: в одном шасси объединены серверы, СХД, сеть и управление.

И… Барабанная дробь…

ОНО — башенное (с возможностью прикрутить рельсы в стойку или колёсики).

Если классическим рэкам нужна дополнительная инфраструктура, то укомплектованный VRTX неплохо выступает соло. Не обязательны отдельное помещение и сплит-системы, огромные стойки и коммутаторы. 

Розетка, эзернет кабель и поехали.

Кручу-верчу — разный форм-фактор хочу 

Высота Dell PowerEdge VRTX — 5U. Как и у многих башенных серверов, есть два варианта по установке:

1. Тёмная Башня

Ножки ничего не напоминают? Как по мне — очень похоже на это ↓

У него ещё колёсики можно прикрутить за ваши кровные.

Хорошо, что не эти.



2. RACK & ROLL

Прикручиваем направляющие “ReadyRails II” и размещаем в стандартную 19’ стойку.

Расширяемость: лезвий много не бывает

В Dell VRTX можно установить до четырёх блейд-серверов M-cерии с горячей заменой (данные с сайта производителя).

WARNING! Первые попавшиеся блейды от Dell M1000e не подойдут – есть отдельные лезвия “для PE VRTX”. Вроде бы похожи, а нет – не заведутся.

Причём можно комбинировать двухсокетные полуформатные блейды с четырёхсокетными полноформатными. Или что-то одно – на ваш выбор.


Нумерация модулей: лезвий и накопителей.

В форм-факторе rack нумерация идёт аналогично.

В форм-факторе rack нумерация идёт аналогично.

Чтобы не ошибиться с выбором серверов для вашего шасси, продавец может попросить Service Tag. Посмотреть его можно на лицевой стороне, достав выдвижной лейбл.


СMC с индикаторами и интерфейсами.

Достаём этот лейбл. Аккуратно. Тянуть как в тренажерке не надо.

Достаём этот лейбл. Аккуратно. Тянуть как в тренажерке не надо.

Внутри смотрим информацию.

Внутри смотрим информацию.

Дальше будут технические характеристики последних поколений блейдов Dell PowerEdge: M630, M640 и M830. Старые M620, M520 и даже M610 поддерживаются, но я их обсуждать не буду. Смотрим и читаем ТХ под катом :)

  • Dell PowerEdge M630 (для PE VRTX) – двухсокетный полуформатный блейд-сервер



↓Технические характеристики↓

Процессор

Семейство процессоров Intel® 2nd Generation Xeon® Scalable, до 28 ядер каждый.

Операционная система

Microsoft Windows Server® with Hyper-V;

Novell® SUSE® Linux Enterprise Server;

Red Hat® Enterprise Linux;

Canonical® Ubuntu® LTS;

SUSE® Linux Enterprise Server

Опциональные гипервизоры:

Citrix® XenServer®;

VMware® ESXi.

Память

До 2 Тбайт (16 разъемов для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32, 64 или 128 Гбайт с пропускной способностью до 2 933 МТ/с. Регистровая с поддержкой ECC.

Накопители

Жесткие диски с возможностью горячей замены:

До 2 x 2.5” SAS/SATA (HDD/SSD), NVMe SSD, максимум 12.8TB.

Контроллеры запоминающих устройств

PERC S140 (программный RAID-контроллер), PERC 9 H330, H730P.


  • Dell PowerEdge M640 (для PE VRTX) – двухсокетный полуформатный блейд-сервер



↓Технические характеристики↓
  

Процессор

Семейство процессоров Intel Xeon семейства E5-4600 v4, до 22 ядер каждый.

Операционная система

Microsoft Windows Server® 2008/2012 R2 (with

Hyper-V® enabled);

Microsoft Windows Server 2012 (with Hyper-V enabled);

Microsoft Windows Server 2008/2012 Datacenter (with

Hyper-V enabled);

Microsoft Windows Server 2008 R2 SP1 (with Hyper-V

enabled);

Microsoft Windows Server 2008 R2 SP2 x64/x86 (with

Hyper-V enabled);

Novell® SUSE® Linux Enterprise Server;

Red Hat® Enterprise Linux;

Опциональные гипервизоры:

Citrix® XenServer®;

VMware® ESXi.

Память

До 3 Тбайт (48 разъема для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32 или 64 Гбайт с пропускной способностью до 2 400 МТ/с. Регистровая с поддержкой ECC.

Накопители

Жесткие диски с возможностью горячей замены:

PowerEdge Express Flash NVMe PCIe SSD, SATA HDD/SSD или SAS HDD/SSD 12 x 1.8" SSD;

SATA HDD/SSD или SAS HDD/SSD 4 x 2.5";

PCIe SSD 2 x 2.5" и 2 x 2.5" SATA HDD/SSD или SAS HDD SSD.

Контроллеры запоминающих устройств

PERC S130 (программный RAID-контроллер), PERC H330, PERC H730, PERC H730P.



  • Dell PowerEdge M830 (для PE VRTX) — четырёхсокетный полноформатный блейд-сервер


Технические характеристики↓ 

Процессор

Семейство процессоров Intel Xeon семейства E5-4600 v4, до 22 ядер каждый.

Операционная система

Microsoft Windows Server® 2008/2012 R2 (with

Hyper-V® enabled);

Microsoft Windows Server 2012 (with Hyper-V enabled);

Microsoft Windows Server 2008/2012 Datacenter (with

Hyper-V enabled);

Microsoft Windows Server 2008 R2 SP1 (with Hyper-V

enabled);

Microsoft Windows Server 2008 R2 SP2 x64/x86 (with

Hyper-V enabled);

Novell® SUSE® Linux Enterprise Server;

Red Hat® Enterprise Linux;

Опциональные гипервизоры:

Citrix® XenServer®;

VMware® ESXi.

Память

До 3 Тбайт (48 разъема для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32 или 64 Гбайт с пропускной способностью до 2 400 МТ/с. Регистровая с поддержкой ECC.

Накопители

Жесткие диски с возможностью горячей замены:

PowerEdge Express Flash NVMe PCIe SSD, SATA HDD/SSD или SAS HDD/SSD 12 x 1.8" SSD;

SATA HDD/SSD или SAS HDD/SSD 4 x 2.5";

PCIe SSD 2 x 2.5" и 2 x 2.5" SATA HDD/SSD или SAS HDD SSD.

Контроллеры запоминающих устройств

PERC S130 (программный RAID-контроллер), PERC H330, PERC H730, PERC H730P.


Кофе Шасси 2 в 1

Найди 25 отличий.

Найди 25 отличий.


Самое интересное инженерное решение в вэртексе — это встроенная система хранения данных в двух вариантах: на 25 SFF или на 12 LFF накопителей (SSD и HDD). Учтите это при покупке шасси, так как корзину позже заменить нельзя. По интерфейсам – NLSAS, SAS, или SAS SSD. 

Слоты общего хранилища подключаются к одному или двум RAID-контроллерам PERC через коммутируемый 6 Гигабитный SAS. PERC управляется через CMC (Chassis Management Controller) и позволяет настраивать RAID-массивы, а затем разделять их на отдельные виртуальные диски, которые привязываются к одному или нескольким блейдам.

Таблица с характеристиками поддерживаемых RAID.

Модели

Поддержка интерфейса

Поддержка PCI

Разъемы SAS

Размер кэш-памяти

Кэш обратной записи

Уровни RAID

RAID-контроллер PowerEdge (PERC) серии 10 

S140 Программный RAID 

6 Гбит / с SATA 

N / A 

N / A 

Нет кэша 

Нет кэша 

0,1,5,10 

RAID-контроллер PowerEdge (PERC) серии 9

S130 Программный RAID

6 Гбит / с SATA

N / A

N / A

Нет кэша 

Нет кэша 

0,1,5,10

Адаптер PERC H330

12 Гбит / с SAS 6

Гбит / с SATA

PCI-Экспресс 3.0

2x4 Внутренний

Нет кэша 

Нет кэша 

0,1,5,10,50

Адаптер PERC H730

12 Гбит / с SAS 6

Гбит / с SATA

PCI-Экспресс 3.0

2x4 Внутренний

1 ГБ NV

Кэш с поддержкой Flash

0,1,5,6,10,50,60

Адаптер PERC H730P

12 Гбит / с SAS 6

Гбит / с SATA

PCI-Экспресс 3.0

2x4 Внутренний

2 ГБ NV

Кэш с поддержкой Flash

0,1,5,6,10,50,60


Управление шасси без регистрации, но с CMC

CMС или Chassis Management Controller – это аппаратно-программное решение для управления несколькими blade-серверами через GUI по протоколу IPMI (Integrated Lights-Out). Некий аналог BMC (Baseboard Management Controller), но для всех лезвий и других систем одного VRTX. Подробнее про IPMI и BMC можно почитать в другой моей статье.

Плата CMC.

Плата CMC.

С аппаратной точки зрения это контроллер с собственным процессором и Flash-памятью, интерфейсы которого выходят на заднюю часть шасси VRTX (да, у M1000e он тоже есть, но они абсолютно разные и несовместимы). 

СMC с индикаторами и интерфейсами.

1 – Индикатор состояния / идентификации (CMC 1); 2 – Индикатор питания (CMC 1); 3 – Индикатор питания (CMC 2); 4 – Индикатор состояния / идентификации (CMC 2);

1 – Индикатор состояния / идентификации (CMC 1); 2 – Индикатор питания (CMC 1); 3 – Индикатор питания (CMC 2); 4 – Индикатор состояния / идентификации (CMC 2);

Индикатор

Состояние

Описание

Индикатор питания

Горит зелёным

CMC получает питание

Выключен

CMC не получает питание

Индикатор состояния / идентификации

Синий

CMC активен и работает нормально

Желтовато-оранжевый

CMC находится в неисправном состоянии


Программно он обеспечивает защищённый доступ через IPMI WEB-интерфейс, чтобы сисадмин мог просматривать консоль инвентаризации и мониторинга в режиме реального времени, менять настройки, удалённо управлять серверными узлами, вентиляторами, питанием, СХД, подсистемами PCIe, а также включать оповещения о событиях на серверах и в компонентах шасси VRTX.

Добавлю, что если вы уже работали с WEB-интерфейсом iDRAC или CMC M1000e, то вы легко справитесь и CMC VRTX. Это как пересесть с обычного велосипеда на горный :)

Интерфейс CMC.

Интерфейс CMC.

На Хабре уже есть подробная статья от Dell про начало работы в CMC. Повторяться не буду, но оставлю ссылку.

Питание: кушать подано

Вэртекс — парень прожорливый. Он поддерживает до 4-ёх БП переменного тока с сертификацией Platinum Plus.

Самое классное — это резервирование по схеме 3+1 или 2+2. Но учтите, что в схеме 2+2 два блока питания подключаются к одной сети, а другие два — к другой. 

Мощность — 1100 Вт или 1600 Вт, комбинировать нельзя, нужны одинаковые.

Интересный факт. VRTX можно перевести в ждущий режим. Почти все комплектующие перестанут получать питание, кроме дежурного для CMC-контроллера, ЖК-дисплея и двух вентиляторов для охлаждения. 

Сеть, мастер на все шины

Dell VRTX поддерживает до 8 портов Ethernet. На выбор есть или коммутационная плата (для установки внутрь на холодную) или технология pass-through.

В современные шасси Dell VRTX на выбор устанавливается следующее:

  • Внутренний 24-портовый коммутатор 1GbE;

  • Внутренний 8-портовый сквозной модуль 1GbE;

  • Внутренний свитч на 10GbE.

В блейд серверах картина такая:

  • В M520 используется четырехпортовый LOM 1 GbE;

  • M620 имеет 10 GbE NDC (network daughter card), включая карты Broadcom и Intel, совместимые с 1 GbE;

  • Лезвия M630 и M640 имеют как 1 GbE, так и 10 GbE NDC.

Мэппинг портов на блейдах половинной высоты.

Подключение блейдов половинной высоты через свитч.

Подключение блейдов половинной высоты через свитч.

Мэппинг портов на блейдах полной высоты.

Мэппинг портов на блейдах полной высоты.

Подключение блейдов половинной высоты через свитч.

Подключение блейдов полной высоты через свитч.

Конфигурация через технологию pass-through.

Конфигурация через технологию pass-through.


Список поддерживаемых карт под катом:
  • 6 Gb/s SAS HBA (low-profile и full-height) – только для M520, M620 и M820

  • Broadcom dual-port 1 Gb Base-T (low-profile и full-height)

  • Broadcom quad-port 1 Gb Base-T (low-profile и full-height)

  • Intel dual-port 1 Gb Base-T (low-profile и full-height)

  • Intel dual-port 10 Gb Base-T (low-profile и full-height)

  • Intel dual-port 10 Gb Base-SFP+ (low-profile и full-height)

  • Intel quad-port 1 Gb Base-T (low-profile и full-height)

  • Intel quad-port 10 Gb Base-SFP+ (low-profile и full-height)

  • Broadcom dual-port 10 Gb Base-SFP+ (low-profile и full-height)

  • Broadcom dual-port 10 Gb Base-T (low-profile и full-height)

  • Emulex FC8: LPe12002 8 Gb/s Dual Port (low profile и full height)

  • Qlogic FC16 single-port HBA (low profile и full height) – только для M630

  • Micron P420M MLC PCIe 1.4 TB Solid-State Storage Card (full height) – только для M630

  • Micron P420M MLC PCIe 700 GB Solid-State Storage Card (full height) – только для M630 

Немного о корпусе и архитектуре 


Корпус изготовлен преимущественно из металла, покрытого приятной на ощупь краской. Местами есть пластмассовые элементы. Вентилятор и блоки питания очень просто достаются на горячую и заменяются. На передней части корпуса есть миниатюрный ЖК-дисплей с кнопками управления. Штука полезная, с него, например, можно провести первичную настройку CMC, проверить состояние вентиляторов.



Встроенный KVM на месте. С его помощью по интерфейсам можно подключиться к отдельному северному узлу в шасси. При этом можно обойтись без подключения клавиатуры, мыши и монитора. Спасибо CMC-контроллеру.


Передняя и боковая крышки закрываются на ключ. Вы ведь помните позиционирование VRTX? Офисы, где полно любопытных сотрудников. А вэртекс привлекает внимание — не сомневайтесь.

Заглянув под крышку Dell PE VRTX, понимаешь, что инженеры очень постарались, чтобы уместить 4 сервера, коммутатор и СХД в компактный корпус 5U. 

Вид сбоку без крышки.

Вид сбоку без крышки.

Из интересного.

Для Fabrics B и С вместо привычных модулей ввода и вывода Dell сделала слоты PCIe и два внутренних свитча (Fab B Switch, Fab C Switch).

Fab B свитч обеспечивает подключение к следующим слотам:

  • PCIe 3;

  • PCIe 6;

  • PCIe 7;

  • PCIe 8;

  • SPERC (Shared PowerEdge RAID Controller)

Fab C свитчу отдали другие:

  • PCIe 1;

  • PCIe 2;

  • PCIe 4;

  • PCIe 5;

Всего на борту 3 полновысотных и 5 низкопрофильных PCIe. Подробнее в таблице.

Слот

Fabric

Ширина

Поддерживаемый размер карты

Максимальная выделенная мощность

1

C

x8

(FH) Full-Height

150W

2

C

x8

(FH) Full-Height

150W

3

B

x8

(FH) Full-Height

150W

4

C

x8

(LP) Low-Profile

25W

5

C

x8

(LP) Low-Profile

25W

6

B

x8

(LP) Low-Profile

25W

7

B

x8

(LP) Low-Profile

25W

8

B

x8

(LP) Low-Profile

25W

PERC

B

x8

PERC-mini

25W




Внутренняя наклейка с инструкцией по дальнейшей разборке.

Внутренняя наклейка с инструкцией по дальнейшей разборке.

Как раз за этой наклейкой находится Riser Card с тремя PCIe слотами. Выглядит она следующим образом.


1 – Разъем карты расширения PCIe 3;

2 – Разъем карты расширения PCIe 2;

3 – Разъем карты расширения PCIe 1;

4 – Chassis intrusion switch;

5 – Разъем для кабеля питания;


Опционально туда можно установить полноразмерную GPGPU (General-purpose computing on graphics processing units). Совместимость лучше уточняйте у производителя карты или у продавца перед покупкой. Но официальный список поддерживаемых карт от Dell не обновлялся с 2020:

  • AMD FirePro W7000;

  • NVIDIA K2 active GPGPU (full height).

Цены: VRTX vs TOWER. FIGHT!

Пришло время смертельных приемов! В небольшие офисы обычно берут башенные серверы. Вот и посмотрим, что выгоднее взять: 4 штуки Dell T630 или один Dell PE VRTX с 4 лезвиями M630 одинаковой конфигурации. Для удобства буду округлять до тысяч, а также рассчитаю стоимость без учёта софта и дисков. 

Цены на 29.04.2022, актуальные можно посмотреть на нашем сайте servermall.ru

Решение с Dell VRTX

Решение с Dell T630

Шасси Dell VRTX + 4 х БП по 1100W;

4 штуки Dell M630:

2 x Xeon E5-2687w v3;

ОЗУ 128 Гб (8х16Гб DDR4 RDIMM 2133MHz REF) в каждом.

Итого: 1 273 050 руб.

4 штуки Dell R630:

2 x Xeon E5-2667 v3 в каждом;

ОЗУ 128 Гб (8х16Гб DDR4 RDIMM 2133MHz REF) в каждом;

2 х БП Dell 750w Hot Plug в каждом.

Итого: 4 x 264 000 = 1 056 000 руб.

СХД на 25 SFF дисков встроено в шасси.

СХД СХД Dell JBOD ME424HD SAS 24 SFF – 392 000 руб.

Коммутатор встроен в шасси.

Коммутатор Dell N2024 – 42 000 руб.

Итого: 1 273 000 руб.

Итого: 1 490 000 руб. + понадобятся патч-корды для коммутации между всеми устройствами.

И учитывайте, что 4 сервера, СХД и коммутатор потреблют больше электроэенергии. 




Fatality!

Fatality!

Резюмируем

Плюсы:

  • Универсальный комбайн, объединяющий в себе серверы, СХД (до 48 ТБ), сети, системы мониторинга и управления;

  • Компактное башенное решение формата 5U для малого и среднего бизнеса, удобно размещать в маленьких и домашних офисах, где нет серверной;

  • Портативность и быстрое развёртывание (обработка чего-либо сразу на объекте). Да, 4 сервера Dell T630 можно поставить под столы сотрудникам в офисе, но загрузить их в багажник и поехать на объект — уже проблема. 

  • Относительно низкий уровень шума – 35-37 дБА, тогда как один стоечный Dell R630 выдаёт 29-43 дБА, в зависимости от конфигурации.

Для сравнения напольный вентилятор Zanussi ZFF-910, который находится у нас в офисе, выдаёт 37 дБ на расстоянии 1м. Слышно, но работать не мешает;

  • Два варианта установки: tower и rack;

  • Масштабируемость и вариативность: до 4-х двухпроцессорных или до 2-х четырёхпроцессорных блейдов;

  • Меньше патч-кордов и проще коммутация, так как не нужно отдельно подключаться к каждому серверу;

  • Удобное управление сетевыми подключениями;

  • Возможность удобного управления из одной консоли без установки дополнительного софта;

  • Высокая надёжность, почти все элементы можно зарезервировать;

  • Можно установить огромное количество памяти, например, для виртуализации. До 2 Тб в M640, а всего 8 Тб.

Минусы:

  • Есть слабые места. Например, одна коммутационная плата Backplane у шасси. Если выйдет из строя, то упадут все серверы VRTX;

  • Масштабируемость ограничена пределами шасси;

  • Невозможность разделения. Чтобы перенести половину серверов в другой кластер, нужно ещё одно шасси;

  • Отставание от классических серверов. У Dell в прошлом году вышло 15-ое поколение, а модули для VRTX максимум 14-ого.

Я бы сказал, что Dell VRTX — это не отдельное устройство, а самодостаточная серверная с питанием от розетки 220 В. И если в 2013 цена кусалась, то в 2022 вэртекс можно приобрести за адекватные деньги.


icon-recall
clientconsultationsicon-deliverydiscounticon-facebookfranchiseicon-google_plusit-solutionsicon-jivositeicon-menuicon-messagepaymenticon-recallshops-localshops-networkicon-solutionsicon-supporttasksicon-twitterGroup 8icon-usericon-vibericon-vkicon-watsup