Серверное решение, о котором я расскажу в этой статье, это высокотехнологичная платформа, рассчитанная на длительное использование. Давайте подробнее остановимся на блэйд-сервере Dell EMC PowerEdge MX 7000 и его особенностях.
Шасси
Шасси имеет высоту 7U и устанавливается в стандартные серверные стойки. На передней панели расположены блоки питания, вентиляторы и 8 слотов для установки вычислительных или узлов хранения данных.
Шасси Dell EMC PowerEdge MX7000 (вид спереди)
На задней панели расположены разъемы для блоков питания, вентиляторы, I/O fabrics, модули управления с резервированием.
Шасси Dell EMC PowerEdge MX7000 (вид сзади)
Имеется 6 блоков питания (мощность каждого из них составляет 3000 Вт) с уровнем резервирования N+N.
Сеть
Имеется 3 подсистемы I/O fabric — A, B, C.
-
Fabric A (A1 и A2) — для Ethernet-сети.
-
Fabric B (B1 и B2) предназначен для расширения пропускной способности Ethernet, когда возможности Fabric A ограничены.
-
Fabric C (C1 и C2) предназначен только для трафика по протоколам SAS или Fibre Channel.
Только у Fabric C есть средняя плата (midplane) для коммутации. Fabric A и Fabric B подключаются непосредственно к серверам, что обеспечивает более высокий уровень гибкости для дальнейшего масштабирования.
Подключение серверных узлов к I/O Fabric
Далее мы подробно рассмотрим коммутационные модули.
Начнем с Fabric C (с наличием SAS или Fibre Channel модулей).
Dell EMC PowerEdge MX5000s SAS Switch
Предназначен для подключения узлов хранения данных к серверным узлам (Storage Sled к Server Sled).
Dell EMC PowerEdge MX5000s SAS Switch
Dell EMC PowerEdge MXG610s Fibre Channel Switch
Здесь речь идет о коммутаторе Fiber Channel. Он имеет 16 x 32G FC портов для подключения к серверу и следующие внешние порты: 8 x 32G SFP + 2 QSFP FC uplink порта (4 x 32G на QSFP).
Dell EMC PowerEdge MXG610s Fibre Channel Switch
Далее рассмотрим коммутационные модули, доступные для Fabric A и Fabric B.
Dell EMC PowerEdge MX 10Gb Pass-through Module
Это традиционная коммутационная панель (patch panel) для экономичного внешнего вывода Ethernet-трафика. Она оснащена 16 внутренними портами Ethernet с пропускной способностью 10 Гбит/с для подключения серверов и 16 внешними портами 10GbE Ethernet Base-T для аплинков (uplinks).
Dell EMC PowerEdge MX 10Gb Pass-through Module
Dell EMC PowerEdge MX 25Gb Pass-through Module
Это коммутационная панель с поддержкой 25GbE, которая оснащена 16 внутренними портами Ethernet с пропускной способностью 10/25 Гбит/с для подключения серверов и 16 внешними портами 10/25GbE Ethernet SFP28 для аплинков (uplinks).
Dell EMC PowerEdge MX 25Gb Pass-through Module
Dell EMC PowerEdge MX5108n Ethernet Switch
Перед нами уже полноценный коммутатор. Он имеет 8 портов 25GbE Ethernet для подключения к серверу, а также ряд внешних портов в следующем виде: 2 x 100GbE + 1 x 40GbE + 4 x 10GBase-T.
Dell EMC PowerEdge MX5108n Ethernet Switch
Следующий сетевой компонент, который мы обсудим, это PowerEdge MX Scalable Fabric Architecture. Это решение включает два основных элемента: Fabric Switch Engine (FSE) и Fabric Expander Module (FEM).
-
Fabric Switch Engine (FSE) выполняет функцию агрегатора, управляя потоками данных и распределением трафика.
-
Fabric Expander Module (FEM) действует как спутниковый модуль, расширяющий возможности подключения.
Если количество шасси превышает два, пара Fabric Switch Engine распределяется между шасси MX 7000. Другие шасси используют Fabric Expander Module, которые подключаются к FSE через два аплинка (uplinks) с пропускной способностью 200GbE.
Масштабируемая архитектура PowerEdge MX Fabric
Это устраняет необходимость в полноценном коммутаторе в каждом шасси и упрощает управление всей сетевой инфраструктурой.
Dell EMC PowerEdge MX9116n Fabric Switching Engine
Имеет 8 портов 25GbE Ethernet для подключения серверов и 2 порта 100GbE + 2 порта 100GbitE / 8 портов 32Gbit/s FC для унификации, а также 12 x 200GbE для расширения Fabric.
Dell EMC PowerEdge MX9116n Fabric Switching Engine
Dell EMC PowerEdge MX7116n Fabric Expander Module
Имеет 16 портов 25GbE Ethernet для подключения к серверу + 2 порта 200GbE для подключения к Fabric Switching Engine.
Dell EMC PowerEdge MX7116n Fabric Expander Module
Производитель рекомендует для MX 7000 только архитектуру Scalable Fabric Architecture (можно использовать и традиционные модули ввода-вывода).
Лезвия Dell
Серверные узлы (Server Sled)
На момент анонса были доступны только серверы PowerEdge MX740c и MX840c. Сейчас доступна модель MX750c, добавленная после выпуска процессоров Intel Xeon Scalable 3-го поколения (Ice Lake).
MX740c
Это вычислительный узел одинарной ширины. В шасси MX 7000 можно установить не более 8 таких узлов. Поддерживает установку 2 процессоров Intel Xeon Scalable 2-го поколения (до 28 ядер на сокет).
У каждого процессора есть два контроллера памяти с тремя каналами. Каждый канал поддерживает два модуля памяти. Таким образом доступно 12 DIMM на процессор и 24 на систему.
Dell EMC PowerEdge MX740c (вид сверху)
Внутри имеется порт USB 3.0 и опциональный слот MicroSD через SD Module (IDSDM).
Поддерживаются три слота Mezzanine для подключения к I/O Fabric:
-
2 слота PCIe 3.0 x16 Mezzanine (Fabric A и B)
-
1 слот PCIe 3.0 x16 mini-Mezzanine (Fabric C)
Дисковая подсистема состоит из:
-
2 x M.2 SSD
-
6 x 2.5” дисков SAS/SATA/NVMe (устанавливаются в передней корзине)
Dell EMC PowerEdge MX740c (вид спереди)
MX840c
Вычислительный узел двойной ширины. В шасси MX7000 можно установить не более 4 таких узлов. Поддерживает установку 2 или 4 процессоров Intel Xeon Scalable 2-го поколения (до 28 ядер на сокет).
У каждого процессора есть два контроллера памяти с тремя каналами. Каждый канал поддерживает два модуля памяти. Таким образом доступно 12 DIMM на процессор и 48 на систему.
Внутри есть порт USB 3.0 и опциональный слот MicroSD через SD Module (IDSDM).
Поддерживаются шесть слотов Mezzanine для подключения к I/O Fabric:
-
4 слота PCIe 3.0 x16 Mezzanine (Fabric A и B)
-
2 слота PCIe 3.0 x16 mini-Mezzanine (Fabric C)
Дисковая подсистема состоит из:
-
2 x M.2 SSD
-
8 x 2.5” дисков SAS/SATA/NVMe (устанавливаются в передней корзине)
Dell EMC PowerEdge MX840c (вид спереди)
MX750c
Вычислительный узел одинарной ширины. В шасси MX7000 можно установить не более 8 таких узлов. Поддерживает установку 2 процессоров Intel Xeon Scalable 3-го поколения (до 40 ядер на сокет).
Для каждого процессора доступно 8 каналов памяти (2 модуля DIMM на канал). Таким образом, доступно 16 модулей на процессор и 32 на систему. При наличии 2 процессоров можно установить до 16 накопителей Intel Optane Persistent Memory.
Dell EMC PowerEdge MX750c (вид сверху)
Внутри есть порт USB 3.0 и опциональный слот MicroSD через SD Module (IDSDM).
Поддерживаются три слота Mezzanine для подключения к I/O Fabric:
-
2 слота PCIe 4.0 x16 Mezzanine (Fabric A и B)
-
1 слот PCIe 4.0 x16 mini-Mezzanine (Fabric C)
Дисковая подсистема состоит из:
-
2 x M.2 SSD
-
6 x 2.5” дисков SAS/SATA/NVMe (устанавливаются в передней корзине)
Доступна опция backplane для 4 x 2.5” дисков SAS/SATA/NVMe.
Dell EMC PowerEdge MX750c (вид спереди)
Узел хранения (Storage Sled)
Узел хранения данных PowerEdge MX5016s имеет шасси одинарной ширины. В шасси MX 7000 можно установить не более 8 таких узлов. Теоретически в шасси MX7000 можно установить максимум 7 таких модулей (по крайней мере один модуль должен быть вычислительным).
Dell EMC PowerEdge MX5016s
Внутри корпуса находится до 16 SAS-дисков формата SFF.
Рассмотрим принцип работы этой конструкции:
-
В серверный узел устанавливается адаптер (в mini-mezzanine слот).
-
Этот адаптер получает доступ к дискам в узле хранения MX5016s через SAS-коммутаторы MX5000s, расположенные в отсеках Fabric C.
-
Диски распределяются между серверами в шасси через консоль управления.
Таким образом, в шасси можно разместить DAS для создания, например, гиперконвергентных решений или программно-определяемых хранилищ (Software Defined Storage).
Принцип работы Dell EMC PowerEdge MX5016s
Управление
Каждое шасси оснащено двумя модулями управления (MX9002m), на которых работает Dell EMC OpenManage Enterprise — Modular Edition (OME-Modular). Централизованное управление всей инфраструктурой осуществляется при взаимосвязи модулей управления. Это актуально в случае использования более одного шасси.
Управление Dell EMC PowerEdge MX7000
