Обзор Dell PowerEdge R660 с E3.S Backplane

Dell PowerEdge R660 — это стоечный сервер высотой 1U, основанный на новейших технологиях, включая накопители E3.S Gen5, память DDR5 и прямое жидкостное охлаждение CPU. Он поддерживает два процессора (два сокета), 32 модуля RDIMM и до трёх видеокарт.

Несмотря на компактный форм-фактор 1U, в этот сервер можно установить до 16 твердотельных накопителей. PowerEdge R660 — преемник модели Dell R650 и предназначен для различных приложений — от общего назначения до HCI (hyper-converged infrastructure) и HPC (high-performance computing).

Обзор сборки Dell PowerEdge R660 c E3.S Backplane

Ранее мы тестировали Dell PowerEdge R660 с пятью твердотельными накопителями SAS3 по 800 Гбайт в RAID5, 512 Гбайт оперативной памяти DDR5 и двумя процессорами Intel Xeon Platinum 8452Y.

В этом обзоре мы изменим конфигурацию. Сделаем два процессора Intel Xeon Platinum 8460Y+ (достойная модернизация), шестнадцать модулей оперативной памяти DDR5 4800 МГц по 16 ГБ каждый и восемь SSD Samsung PM1743 7,68 ГБ E3.S. Такая конфигурация однозначно даст иные результаты производительности, особенно при использовании SSD-накопителей Gen5 E3.S и процессоров более высокого класса.

Например, Intel 8452Y из предыдущего обзора имеет 36 ядра и 72 потока, базовую частоту 2,00 ГГц (и максимальную турбочастоту 3,20 ГГц). А Intel 8460Y+ имеет уже 40 ядер и 80 потоков с базовой частотой 2,00 ГГц (и максимальной турбочастотой 3,70 ГГц). Увеличение числа ядер, потоков и пиковой частоты даёт несколько заметных преимуществ, включая запас масштабируемости, повышение энергоэффективности, производительности и многозадачности (возможность одновременной обработки большего числа запросов, процессов и пользователей),.

Использование SSD E3.S также влияет на общую производительность и функциональность Dell R660. Накопители PM1743 используют новый форм-фактор EDSFF E3.S, который даёт улучшенную целостность сигнала при больших скоростях, а также предлагает объём хранения до 15,36ТБ (в этом обзоре мы используем 8 модулей по 7,68ГБ). Узкий профиль (7,5 мм) этих накопителей позволяет увеличить плотность хранения на корпоративных серверах, что влияет на общую производительность и энергоэффективность в пересчёте на серверную стойку.

Наличие второго порта в PM1743 — важнейшая особенность этого SSD, которая гарантирует непрерывную и стабильную работу даже в случае отказа одного из портов. Есть возможность быстро и без остановки переключать рабочие нагрузки на второй порт, что обеспечивает непрерывность бизнес-процессов и предотвращает остановку рабочих процессов, что критично для бизнесов, которые зависят от круглосуточной работы своих серверов.

Dell PowerEdge R660 сравнение с R650

В сравнении с R650 предыдущего поколения заметны значительные обновления. Например, процессоры Intel "Sapphire Rapids" Xeon Scalable Gen4 — новейшие чипы на рынке: до 56 ядер, поддержка памяти DDR5 и шины PCIe 5.0, которая даёт огромную пропускную способность для интенсивных рабочих нагрузок. Как уже упоминалось выше, в этом обзоре мы работаем с Intel 8460Y+ — процессоры верхнего ценового сегмента Platinum.

Конфигурации хранения — одно из достоинств этого сервера. Стандартная дисковая корзина поддерживает до десяти 2,5-дюймовых дисков SAS/SATA, но можно использовать и NVMe SSD-накопители PCIe 5.0. Кроме того, новый вариант объединительной платы (backplane) поддерживает до 16 дисков E3.S (7 мм). Также есть вариант накопителей для загрузки системы — NVMe BOSS (Boot Optimized Storage Solution). BOSS не занимает ценные отсеки для накопителей, обеспечивая при этом быструю загрузку и время восстановления.

Dell R660 предлагает ряд вариантов блоков питания, чтобы удовлетворить различные потребности: блоки питания AC Platinum (800 Вт, 1400 Вт) и AC Titanium (700 Вт, 1100 Вт, 1800 Вт). Эти блоки питания энергоэффективны и снижают энергопотребление, а значит и затраты. Сервер также поддерживает ввод 1100 Вт LVDC @ -48VDC для центров обработки данных с различными требованиями к питанию.

Технические характеристики Dell PowerEdge R660:

Сборка и дизайн Dell PowerEdge R660

Поскольку дизайн и сборка были подробно рассмотрены в нашем первом обзоре R660, здесь мы остановимся на них лишь вкратце.

На передней панели расположены четыре кластера отсеков E3.S, центральный отсек пуст для улучшения воздушного потока к двум процессорам Xeon Scalable.

На задней панели устройства видны два порта 1GbE, один USB 2.0, один USB 3.0, выход VGA и дополнительный порт Ethernet для удалённого управления iDRAC от Dell. Также имеется поддержка последовательных портов, а дополнительные сетевые порты могут быть добавлены через слот OCP 3.0 сервера.

В комплект поставки входят два 1400-ваттных блока питания с горячей заменой, а два отсека под M.2 NVMe SSD доступны на левой задней панели для использования в качестве загрузочных дисков, хотя наш сервер не оснащен накопителями BOSS. Некоторые другие конфигурации R660 также поддерживают диски E3.S PCIe 5.0 (как и в этом обзоре).

Внутри установлены вентиляторы, которые прогоняют воздух через отсеки для накопителей, проходя над двумя радиаторами процессора и слотами DDR5 RDIMM. Сервер также поддерживает прямое жидкостное охлаждение процессора, однако в нашем экземпляре воздушное. Три слота расширения PCIe расположены на задней панели, один из которых 4.0, а два — 5.0; причем riser позволяет использовать карты полной высоты (full-height).

Dell PowerEdge R660 предлагает широкий спектр вариантов конфигурации — даже в такой уникальной системе, как наша сборка на E3.S. Этот сервер (c backplane под E3.S) поставляется в трёх конкретных конфигурациях: есть сборка с 14 или 14+2 NVMe-накопителями или сборка с 16 HWRAID NVMe. Новое поколение серверов PowerEdge предлагает аналогичные конфигурации, позволяющие использовать аппаратный (HW) RAID для SSD накопителей текущего поколения.

Первая из представленных конфигураций — 16-отсечная HWRAID. Здесь диски разделены на две группы по 8 дисков, каждая из которых подключена к специальной карте PERC12 RAID. В любой из этих конфигураций компания Dell сбалансировала потребности в хранении и вводе/выводе, равномерно распределив их между процессорами.

Далее следует модель, аналогичная предыдущему обзору, с 14 отсеками E3.S для фронтального монтажа, непосредственно прикрепленными к материнской плате. Они разделены на группы по восемь и шесть отсеков для CPU1 и CPU2.

Последняя серверная конфигурация предназначена для заказчиков, которым требуется как можно больше твердотельных накопителей E3.S, но при этом они могут использовать один отсек PCIe в задней части, обеспечивая конфигурацию 14+2 с прямым подключением всех 16 SSD к материнской плате.

Удалённое управление Dell PowerEdge R660 iDRAC9

Для сервера PowerEdge R660 мы использовали программу удалённого управления Dell iDRAC9 Enterprise. Подробнее об iDRAC и его первоначальной настройке читайте в другой статье СЕРВЕР МОЛЛ.

Integrated Dell Remote Access Controller (iDRAC) — это фирменная технология Dell, позволяющая пользователям получать удалённый доступ и управлять серверами Dell так, словно они физически рядом с вами. Она предоставляет системным администраторам веб-интерфейс для мониторинга и управления серверным оборудованием, в том числе состоянием системы, настройками конфигурации и обновлениями микропрограммного обеспечения. Благодаря iDRAC для управления сервером не требуется физического присутствия на месте.

Если вам интересно узнать о том, как сервер Dell R660 управляется с помощью iDRAC9, обязательно ознакомьтесь с нашим предыдущим обзором, где мы подробно рассказываем об этом.

Dell PowerEdge R660 CPU бенчмарки 

Вот наша конфигурация Dell PowerEdge R660 для этого обзора:

• 2 x CPU Intel Xeon Scalable Platinum 8460Y+ 

• 16 x 16 ГБ 4800 DDR5

• 8 x Samsung PM1743 7.68 ГБ E3.S SSDs

Cinebench R23

Первый тест — Cinebench R23, широко распространенный бенчмарк, который измеряет производительность CPU и GPU при использовании Maxon Cinema 4D для рендеринга и выдаёт результат, который можно использовать для сравнения производительности различных систем и компонентов.

y-cruncher

y-cruncher — это многопоточная и масштабируемая программа, которая может вычислять число Пи и другие математические константы до триллионов цифр. С момента ее запуска в 2009 году она стала популярным средством для тестирования производительности и стресс-тестирования среди энтузиастов и любителей аппаратного обеспечения. 

Dell PowerEdge R660 производительность дискового хранилища

Используя восемь SSD-накопителей Samsung PM1743 NVMe Gen5 E3.S емкостью 7,68 Тбайт, мы проверяли производительность приложений в Sysbench и синтетического ввода-вывода в Vdbench.

Производительность Sysbench

Следующий прикладной бенчмарк — это база данных Percona MySQL OLTP, измеряемая через Sysbench. Этот тест также измеряет средние показатели TPS (транзакции в секунду), среднюю задержку и среднюю задержку на 99-ом процентиле.

Каждая виртуальная машина Sysbench настроена с тремя vDisks: один для загрузки (~92 ГБ), один с предварительно созданной базой данных (~447 ГБ) и третий для тестируемой базы данных (270 ГБ). С точки зрения системных ресурсов каждая ВМ имела восемь vCPU, 60 Гбайт оперативной памяти и использовала SCSI-контроллер LSI Logic SAS.

Конфигурация Sysbench-тестирования (для каждой ВМ):

• CentOS 6.3 64-бит

• Percona XtraDB 5.5.30-rel30.1

• Таблиц в базе данных: 100

• Размер базы данных: 10,000,000

• Потоки базы данных: 32

• Буфер RAM: 24GB

• Длительность теста: 3 часа

• 2 часа предварительной настройки с 32 потоками

• 1 час работы с 32 потоками

Для нашего теста Sysbench мы использовали восемь виртуальных машин — по 2 ВМ на каждом хранилище VMware. С этой нагрузкой из восьми виртуальных машин нам удалось достичь производительности 29,086 TPS со средним значением 3,636 TPS на одну виртуальную машину.

Мы измерили среднюю задержку по группе виртуальных машин Sysbench в диапазоне от 8,77 мс до 8,80 мс.

При измерении 99-го процентиля задержки в группе Sysbench 8VM суммарное среднее значение составило 15,87 мс.

Анализ рабочей нагрузки в VDBench

При тестировании устройств хранения лучшие результаты показывает прикладное тестирование, а на втором месте идут синтетические тесты. Да, тесты — это не идеальное отображение реальных рабочих нагрузок, но они позволяют определить базовые характеристики устройств хранения данных с учётом коэффициента повторяемости, что облегчает сравнение конкурирующих решений. Эти рабочие нагрузки предлагают целый ряд различных профилей тестирования: от тестов "четырех углов", тестов на размер передачи данных, распространенных в базах данных, до трассировки из различных сред VDI.

Все эти тесты используют общий генератор рабочих нагрузок vdBench со скриптовым механизмом для автоматизации и сбора результатов на большом вычислительном тестовом кластере. Это позволяет нам повторять одни и те же рабочие нагрузки на широком спектре устройств хранения, включая флэш-массивы и отдельные устройства хранения. В процессе тестирования этих бенчмарков вся поверхность диска заполняется данными, а затем разбивается на секции, равные 25% емкости диска, для имитации реакции диска на рабочие нагрузки приложений. Это отличается от тестов на полную энтропию, в которых используется 100% емкости диска и он переводится в устойчивое состояние. В результате эти показатели отражают более высокую устойчивую скорость записи.

Профили:

• 4k Случайное чтение: 100% чтение, 128 потоков, iorate от 0 до 120%

• 4k Случайная запись: 100% запись, 128 потоков, iorate от 0 до 120%

• 64k Последовательное чтение: 100% чтение, 32 потока, iorate от 0 до 120%

• 64k Последовательная запись: 100% запись, 16 потоков, iorate от 0 до 120%

• 128k Последовательное чтение: 100% чтение, 32 потока, iorate от 0 до 120%

• 128k Последовательная запись: 100% запись, 16 потоков, iorate от 0 до 120%

• Случайная комбинация 70R/30W и 90R/10W, 64 потока, iorate от 0 до 120%

• Синтетическая база данных: SQL и Oracle

• VDI Full Clone и Linked Clone Traces

Начиная со случайных 4k чтений, Dell PowerEdge R660 продемонстрировал пиковую производительность в 4,5 миллиона IOPS с задержкой в 223,2 микросекунды при использовании восьми SSD Samsung PM1743 7,68ГБ E3.S.

Dell PowerEdge R660 при записи достиг максимума в 5,16 млн. операций ввода-вывода при 184,1µs.

При последовательном чтении 64k производительность Dell PowerEdge R660 достигла 53,1 ГБ/с (849 тыс. IOPS) при задержке 267,6µs с дисками Samsung (после чего производительность снизилась в самом конце).

При последовательной записи 64k Dell PowerEdge R660 показал пиковую производительность в 23,6 ГБ/с (приблизительно 377 тыс. IOPS) с задержкой в 301µs, с небольшим всплеском производительности в конце.

При последовательном чтении 128k Dell PowerEdge R660 показал результат в 50 ГБ/с (400 тыс. IOPS) и задержку в 492,7µs.

При последовательной записи 128k Dell PowerEdge R660 достиг максимума в 23,2 ГБ/с (186 тыс. IOPS) при задержке 631,2µs.

Next up is our mixed workloads, starting with our mixed 70/30 4k profile (70% read, 30% write). Here, the Dell PowerEdge R660 had a very stable performance, posting a peak of 4.88 million IOPS at 97.8µs in latency.

Далее мы рассмотрим смешанные рабочие нагрузки, начиная со смешанного профиля 70/30 4k (70% чтение, 30% запись). Здесь Dell PowerEdge R660 показал очень стабильную производительность, достигнув пикового значения 4,88 млн. IOPS при задержке 97,8µs.

В нашем смешанном профиле 90/10 4k Dell PowerEdge R660, с дисками Samsung E3.S, показал пиковую производительность 4,5 млн. IOPS при задержке 101,5µs.

Следующий набор тестов — рабочие нагрузки SQL: SQL, SQL 90-10 и SQL 80-20. 

В SQL сервер R660 показал пиковую производительность 2,6 млн. IOPS при задержке всего 96,5µs на дисках Samsung E3.S Gen5.

В тесте SQL 90-10 Dell PowerEdge R660 достиг пикового значения в 2,5 млн. IOPS и задержки в 101µs, в самом конце теста был небольшой спад IOPS.

При работе с SQL 80-20 Dell PowerEdge R660 достиг максимума в 2,4 млн. IOPS при задержке всего 104µs.

Далее следуют рабочие нагрузки Oracle: Oracle, Oracle 90-10 и Oracle 80-20. 

При общей нагрузке Oracle пиковая производительность R660 составила 2,2 млн. IOPS с задержкой 108,4µs.

Если рассматривать Oracle 90-10, то пиковая производительность Dell PowerEdge R660 составила 1,64 млн. IOPS при 104,3µs (с небольшим всплеском производительности в конце).

Далее следует Oracle 80-20, где пиковый показатель Dell PowerEdge R660 составил 1,56 млн. IOPS при 109µs.

Далее мы перешли к тестам клонирования VDI, Full Clone и Linked Clone. При загрузке Full Clone VDI (FC) Dell PowerEdge R660 показал 1,97 млн. IOPS при задержке 126,7µs с дисками Samsung. Это отличная производительность.

При переходе к VDI FC Initial Login пиковый показатель Dell PowerEdge R660 составил 1,21 млн. IOPS при задержке 143,8µs.

При работе с VDI FC Monday Login Dell PowerEdge R660 показал пиковую производительность 809 тыс. IOPS при задержке 119,8µs.

При работе с VDI Linked Clone (LC) Boot Dell PowerEdge R660 продемонстрировал стабильную производительность, достигнув пика в 876 тыс. IOPS с задержкой 118,8 мкс.µs.

В режиме VDI LC Initial Login Dell PowerEdge R660 достиг максимума в 375 тыс. IOPS с задержкой 123,4µs.

Для VDI LC Monday Login Dell PowerEdge R660 продемонстрировал пиковую производительность 609 тыс. IOPS при задержке 155,2µs.

Заключение

Как мы уже говорили, Dell PowerEdge R660 — это значительный шаг вперед в портфеле серверов, предлагая улучшенные возможности охлаждения для установки до двух процессоров Xeon Scalable четвёртого поколения. Эти процессоры поддерживают память DDR5 и накопители PCIe 5.0, что позволяет серверу демонстрировать высокую производительность и плотность размещения комплектующих. Dell демонстрирует стремление к инновациям, предлагая уникальную платформу PowerEdge R660, открывающую новые возможности производительности и плотности для бизнеса и предприятий.

Опыт Dell в области серверов проявляется в тщательной проработке внутренних компонентов шасси, а также в богатой системе удалённого управления iDRAC 9. Внутренняя компоновка шасси открывает широкие возможности конфигурирования при сохранении бескомпромиссной эффективности охлаждения для надёжной и эффективной работы компонентов. iDRAC 9 позволяет удалённо настраивать, обслуживать и поддерживать работоспособность сервера — так, словно сервер прямо перед вами. Интереснейшая особенность — R660 разнообразие конфигураций накопителей, а также SSD E3.S для максимальной плотности хранения данных.

В нашем предыдущем обзоре PowerEdge R660 мы использовали пять твердотельных накопителей SAS3 емкостью 800 ГБ и процессоры Intel Xeon Platinum 8452Y. Однако в новой сборке мы хотели ещё больше расширить возможности платформы и использовали твердотельные накопители Gen5 E3.S — в частности, восемь SSD-накопителей Samsung PM1743 ёмкостью 7,68 ГБ каждый. Кроме того, мы использовали более мощные процессоры Intel Platinum Xeon 8460Y+. Как видно из результатов наших бенчмарков, эти усовершенствования показали огромный потенциал R660.

Пока SSD E3.S находятся в стадии развития, но они явно станут следующим шагом после накопителей U.2/U.3, и все производители флэш-памяти вкладывают огромные ресурсы в этот форм-фактор. В модели R660 компании Dell удалось добиться сбалансированного применения накопителей, не ограничивая конфигурацию слотами PCIe на задней панели для дополнительных устройств ввода-вывода или ускорителей. И мы полагаем, что если покупатели захотят получить какую-то другую конфигурацию, например, 20 SSD, и будут готовы отказаться от слотов PCIe, то Dell сможет легко перейти к подобной конфигурации. В этих системах на Intel всё сводится к распределению линий PCIe, к сожалению, больше ими поиграться не получится.

В целом PowerEdge R660 — это впечатляющая серверная платформа, устанавливающая новый стандарт производительности, ввода/вывода и плотности хранения данных. Расширенные возможности охлаждения (с возможностью установки жидкостей), поддержка процессоров Xeon Scalable четвёртого поколения, памяти DDR5 и накопителей PCIe 5.0, а также инновационное использование твердотельных накопителей E3.S делают её отличным выбором для широкого спектра приложений.

Конфигуратор Dell PowerEdge R660.

Написано на английском языке Лайлом Смитом 7 апреля 2023 г.

Источник: https://www.storagereview.com/review/dell-poweredge-r660-e3-s-backplane-review