Сегодня к нам на обзор попал по-настоящему интересный сервер - Dell PowerEdge R6715 с жидкостным охлаждением. Мы подробно рассмотрим все детали данного решения Dell и попробуем оценить, насколько успешны усилия компании по созданию привлекательной платформы для тех, кто стремится к внедрению серверных стоек с жидкостным охлаждением процессоров. Начнём, как и всегда, с внешнего дизайна системы, а затем перейдем к техническому устройству сервера и его производительности.
Обзор внешних характеристик Dell R6715
PowerEdge R6715 — это сервер формата 1U. При этом, в нашей конфигурации у сервера восемь отсеков для накопителей формата 2,5 дюйма. В качестве альтернативных вариантов, существует версия на десять отсеков 2,5 дюйма, версия для накопителей EDSFF, а также версия, предназначенная для отсеков 3,5 дюйма.
Что касается питания системы, стоит отметить, что блоки питания расположены с обеих сторон шасси. В нашем сервере установлены блоки мощностью 1,5 кВт с сертификатом 80Plus Titanium, которых более чем достаточно для данной конфигурации.
Нельзя не упомянуть, что Dell предлагает очень гибкий набор опций для райзеров и для хранения данных на задней панели. Здесь расположены порт VGA, два порта USB 3 и порт управления iDRAC (out-of-band). Выше также находится райзер PCIe Gen5 x16.
В центральной секции расположен слот OCP NIC 3.0 и два SSD для загрузки. Некоторые другие производители делают ставку на использование внутренних M.2 в качестве загрузочных накопителей, что логично, ведь SSD на порядок надежнее жестких дисков. Однако, наличие доступа к накопителям для быстрого обслуживания — это без сомнений приятный бонус.
В центре справа мы видим еще один слот PCIe Gen5 x16 и еще один слот OCP NIC 3.0. Здесь также есть множество опций для установки других устройств - до трех видеокарт мощностью 75 Вт или нескольких сетевых карт 400GbE (или сдвоенных 200GbE).
Также именно здесь к серверу присоединяется система жидкостного охлаждения. Здесь установлены разъемы Staubli: синий — для входящей охлажденной жидкости, красный — для выходящей нагретой жидкости, направляемой в коллектор.
В более современных стойках OCP коллекторы жидкостного охлаждения и патрубки узлов стандартизированы и встроены в стойки. В нашем же случае речь идет о более привычной, традиционной системе охлаждения с горячим и холодным коллекторами.
Возвращаясь к райзерам, которые мы уже успели упомянуть, нужно сказать, что в серверах Dell они всегда расположены очень грамотно - в частности, особенно аккуратно выполнен верхний центральный райзер, в котором размещен как слот OCP NIC 3.0, так и низкопрофильный слот PCIe Gen5 x16.
Есть ещё одна, совсем небольшая деталь, о которой хочется упомянуть - на верхней части райзера есть специальная защелка OCP, которая позволяет быстро извлечь сетевую карту OCP, избавляя пользователей от необходимости все полностью разбирать.
Однако, пожалуй, хватит комментариев о внешнем устройстве сервера - давайте заглянем внутрь, чтобы понять, как именно он устроен.
Обзор внутренней архитектуры Dell R6715
Для детального разбора внутренней архитектуры переместимся в другую часть серверного шасси - туда, где расположена плата коммутации (backplane) с MCIO подключением к фронтальным дискам.
В свою очередь, за платами коммутации накопителей расположены модули вентиляторов формата 1U. Используемые Dell модули вентиляторов легко поддаются замене, что создает заметное преимущество перед так называемыми whitebox серверами (сборками, сочетающими компоненты от разных производителей). Для некоторых организаций эта небольшая, но приятная особенность может иметь значение.
Конечно, мы не обойдем стороной и ключевой элемент любого сервера - процессор. В основе этой системы Dell — один сокет AMD Socket SP5. Он предназначен для одного процессора AMD EPYC серии 9004/9005, что в итоге позволяет разместить в 1U сервере мощность 160 ядер. Еще одна интересная особенность платформы — наличие 24 слотов для модулей памяти DDR5 RDIMM, что соответствует 12 каналам и 2 модулям на канал (2DPC). Это огромное количество ядер и памяти для однопроцессорного сервера.
Вновь акцентируем ваше внимание на том, что главное отличие этой платформы - в том, что процессор охлаждается жидкостью. Хотя в системе все еще есть вентиляторы, они предназначены для других компонентов. Процессор охлаждается именно через блок жидкостного охлаждения, представленный на изображениях выше и ниже.
Небольшое отступление: из-за сокета AMD SP5 и 24 слотов DDR5 RDIMM в шасси для 19-дюймовой стойки недостаточно места для размещения второго процессора рядом с первым.
Рядом расположены встроенные коннекторы MCIO для подключения устройств PCIe 5 и PCIe 6.
Еще один интересный момент, который стоит упоминания - это защелки, которые позволяют при необходимости быстро извлечь материнскую плату. Dell внимательно подходит к наличию подобных опций, позволяющих комфортно обслуживать серверные системы.
Мы разобрались со всеми основными моментами, которые стоит знать об устройстве Dell PowerEdge R6715 - пришло время перейти к не менее важным вопросам управления, производительности и энергопотребления.
Управление Dell iDRAC 10
Одна из главных причин выбрать для ИТ-инфраструктуры именно серверы Dell - это система управления iDRAC. Последнее на текущий момент поколение — iDRAC 10. На изображении ниже продемонстрировано, как выглядит интерфейс системы.
В данном обзоре мы не будем подробно разбирать все аспекты iDRAC 10, так как у нас есть отдельный материал, где мы подробно рассказывали про все особенности и настройку iDRAC 10. Все детали вы можете найти в нашей статье. Сейчас же лишь упомянем, что новая версия iDRAC предлагает заметно больше возможностей, и мы подробно разобрали все изменения, на которые стоит обратить внимание. А пока давайте перейдем к, вероятно, самой интересной части - производительности сервера.
Производительность Dell R6715
В сервере, который мы тестировали, был установлен AMD EPYC 9845. Это 160-ядерный процессор Zen 5c. Для многих, кто обновляется с платформ Intel Xeon Scalable предыдущих поколений, этого будет более чем достаточно: в одном сокете можно получить столько производительности, что один новый сервер с одним сокетом сможет заменить 3-4 сервера с весьма неплохими характеристиками.
Мы же решили сравнить наш 1U сервер с аналогичным сервером формата 2U с воздушным охлаждением, оснащенным таким же процессором AMD EPYC 9845, чтобы оценить, будет ли производительность равна - при большей компактности PowerEdge R6715. Результаты тестов в различных нагрузках представлены ниже:
Как мы видим, производительность фактически одинаковая. Это безусловно хороший результат - так как мы сравниваем сервер 2U с воздушным охлаждением с сервером 1U с жидкостным охлаждением. Современные процессоры будут показывать примерно одинаковую производительность при условии адекватного питания и охлаждения, и основное отличие здесь в том, что эта система вдвое меньше по высоте, что позволяет получить вдвое больше мощностей в такой же серверной стойке. Плюс, наш 1U сервер потребляет меньше энергии - об этом далее.
Энергопотребление Dell R6715
В нашей системе были установлены два блока питания мощностью 1,5 кВт с сертификатом 80Plus Titanium. Это высококлассные блоки для традиционных вычислительных серверов с одним сокетом.
В результате наш 1U сервер работал с уровнем энергопотребления примерно 750-800 Вт. Обычно серверы 2U более энергоэффективны благодаря более крупным вентиляторам. Тем не менее, в платформе 2U мы наблюдали примерно на 50 Вт большее потребление. На самом деле, это частично связано с жидкостным охлаждением, которое отводит огромное количество тепла из системы, поэтому вентиляторы (охлаждающие другие компоненты сервера) работают на более низких скоростях.
Заключительные слова
Dell PowerEdge R6715 — это отличный сервер формата 1U, вне зависимости от версии - с жидкостным охлаждением или без него. Эти серверы станут отличной заменой для постепенно устаревающей инфраструктуры, приходя на место систем на базе Intel Xeon Scalable 1-го и 2-го поколений. Возможность заменить три или четыре двухсокетных сервера единственным односокетным узлом — это потрясающая возможность, которую явно не стоит упускать. Особенно, если вспомнить, что в PowerEdge R6715 можно уместить 160 ядер. Возможность жидкостного охлаждения добавляет дополнительное измерение кастомизации, которую можно реализовать на этой выдающейся системе.
