Сервер для Proxmox

19.12.2023
14 мин на чтение
1611

Если нет желания или возможности разбираться в подборе конфигурации сервера, то обращайтесь к нашим менеджерам на servermall.ru. Получите бесплатную профессиональную консультацию и КП за час.

Proxmox-серверы

Dell PowerEdge R750XS 12LFF
CPU:
2x Intel Xeon
Silver 4310 (12C 18M Cache 2.1 GHz)
2x Intel Xeon Silver 4310 (12C 18M Cache 2.1 GHz)
RAM:
2x 32GB DDR4
RDIMM 3200MHz Dell
2x 32GB DDR4 RDIMM 3200MHz Dell
RAID:
RAID Dell H755 (8GB+BBU)
БП:
2x Dell 800W Hot-Plug
Net:
2 port 1Gb/s
(Integrated)
2 port 1Gb/s (Integrated)
HDD:
noHDD (до 12 HDD 3.5'' LFF)
от 569 312 ₽  
HPE ProLiant DL380 Gen11 8LFF
CPU:
2x Intel Xeon
Bronze 3408U (8C 22.5M Cache 1.80 GHz)
2x Intel Xeon Bronze 3408U (8C 22.5M Cache 1.80 GHz)
RAM:
2x 16GB DDR5
RDIMM 4800MHz (Поддержка до 8TB максимально, 32 DIMM портов)
2x 16GB DDR5 RDIMM 4800MHz (Поддержка до 8TB максимально, 32 DIMM портов)
RAID:
HPE MR216i-p Gen11 (ZM)
БП:
1x HP 800W
Net:
4 port 1Gb/s
RJ-45 (Integrated)
4 port 1Gb/s RJ-45 (Integrated)
HDD:
noHDD (до 8 HDD 3.5'' LFF)
от 568 609 ₽  
% выгодное предложение % выгодно
Dell PowerEdge R640 8SFF
CPU:
2x Intel Xeon
Gold 6226R (16C 22M Cache 2.90 GHz)
2x Intel Xeon Gold 6226R (16C 22M Cache 2.90 GHz)
RAM:
8x (Поддержка
до 3Тб максимально, 24 DIMM портов)
8x (Поддержка до 3Тб максимально, 24 DIMM портов)
RAID:
RAID Dell H730p (2GB+BBU)
БП:
2x Dell 1100W
Net:
4 port 1Gb/s
(Integrated)
4 port 1Gb/s (Integrated)
HDD:
noHDD (до 8 HDD 2.5'' SFF)
от 206 569 ₽  

4 совета по выбору

Влияние комплектующих часто переоценивают или недооценивают. Верное решение (как это обычно бывает) где-то посередине. Например, сервер может по всем параметрам подходить под задачу, кроме сетевой карты, но она и станет бутылочным горлышком, тормозящим всю систему.

Совет №1: Уделите комплектующим не меньше внимания, чем софту. Последний можно поменять, оптимизировать, а с железом могут быть сложности. От аппаратной части зависит ваша гибкость, доступность, эффективность, производительность и коэффициент консолидации (количество ВМ на 1 физический сервер). И окупаемость тоже не должна исчисляться сотнями лет, если так не задумано изначально :)

Поэтому динозавры старое оборудование (HP ProLiant G6, Dell PowerEdge Gen 10 или ПК времён CS 1.6), которое использовалось под другие задачи, вряд ли подойдёт под Proxmox VE и нормальную работу виртуальных машин.

  • Не получится работать с высоким аптаймом большому количеству людей;

  • Даже если заведётся, не выйдет заменить отдельные комплектующие на более мощные и современные (вертикальный рост);

  • Устаревший процессор и малый объем памяти не лучшие друзья виртуализации и Proxmox;

  • В старом сервере или ПК мало ОЗУ? Значит будет мало ВМ. Простая арифметика.

Совет №2: Проработайте задачу, проведите тесты — займёт неделю или месяц. Возможно, старый сервер и подойдёт, но лучше выяснить это заранее, чем во время простоя бизнеса.

Совет №3: Покупайте сервер с заделом на будущее. Одно из важнейший преимуществ сервера над ПК — это масштабирование, которое зачастую прямо пропорционально высоте сервера (в монтажных единицах, 1U = 44.45 см = 1.75‘).

Двух или четырёхсокетный сервер может кратно нарастить производительность в будущем, а объемные дисковые полки или корзины позволят расширить хранилище — быстро и относительно недорого. В эту же компанию входят слоты расширения.

Если сэкономите в моменте и возьмёте бюджетный сервер, то в будущем придётся покупать ещё один, либо полностью менять на новый.

Совет №4: Оптимальный сервер для виртуализации в небольших компаниях — это среднебюджетная модель в форм-факторе 2U и больше (5U, если форм-фактор Tower). Новейшие 1U серверы с компактными SSD — отличный выбор, если есть деньги.

Но вы можете смело выбирать из двух-трёх последних поколений: восстановленные серверы стоят сильно меньше новых, не уступают в надёжности и поставляются с полноценной гарантией 5 лет на всё.

Общие советы по серверу обсудили, теперь пробежимся по комплектующим: CPU, RAM, дисковая подсистема и сетевой адаптер.

Процессор для Proxmox VE

Установленный в сокет серверный процессор AMD EPYC 7642

В нашем блоге на Хабре выходила большая познавательная статья про серверные (и не только) GPU и процессоры. В ней я подробно рассказал о линейках от Intel и AMD. Два гиганта, которые поделили почти весь рынок пополам. И вам придётся выбрать что-то одно. Сделать кластер из серверов на процессорах разных вендоров — вряд ли получится.

Начнём с Intel — это компания-пионер, которая долгое время безоговорочно доминировала на рынке CPU, поэтому их преимущества: большой выбор из предыдущих поколений и отличная оптимизация софта. Но ситуация немного переломилась с выходом архитектуры Zen от AMD.

Сейчас цены и производительность близки у обеих компаний; технологии в процессорах одинаковые или во многом альтернативные. Разницу нужно выискивать тестами под лупой. Иногда впереди Intel Scalable из-за лучшей оптимизации, а иногда AMD EPYC из-за своих performance/watt характеристик. В некоторых сценариях разница в пару процентов, а в некоторых — десятки.

Ремарка. Процессоры Intel Scalable могут выдавать больше ГГц на ядро, чем AMD EPYC, но это будет намного дороже.

AMD добилась отличного соотношения цены к производительности в последних поколениях EPYC 7003 и рекордной доли в сегменте x86-процессоров ~ 27,7%. В серверном сегменте цифра меньше ~ 11.6%, но рост есть. Да, корпоративные клиенты и сисадмины часто консервативны, но это не значит, что процессоры AMD EPYC хуже.

Кстати, у процессоров AMD EPYC есть одно важное преимущество. Некоторое ПО лицензируют посокетно (например, вы решите сменить Proxmox на Citrix в будущем) — это значит, что можно сэкономить на количестве лицензий.

Например:

Четрые двухсокетных сервера

Шесть двухсокетных сервера

8 x EPYC 7742 с 64 ядрами = 512 ядер ($6950 каждый, $55 600 все).

8 x Citrix Hypervisor — Advanced Edition — Perpetual Per Socket ($8 000* все).

12 x Intel Xeon Platinum 8380 с 40 ядрами = 480 ядер ($8666 каждый, $103992 все).

12 x Citrix Hypervisor — Advanced Edition — Perpetual Per Socket ($12 000 все).

Итого: $63 600.

*Цена приблизительна. Может быть больше или меньше.

Итого: $116 000.

Если не учитывать стоимость процессоров, то разница все равно в треть стоимости.

Насчёт совместимости — процессор для Проксмокса должен поддерживать одну из двух проприетарных технологий виртуализации. Они есть во всех современных серверных ЦПУ соответствующих вендоров, так что вряд ли вы наткнётесь на несовместимое железо:

  • AMD-V (Virtualization Technology), Vi;

  • Intel VT (Virtualization Technology), VT-x, VT-d и VT-c.

Конкретные советы, как выбрать CPU для Proxmox

Совет №1 — выбирайте тот же бренд процессора, на котором уже работает ваша IT-инфраструктура. Монобрендовые системы зачастую работают эффективнее из-за хорошей совместимости. Если строите инфраструктуру для виртуализации с нуля, то опирайтесь на конкретные задач, которые нужно решить, а не на вендора.

Совет №2 — по характеристикам CPU. Если вы ограничены в пространстве под IT-инфраструктуру, то берите процессоры с большим количеством ядер и высокой тактовой частотой. Но учитывайте, что они дороже и выделяют больше тепла. Если вам нужна производительность ВМ, то делайте акцент на тактовой частоте. А количество ядер и потоков прямо пропорционально влияют на количество возможных виртуальных машин.

Совет №3 — по распределению vCPU (виртуальный процессор с одним ядром). Консервативное правило админов — 1 vCPU на 1 ВМ. Не предоставляйте виртуальным машинам много vCPU сразу — это снизит коэффициент консолидации. Сначала устройте тест-драйв, который покажет: сколько нужно ядер приложению; какой характер и интенсивность нагрузки на виртуальные процессоры. Те же SQL-серверы требуют больше ядер, чем почтовые, файловые или радиус серверы.

Совет №4 — по тестированию ВМ. Тесты можно провести быстро (1-7 дней) или долго (1-4 месяца). Они выявят закономерности и помогут избежать высокой конкуренции за ядро, память, сеть и т.д. И наоборот — если процессор(ы) слабо нагружены, и можно увеличивать коэффициент консолидацию (больше ВМ на хосте).

Оперативная память для Proxmox VE

Три планки регистровой памяти в сервере

Серверы для виртуализации (для Proxmox VE в частности) — одни из самых требовательных к оперативной памяти. Часть пирога отъедает система (гипервизор). Большая часть памяти нужна виртуальным машинам и установленным на них приложениям. И ещё сверху про запас нужно 20-30%, а лучше больше.

Советы по выбору RAM для Proxmox VE

Совет №1 — ответьте на 6 простых вопросов, которые помогут в подборе.

  1. Что выбрать: DDR3 или DDR4? Учтите, что: DDR3 — устаревший тип памяти, но ещё встречается; DDR4 — актуальный и самый распространённый; DDR5 — новый тип, набирающий популярность в потребительском сегменте (вероятно, появится поддержка в следующем поколении серверов);

  2. Сколько в материнской плате сервера слотов DRAM? Это станет физическим ограничением в будущем, которое не получится обойти;

  3. Сколько процессоров будет в сервере? У процессоров есть ограничение по максимальному объему ОЗУ, которые можно посмотреть в спецификациях. Чем больше сокетов у сервера, тем больше потенциал по ОЗУ. Если вам нужно 6ТБ, а в сервере максимум два CPU с поддержкой не более 1.5 ТБ, то вам придётся менять весь сервер или докупать второй.

  4. Насколько современный процессор? Intel Xeon Silver 4110 — Scalable 1-ого поколения поддерживает до 768 ГБ памяти, а Intel Xeon Silver 4310 — Scalable 3-ого поколения поддерживает в 8 раз больше — до 6 ТБ памяти. При этом цены на релизе у них приблизительно одинаковые.

  5. Двухканальный, трёхканальный или четырёхканальный режимы? Многоканальные режимы работы памяти увеличивают скорость её работы, поэтому лучше 2 планки по 16 ГБ, чем 1 на 32 ГБ.

  6. Какая частота памяти? Чем выше, тем быстрее ОЗУ обменивается данными с ЦПУ. Кстати, максимальные частоты зависят от возможностей процессора и от типа памяти (DDR3, DDR4).

Совет №2 — по распределению vRAM. Даже если у вас избыток ОЗУ, не выделяйте под ВМ больше памяти, чем требует задача. Протестируйте, сколько на практике нужно пользователю и (или) приложениям для нормальной работы. Офисному сотруднику для Windows 10 и MS Office достаточно 4-5 ГБ ОЗУ. Если без разбора выделить 16 ГБ, лучше не станет, а хуже в масштабах сервера — может.

Совет №3 — по объему RAM. Сделайте всё, чтобы памяти хватало на все задачи. Виртуальные машины, которым не хватает ОЗУ, намного чаще обращаются к накопителю. Чем больше избыточных запросов к диску, тем меньше производительность приложений, Debian и Proxmox VE. И здесь мы вспоминаем запас в 30%, который выручит в случае перерасхода памяти.

Совет №4 —по коррекции ошибок. Вам нужна ECC-память (англ. error-correcting code memory). Она автоматически исправляет спонтанные ошибки битов памяти. Даже не думайте брать non-ECC память!

Дисковая подсистема для Proxmox VE

Самый производительный и одновременной дорогой вариант для Proxmox VE (как, впрочем, для всех остальных систем виртуализации… да и вообще для любых систем) — это SSD-накопители. Минимальные задержки, высочайшие показатели чтения/записи и максимальная производительность в сложных задачах, таких как высоконагруженные базы данных.

Менее производительный, но более бюджетный вариант — это SAS HDD. Если сделать RAID 0, 6, 10, 50 или 60, то вырастает скорость работы и общий аптайм сервера. Ну а каждый ГБ памяти в HDD традиционно выходит дешевле, чем у SSD.

Советы по накопителям для Proxmox VE

Совет №1. SATA HDD нужно аккуратно использовать для Proxmox VE. Их производительности может не хватить для Proxmox VE с большим количеством ВМ при высоких нагрузках. С другой стороны, если у вас нетребовательные к скорости чтения/записи задачи, гостевых систем мало, а где-то в серверной лежат диски без дела, то смело используйте SATA HDD или NL-SAS (которые на самом деле SATA с другим интерфейсом). Стоят такие HDD недорого, а скорость неплохо подрастёт, если сделать RAID-массив.

Совет №2. Смешать и взболтать. В целях разделения хранения можно миксовать SSD, SAS HDD и NL-SAS / SATA HDD. Например, диски для ВМ, где важна скорость, будут быстрыми, а для большого объема — вместительными. Другое применение — гибридное (слоистое) хранение данных: NVMe SSD под кэш, SSD под горячие данные, HDD под холодные. Иногда достаточно двух слоёв (SSD и HDD), например, для смешанной нагрузки.

Совет №3. Для хостовой системы с Proxmox VE не нужен скоростной производительный диск. Быстрый SSD хоста будет простаивать, пока медленные HDD на виртуалках занимаются операциями ввода-вывода. Его главная задача — запустить виртуалки. Поэтому PVE часто устанавливают на что попало: SATA DOM, M.2, SATA SSD и обычные HDD (особенно в модульных серверах). Это применимо и к другим гипервизорам. VMware вообще с флешки загружают. Но Proxmox, как и Hyper-V, загружать с флешки не надо (дисковые операции Debian быстро убивают флешку).

Сетевая карта (адаптер) для Proxmox VE

Сетевая карта с одним гигабитным портом может ограничить ваши возможности в будущем. В целом, если в сервере есть свободные слоты расширения, и он поддерживает сетевые платы с разными интерфейсами (в том числе высокоскоростные), то вы сможете сделать апгрейд при необходимости.

Поэтому изучите спецификации планируемого оборудования. Если всё ок, то нет смысла переплачивать за 10-Гбитный адаптер с 4 портами на старте (если этого не требует задача здесь и сейчас). Но есть ещё несколько важных моментов, которые стоит учесть.

Советы по сетевой карте для Proxmox VE

Совет №1. По скорости. Для нормальной производительности и скорости работы смотрите в сторону 2 или 4-портовых сетевых плат. В 90% случаев хватает скорости в 1 Гбит/c, но если рабочие нагрузки требуют огромных скоростей (например, в больших кластерах), то берите 10 Гбит/c адаптер или быстрее.

Совет №2. Исходите из кластеризации. Если кластеризация планируется, то вам понадобятся высокоскоростные сетевые адаптеры. У всех гипервизоров свои параметры, например, для Hyper-V от Microsoft рекомендуется 4 сетевых адаптера: управление гипервизором, репликация, heartbeat-сообщения, доступ ВМ. А VMware vSAN без 10 Гбит и вовсе не заведётся. У Проксмокса нет таких жестких требований, поэтому исходить надо из задачи и желаемого результата.

ВАЖНО! Проксмокс поддерживает максимум 32 ноды, с одинаковыми версиями Proxmox VE у каждой. Функционал высокой доступности (High Availability) начинается от трёх узлов. А задержки в сети должны быть <2 мс.

Совет №3. По отказоустойчивости. Для некритичных ВМ и небольших инсталляций можно использовать одну сетевую карту, но учтите, что одна карта — одна точка отказа. Если хотите добиться высокой доступности для критически важных ВМ, нужен ещё один адаптер для избыточности.

Совет №4. Используйте агрегирование каналов. Это технология объединения двух и более параллельных каналов (в сетях передачи данных) в один логический канал по специальным протоколам: LACP, EtherChannel, PAgP и другие. На практике это позволяет увеличить полосу пропускания, например, с 1 Гбит до 2 Гбит.

Совет №5. Про подключение СХД. Учтите, что СХД подключается к сетевому адаптеру (скорее всего через коммутатор) по различным протоколам: iSCSI, Fibre Channel (FC) и прочие NFS. А здесь нужны соответствующие скорости и интерфейс, поэтому, если планируете использовать сетевое хранилище для виртуальных машин, гигабитный адаптер вам ещё аукнется. Кстати, связка LACP+iSCSI не даёт роста производительности — iSCSI де-факто запускается с 1 Гбит/с. Можно использовать два адаптера и iSCSI Multipath, но лучше не надо :)


Поможем с выбором сервера для Proxmox

Автор

СЕРВЕР МОЛЛ

Поделиться
Комментарии
(0)
Ещё не добавлено ни одного комментария
Написать комментарий
Поля, отмеченные *, обязательны для заполнения

Больше статей

Подписаться на новости

Нажимая кнопку «Подписаться», я даю согласие
на обработку и хранение персональных данных и принимаю соглашение
icon-recall
Отправить ТЗ
client consultations icon-delivery discount icon-facebook franchise icon-google_plus it-solutions icon-jivosite icon-menu icon-up icon-message payment icon-recall shops-local shops-network icon-solutions icon-support tasks icon-twitter Group 8 icon-user icon-viber icon-vk icon-watsup
Мы используем файлы 'cookie', чтобы обеспечить максимальное удобство пользователям.