Если нет желания или возможности разбираться в подборе конфигурации сервера, то обращайтесь к нашим менеджерам на servermall.ru. Получите бесплатную профессиональную консультацию и КП за час.
Proxmox-серверы
4 совета по выбору
Влияние комплектующих часто переоценивают или недооценивают. Верное решение (как это обычно бывает) где-то посередине. Например, сервер может по всем параметрам подходить под задачу, кроме сетевой карты, но она и станет бутылочным горлышком, тормозящим всю систему.
Совет №1: Уделите комплектующим не меньше внимания, чем софту. Последний можно поменять, оптимизировать, а с железом могут быть сложности. От аппаратной части зависит ваша гибкость, доступность, эффективность, производительность и коэффициент консолидации (количество ВМ на 1 физический сервер). И окупаемость тоже не должна исчисляться сотнями лет, если так не задумано изначально :)
Поэтому динозавры старое оборудование (HP ProLiant G6, Dell PowerEdge Gen 10 или ПК времён CS 1.6), которое использовалось под другие задачи, вряд ли подойдёт под Proxmox VE и нормальную работу виртуальных машин.
-
Не получится работать с высоким аптаймом большому количеству людей;
-
Даже если заведётся, не выйдет заменить отдельные комплектующие на более мощные и современные (вертикальный рост);
-
Устаревший процессор и малый объем памяти не лучшие друзья виртуализации и Proxmox;
-
В старом сервере или ПК мало ОЗУ? Значит будет мало ВМ. Простая арифметика.
Совет №2: Проработайте задачу, проведите тесты — займёт неделю или месяц. Возможно, старый сервер и подойдёт, но лучше выяснить это заранее, чем во время простоя бизнеса.
Совет №3: Покупайте сервер с заделом на будущее. Одно из важнейший преимуществ сервера над ПК — это масштабирование, которое зачастую прямо пропорционально высоте сервера (в монтажных единицах, 1U = 44.45 см = 1.75‘).
Двух или четырёхсокетный сервер может кратно нарастить производительность в будущем, а объемные дисковые полки или корзины позволят расширить хранилище — быстро и относительно недорого. В эту же компанию входят слоты расширения.
Если сэкономите в моменте и возьмёте бюджетный сервер, то в будущем придётся покупать ещё один, либо полностью менять на новый.
Совет №4: Оптимальный сервер для виртуализации в небольших компаниях — это среднебюджетная модель в форм-факторе 2U и больше (5U, если форм-фактор Tower). Новейшие 1U серверы с компактными SSD — отличный выбор, если есть деньги.
Но вы можете смело выбирать из двух-трёх последних поколений: восстановленные серверы стоят сильно меньше новых, не уступают в надёжности и поставляются с полноценной гарантией 5 лет на всё.
Общие советы по серверу обсудили, теперь пробежимся по комплектующим: CPU, RAM, дисковая подсистема и сетевой адаптер.
Процессор для Proxmox VE
Установленный в сокет серверный процессор AMD EPYC 7642
В нашем блоге на Хабре выходила большая познавательная статья про серверные (и не только) GPU и процессоры. В ней я подробно рассказал о линейках от Intel и AMD. Два гиганта, которые поделили почти весь рынок пополам. И вам придётся выбрать что-то одно. Сделать кластер из серверов на процессорах разных вендоров — вряд ли получится.
Начнём с Intel — это компания-пионер, которая долгое время безоговорочно доминировала на рынке CPU, поэтому их преимущества: большой выбор из предыдущих поколений и отличная оптимизация софта. Но ситуация немного переломилась с выходом архитектуры Zen от AMD.
Сейчас цены и производительность близки у обеих компаний; технологии в процессорах одинаковые или во многом альтернативные. Разницу нужно выискивать тестами под лупой. Иногда впереди Intel Scalable из-за лучшей оптимизации, а иногда AMD EPYC из-за своих performance/watt характеристик. В некоторых сценариях разница в пару процентов, а в некоторых — десятки.
Ремарка. Процессоры Intel Scalable могут выдавать больше ГГц на ядро, чем AMD EPYC, но это будет намного дороже.
AMD добилась отличного соотношения цены к производительности в последних поколениях EPYC 7003 и рекордной доли в сегменте x86-процессоров ~ 27,7%. В серверном сегменте цифра меньше ~ 11.6%, но рост есть. Да, корпоративные клиенты и сисадмины часто консервативны, но это не значит, что процессоры AMD EPYC хуже.
Кстати, у процессоров AMD EPYC есть одно важное преимущество. Некоторое ПО лицензируют посокетно (например, вы решите сменить Proxmox на Citrix в будущем) — это значит, что можно сэкономить на количестве лицензий.
Например:
|
Четрые двухсокетных сервера |
Шесть двухсокетных сервера |
|
8 x EPYC 7742 с 64 ядрами = 512 ядер ($6950 каждый, $55 600 все). 8 x Citrix Hypervisor — Advanced Edition — Perpetual Per Socket ($8 000* все). |
12 x Intel Xeon Platinum 8380 с 40 ядрами = 480 ядер ($8666 каждый, $103992 все). 12 x Citrix Hypervisor — Advanced Edition — Perpetual Per Socket ($12 000 все). |
|
Итого: $63 600. *Цена приблизительна. Может быть больше или меньше. |
Итого: $116 000. Если не учитывать стоимость процессоров, то разница все равно в треть стоимости. |
Насчёт совместимости — процессор для Проксмокса должен поддерживать одну из двух проприетарных технологий виртуализации. Они есть во всех современных серверных ЦПУ соответствующих вендоров, так что вряд ли вы наткнётесь на несовместимое железо:
-
AMD-V (Virtualization Technology), Vi;
-
Intel VT (Virtualization Technology), VT-x, VT-d и VT-c.
|
Конкретные советы, как выбрать CPU для Proxmox |
|
Совет №1 — выбирайте тот же бренд процессора, на котором уже работает ваша IT-инфраструктура. Монобрендовые системы зачастую работают эффективнее из-за хорошей совместимости. Если строите инфраструктуру для виртуализации с нуля, то опирайтесь на конкретные задач, которые нужно решить, а не на вендора. |
|
Совет №2 — по характеристикам CPU. Если вы ограничены в пространстве под IT-инфраструктуру, то берите процессоры с большим количеством ядер и высокой тактовой частотой. Но учитывайте, что они дороже и выделяют больше тепла. Если вам нужна производительность ВМ, то делайте акцент на тактовой частоте. А количество ядер и потоков прямо пропорционально влияют на количество возможных виртуальных машин. |
|
Совет №3 — по распределению vCPU (виртуальный процессор с одним ядром). Консервативное правило админов — 1 vCPU на 1 ВМ. Не предоставляйте виртуальным машинам много vCPU сразу — это снизит коэффициент консолидации. Сначала устройте тест-драйв, который покажет: сколько нужно ядер приложению; какой характер и интенсивность нагрузки на виртуальные процессоры. Те же SQL-серверы требуют больше ядер, чем почтовые, файловые или радиус серверы. |
|
Совет №4 — по тестированию ВМ. Тесты можно провести быстро (1-7 дней) или долго (1-4 месяца). Они выявят закономерности и помогут избежать высокой конкуренции за ядро, память, сеть и т.д. И наоборот — если процессор(ы) слабо нагружены, и можно увеличивать коэффициент консолидацию (больше ВМ на хосте). |
Оперативная память для Proxmox VE
Три планки регистровой памяти в сервере
Серверы для виртуализации (для Proxmox VE в частности) — одни из самых требовательных к оперативной памяти. Часть пирога отъедает система (гипервизор). Большая часть памяти нужна виртуальным машинам и установленным на них приложениям. И ещё сверху про запас нужно 20-30%, а лучше больше.
|
Советы по выбору RAM для Proxmox VE |
|
Совет №1 — ответьте на 6 простых вопросов, которые помогут в подборе.
|
|
Совет №2 — по распределению vRAM. Даже если у вас избыток ОЗУ, не выделяйте под ВМ больше памяти, чем требует задача. Протестируйте, сколько на практике нужно пользователю и (или) приложениям для нормальной работы. Офисному сотруднику для Windows 10 и MS Office достаточно 4-5 ГБ ОЗУ. Если без разбора выделить 16 ГБ, лучше не станет, а хуже в масштабах сервера — может. |
|
Совет №3 — по объему RAM. Сделайте всё, чтобы памяти хватало на все задачи. Виртуальные машины, которым не хватает ОЗУ, намного чаще обращаются к накопителю. Чем больше избыточных запросов к диску, тем меньше производительность приложений, Debian и Proxmox VE. И здесь мы вспоминаем запас в 30%, который выручит в случае перерасхода памяти. |
|
Совет №4 —по коррекции ошибок. Вам нужна ECC-память (англ. error-correcting code memory). Она автоматически исправляет спонтанные ошибки битов памяти. Даже не думайте брать non-ECC память! |
Дисковая подсистема для Proxmox VE
Самый производительный и одновременной дорогой вариант для Proxmox VE (как, впрочем, для всех остальных систем виртуализации… да и вообще для любых систем) — это SSD-накопители. Минимальные задержки, высочайшие показатели чтения/записи и максимальная производительность в сложных задачах, таких как высоконагруженные базы данных.
Менее производительный, но более бюджетный вариант — это SAS HDD. Если сделать RAID 0, 6, 10, 50 или 60, то вырастает скорость работы и общий аптайм сервера. Ну а каждый ГБ памяти в HDD традиционно выходит дешевле, чем у SSD.
|
Советы по накопителям для Proxmox VE |
|
Совет №1. SATA HDD нужно аккуратно использовать для Proxmox VE. Их производительности может не хватить для Proxmox VE с большим количеством ВМ при высоких нагрузках. С другой стороны, если у вас нетребовательные к скорости чтения/записи задачи, гостевых систем мало, а где-то в серверной лежат диски без дела, то смело используйте SATA HDD или NL-SAS (которые на самом деле SATA с другим интерфейсом). Стоят такие HDD недорого, а скорость неплохо подрастёт, если сделать RAID-массив. |
|
Совет №2. Смешать и взболтать. В целях разделения хранения можно миксовать SSD, SAS HDD и NL-SAS / SATA HDD. Например, диски для ВМ, где важна скорость, будут быстрыми, а для большого объема — вместительными. Другое применение — гибридное (слоистое) хранение данных: NVMe SSD под кэш, SSD под горячие данные, HDD под холодные. Иногда достаточно двух слоёв (SSD и HDD), например, для смешанной нагрузки. |
|
Совет №3. Для хостовой системы с Proxmox VE не нужен скоростной производительный диск. Быстрый SSD хоста будет простаивать, пока медленные HDD на виртуалках занимаются операциями ввода-вывода. Его главная задача — запустить виртуалки. Поэтому PVE часто устанавливают на что попало: SATA DOM, M.2, SATA SSD и обычные HDD (особенно в модульных серверах). Это применимо и к другим гипервизорам. VMware вообще с флешки загружают. Но Proxmox, как и Hyper-V, загружать с флешки не надо (дисковые операции Debian быстро убивают флешку). |
Сетевая карта (адаптер) для Proxmox VE
Сетевая карта с одним гигабитным портом может ограничить ваши возможности в будущем. В целом, если в сервере есть свободные слоты расширения, и он поддерживает сетевые платы с разными интерфейсами (в том числе высокоскоростные), то вы сможете сделать апгрейд при необходимости.
Поэтому изучите спецификации планируемого оборудования. Если всё ок, то нет смысла переплачивать за 10-Гбитный адаптер с 4 портами на старте (если этого не требует задача здесь и сейчас). Но есть ещё несколько важных моментов, которые стоит учесть.
|
Советы по сетевой карте для Proxmox VE |
|
Совет №1. По скорости. Для нормальной производительности и скорости работы смотрите в сторону 2 или 4-портовых сетевых плат. В 90% случаев хватает скорости в 1 Гбит/c, но если рабочие нагрузки требуют огромных скоростей (например, в больших кластерах), то берите 10 Гбит/c адаптер или быстрее. |
|
Совет №2. Исходите из кластеризации. Если кластеризация планируется, то вам понадобятся высокоскоростные сетевые адаптеры. У всех гипервизоров свои параметры, например, для Hyper-V от Microsoft рекомендуется 4 сетевых адаптера: управление гипервизором, репликация, heartbeat-сообщения, доступ ВМ. А VMware vSAN без 10 Гбит и вовсе не заведётся. У Проксмокса нет таких жестких требований, поэтому исходить надо из задачи и желаемого результата. ВАЖНО! Проксмокс поддерживает максимум 32 ноды, с одинаковыми версиями Proxmox VE у каждой. Функционал высокой доступности (High Availability) начинается от трёх узлов. А задержки в сети должны быть <2 мс. |
|
Совет №3. По отказоустойчивости. Для некритичных ВМ и небольших инсталляций можно использовать одну сетевую карту, но учтите, что одна карта — одна точка отказа. Если хотите добиться высокой доступности для критически важных ВМ, нужен ещё один адаптер для избыточности. |
|
Совет №4. Используйте агрегирование каналов. Это технология объединения двух и более параллельных каналов (в сетях передачи данных) в один логический канал по специальным протоколам: LACP, EtherChannel, PAgP и другие. На практике это позволяет увеличить полосу пропускания, например, с 1 Гбит до 2 Гбит. |
|
Совет №5. Про подключение СХД. Учтите, что СХД подключается к сетевому адаптеру (скорее всего через коммутатор) по различным протоколам: iSCSI, Fibre Channel (FC) и прочие NFS. А здесь нужны соответствующие скорости и интерфейс, поэтому, если планируете использовать сетевое хранилище для виртуальных машин, гигабитный адаптер вам ещё аукнется. Кстати, связка LACP+iSCSI не даёт роста производительности — iSCSI де-факто запускается с 1 Гбит/с. Можно использовать два адаптера и iSCSI Multipath, но лучше не надо :) |
