Как выбрать сервер для Proxmox

Содержание:

• Что такое Proxmox

• Плюсы и минусы Proxmox

• Важные моменты и инструкции для работы с Proxmox

• Возможности и преимущества Proxmox

• Системные требования Proxmox VE

• Сервер для Proxmox VE (советы по подбору)

• CPU — процессор для Proxmox VE

• RAM — оперативная память для Proxmox VE

• Дисковая подсистема для Proxmox VE

• Сетевая карта (адаптер) для Proxmox VE

• Proxmox или ESXi

• Proxmox или Hyper-V

• Подытожим

Вы по адресу, если ищете бесплатную альтернативу VMware vSphere, Microsoft Hyper-V и Citrix XenServer. В этой статье я расскажу о Proxmox VE — бесплатной платформе для виртуализации, — а потом разберу, как выбрать сервер под Proxmox VE. Так что заваривайте что-нибудь вкусное, и мы начнём.

Что такое Proxmox

Proxmox Virtual Environment, он же Proxmox VE, он же Проксмокс (разг. „Прокс“) — это опенсорс-платформа на базе программных решений QEMU (Quick Emulator), KVM (Kernel-based Virtual Machine) и LXC (Linux Containers), которая позволяет разделять физические ресурсы сервера и создавать виртуальные машины, контейнеры и кластеры, а также виртуализировать хранилища, сети и управлять ими через WEB-интерфейс и CLI (Command line interface).

Если проще, то Proxmox — это гипервизор 2-ого типа. То есть между железом сервера и Проксмоксом есть прослойка в виде хостовой операционной системы Debian, основанной на модульном ядре Linux.

Гипервизор — это меццалуна или нож, который разрезает пиццу (сервер) на несколько кусочков (виртуальные машины). Подробнее о сходствах пиццы и виртуализации можно почитать в другой моей статье „Как выбрать сервер для виртуализации“ :)

Первая версия Proxmox VE вышла в релиз в 2008 году, и с того момента платформа непрерывно развивается, обновляется и популяризируется. На 2022 год по всему миру работает более 600 000 хостов Проксмокс; а самое главное — он бесплатен (распространяется по лицензии GPLv2). Продаются только некоторые репозитории и дополнительная поддержка.

Если вы разбираетесь в виртуализации или работали с платформой PVE, то смело переходите к следующему заголовку статьи.

Но если вы 1 lvl только погружаетесь в виртуализацию и/или хотите освежить память по PVE, то ниже будут шпаргалка со всем необходимым. Учите английский, друзья :)

Плюсы и минусы Proxmox

Важные моменты и инструкции для работы с Proxmox

Используйте эту часть статьи как шпаргалку (добавить в закладки Ctrl + D):

• QEMU/KVM Virtual Machines и Linux Container — два типа технологий виртуализации, поддерживаемых Proxmox VE (будем считать контейнеры — виртуализацией);

• Host System Administration — про задачи, выполняемые на хосте Proxmox VE, такие как Package Repositories, Network Configuration, System Software Updates, External Metric Server, Disk Health Monitoring, Logical Volume Manager (LVM), ZFS на Linux;

• Cluster Manager— объединение хостов Proxmox VE в кластеры;

• После создания кластера вы сможете настроить High Availability для своих виртуальных машин и контейнеров;

• Storage — обзор всех поддерживаемых технологий хранения данных в Proxmox VE: Ceph RBD, ZFS, User Mode iSCSI, iSCSI, ZFS over iSCSI, LVM, LVM thin, GlusterFS, NFS и Proxmox Backup Server;

• Настройка гиперконвергентной инфраструктуры с развертыванием Ceph Cluster;

• Backup and Restore — как использовать встроенный менеджер резервного копирования;

• Firewall— подробное описание работы встроенного брандмауэра Proxmox VE Firewall;

• User Management— про работу аутентификации и разрешений в Proxmox VE;

• Developer Documentation— руководство, как получить доступ к исходному коду и как отправлять исправления, чтобы ваши доработки были включены в следующий релиз Proxmox VE.

Возможности и преимущества Proxmox

Во-первых, Proxmox — не идеален (кто-то сомневался?).

Во-вторых, PVE — это бесплатный софт с открытыми исходниками (лайк от малого бизнеса с ограниченным бюджетом).

У полной свободы есть преимущества (о них расскажу ниже) и недостатки: PVE можно поставить почти на любой “калькулятор”, что приведёт к плохой работе. А если полазить по настройкам, станет ещё хуже :) Поэтому, выходя за рамки базовых задач, не ждите в проксмоксе user-friendly на уровне надкушенного яблока. 

Некоторые вещи (например, создать кластер) сделать „чуть“ сложнее, чем в VMware или Citrix. Предупреждён — значит не лезь она тебя сожрёт вооружен.

Да, многое придётся делать своими силами, так что смело переходите по ссылке на Proxmox Support Forum и добавляйте страницу в закладки. Ctrl+D, друзья, Ctrl+D :)

Итак, преимущества Proxmox:

• Открытый исходный код, Debian и полная свобода действий. Хотите установить на хост другие приложения или дополнительные инструменты мониторинга? Без проблем. Вы можете настроить маршрутизацию, VPN и NAT прямо на гипервизоре — без необходимости отдельной виртуальной машины-роутера;

• Бесплатное ПО, платить нужно только за поддержку, если нет возможности администрировать самому (характерно для энтерпрайз бизнеса). Но платным “подписчикам” доступны отдельные репозитории, вроде как с более стабильными версиями пакетов. Но это не точно;

• Встроенная служба резервного копирования с возможностью автоматизации бэкапирования;

• Быстрое развертывание гостевых систем по типовым шаблонам;

• Библиотека установочных образов;

• Proxmox поддерживает множество операционных систем в качестве гостевых, поскольку использует KVM. Как популярные, вроде GNU\Linux и Windows, так и менее популярные — вроде FreeBSD. Можно запустить и MacOS, правда чтобы соблюсти чистоту лицензии, Proxmox придётся ставить на Mac;

• Proxmox VE может использовать как локальные, так и сетевые хранилища для размещения виртуальных машин. Есть нативная поддержка Ceph из GUI, но без высококвалифицированного специалиста лучше не тратьте на это время;

• Простое администрирование через WEB-интерфейс, для ценителей есть API и консольные команды;

• Кластерный режим Proxmox позволяет управлять несколькими серверами с одной страницы и проводить живую миграцию виртуальных машин;

• Real-Time Monitoring (RTM) — мониторинг нагрузки в реальном времени;

• Не нужно совместимое серверное железо. PVE запустится там, где запустится Linux;

• Низкие системные требования Proxmox, и минимальный процент потери общей производительности на виртуализацию;

• Полная свобода действий, никаких ограничений вендора, как это происходит, например, с VMware vSphere, где чётко прописан список совместимого железа (поэтому у VMWare всё хорошо работает, но только на железе из HCL);

• Proxmox поддерживает полную и "легкую виртуализацию" (или изоляцию) с технологией OpenVZ. Это работает только с Linux, но потери производительности CPU/RAM близки к нулю;

• Многое другое.

Системные требования Proxmox VE

У Proxmox VE нет строгого HCL (Hardware Compatibility List) или списка совместимых аппаратных средств — если запустится Linux/Debian, значит запустится и PVE, но всё же перечислю рекомендации с сайта Proxmox.

Минимальные оборудование для Proxmox VE (только для тестов):

• CPU — 64bit (Intel EMT64 или AMD64), поддержка технологий виртуализации Intel VT, AMD-V, CPU/Mainboard (для использования KVM Full Virtualization)
  

• RAM — от 1 ГБ

• Жёсткий диск

• Одна сетевая карта

• Proxmox VE можно установить как гостевую систему на ПК, если есть поддержка вложенной виртуализации. Отлично для тестов и ознакомления с системой.

Рекомендуемое оборудование для Proxmox VE (для рабочих систем):

• CPU — мультипроцессорный 64bit (Intel EMT64 or AMD64), поддержка Intel VT/AMD-V CPU/Mainboard (для использования KVM Full Virtualization)

• RAM — минимум 2 ГБ для ОС и служб Proxmox VE. Для Ceph или ZFS требуется дополнительная память, примерно 1 ГБ памяти на каждый ТБ используемого хранилища. Также для Ceph нужен первоклассный специалист, а для ZFS — память с коррекцией ошибок (ECC)

• Дисковая подсистема. Нужны две, для гипервизора и для виртуальных машин (это может быть единый аппаратный массив):

• PVE часто устанавливают на что попало (и это работает): SATA DOM, M.2, SATA SSD и обычные HDD, но на сайте Проксмокса следующие рекомендации:

• Аппаратный RAID-контроллер с кэшем записи и батарейкой BBU ИЛИ non-RAID с ZFS и SSD кэшем;

• Быстрые жёсткие диски SAS,15К, RAID 10 ИЛИ SSD для лучших результатов.

• Для виртуальных машин:

• Для локального хранения используйте аппаратный RAID с кэшем записи и батарейкой BBU ИЛИ non-RAID для ZFS;

• Ни ZFS, ни Ceph не совместимы с аппаратным RAID-контроллером. Также возможно совместное и распределенное хранение данных.

• Сетевая карта — от 1 Гбит/c или больше. Поддерживаются избыточные гигабитные сетевые карты и дополнительные сетевые карты (в зависимости от предпочитаемой технологии хранения и настройки кластер) — 10 Гбит/c и выше.

• Proxmox VE лучше устанавливать поверх 64-битной Debian. Чаще ставят готовым установщиком, но у этого варианта есть минус: нельзя поставить на софтрейд сразу, а на Debian можно.

Да, проксмокс нетребователен, поэтому иногда им пренебрегают в расчётах производительности целевой системы. НО!

Эти системные требования Proxmox VE не учитывают:

• количество виртуальных машин;

• нагрузки гостевых систем.

А от этих двух параметров будет зависеть 95-99% конфигурации, если мы говорим о чистой системе с Proxmox.

Например, у вас небольшой типовой офис: контроллер домена, 1С — две виртуалки и что-то ещё по мелочи. Тут всё просто, выбирайте базовые модели предыдущих поколений — Dell T430 или HP ML350 Gen9. Лучше взять сразу два одинаковых сервера — для отказоустойчивости. 

Совершенно другая ситуация, если у вас огромный офис, много сотрудников и задач:

• Терминальный сервер на 100 человек;

• 1С ERP;

• СУБД;

• WEB-сервер на несколько сайтов;

• Почтовый сервер для разных подразделений;

• Несколько файловых серверов;

• Рендер-ферма — для 3D моделирования в CAD. Здесь упомяну, что если вы работали c VMware и, например, Nvidia Grid, то знаете про разделение графического процесса по виртуальным машинам (vGPU), когда каждой ВМ выделяют фиксированный объем видеопамяти. В Proxmox VE это не поддерживается, но можно целиком пробросить графический ускоритель в виртуальную машину (привет, passthrough);

• Autodesk Revit и Revit Server — для информационного моделирования зданий (BIM);

• И другие.

Одного сервера точно не хватит. Тут нужен герой кластер мощных серверов с сотнями ГБ оперативной памяти, объемными и быстрыми накопителями, системы хранения, коммутаторы, сети, графические ускорители и т.д. Если говорить о серверах, то смотрите на: Dell R740 или HPE DL385 Gen10 Plus v2.

Чем больше виртуальных машин и сложнее характер нагрузки, тем производительнее нужна система. Чтобы точно рассчитать будущие характеристики, нужно тестировать виртуальные машины (ВМ) под нагрузкой. Для этого берите бесплатные тест-драйвы у хостинг-провайдеров или арендуйте ВМ на месяц. Результаты по всем виртуалкам суммируйте, добавляйте 5% на Proxmox VE и 20-30% про запас на всю систему — это негласный стандарт.

Да, я говорю о процентах, а не о конкретных цифрах, потому что не знаю ваших задач, но общие рекомендации по комплектующим дам.

Сервер для Proxmox VE

Если нет желания или возможности разбираться в подборе конфигурации сервера, то обращайтесь к нашим менеджерам на servermall.ru. Получите бесплатную профессиональную консультацию и КП за час.

Proxmox-серверы

Ну а теперь перейдем к железякам :)

Влияние комплектующих часто переоценивают или недооценивают. Верное решение (как это обычно бывает) где-то посередине. Например, сервер может по всем параметрам подходить под задачу, кроме сетевой карты, но она и станет бутылочным горлышком, тормозящим всю систему.

Поэтому динозавры старое оборудование (HP ProLiant G6, Dell PowerEdge Gen 10 или ПК времён CS 1.6), которое использовалось под другие задачи, вряд ли подойдёт под Proxmox VE и нормальную работу виртуальных машин.

• Не получится работать с высоким аптаймом большому количеству людей;

• Даже если заведётся, не выйдет заменить отдельные комплектующие на более мощные и современные (вертикальный рост);

• Устаревший процессор и малый объем памяти не лучшие друзья виртуализации и Proxmox;

• В старом сервере или ПК мало ОЗУ? Значит будет мало ВМ. Простая арифметика.

Двух или четырёхсокетный сервер может кратно нарастить производительность в будущем, а объемные дисковые полки или корзины позволят расширить хранилище — быстро и относительно недорого. В эту же компанию входят слоты расширения.

Если сэкономите в моменте и возьмёте бюджетный сервер, то в будущем придётся покупать ещё один, либо полностью менять на новый.

Общие советы по серверу обсудили, теперь пробежимся по комплектующим: CPU, RAM, дисковая подсистема и сетевой адаптер.

CPU — процессор для Proxmox VE

Установленный в сокет серверный процессор AMD EPYC 7642

В нашем блоге на Хабре выходила большая познавательная статья про серверные (и не только) GPU и процессоры. В ней я подробно рассказал о линейках от Intel и AMD. Два гиганта, которые поделили почти весь рынок пополам. И вам придётся выбрать что-то одно. Сделать кластер из серверов на процессорах разных вендоров — вряд ли получится.

Начнём с Intel — это компания-пионер, которая долгое время безоговорочно доминировала на рынке CPU, поэтому их преимущества: большой выбор из предыдущих поколений и отличная оптимизация софта. Но ситуация немного переломилась с выходом архитектуры Zen от AMD.

Сейчас цены и производительность близки у обеих компаний; технологии в процессорах одинаковые или во многом альтернативные. Разницу нужно выискивать тестами под лупой. Иногда впереди Intel Scalable из-за лучшей оптимизации, а иногда AMD EPYC из-за своих performance/watt характеристик. В некоторых сценариях разница в пару процентов, а в некоторых — десятки.

Ремарка. Процессоры Intel Scalable могут выдавать больше ГГц на ядро, чем AMD EPYC, но это будет намного дороже.

AMD добилась отличного соотношения цены к производительности в последних поколениях EPYC 7003 и рекордной доли в сегменте x86-процессоров ~ 27,7%. В серверном сегменте цифра меньше ~ 11.6%, но рост есть. Да, корпоративные клиенты и сисадмины часто консервативны, но это не значит, что процессоры AMD EPYC хуже.

Кстати, у процессоров AMD EPYC есть одно важное преимущество. Некоторое ПО лицензируют посокетно (например, вы решите сменить Proxmox на Citrix в будущем) — это значит, что можно сэкономить на количестве лицензий.

Например:

Насчёт совместимости — процессор для Проксмокса должен поддерживать одну из двух проприетарных технологий виртуализации. Они есть во всех современных серверных ЦПУ соответствующих вендоров, так что вряд ли вы наткнётесь на несовместимое железо:

• AMD-V (Virtualization Technology), Vi;

• Intel VT (Virtualization Technology), VT-x, VT-d и VT-c.

RAM — оперативная память для Proxmox VE

Три планки регистровой памяти в сервере

Серверы для виртуализации (для Proxmox VE в частности) — одни из самых требовательных к оперативной памяти. Часть пирога отъедает система (гипервизор). Большая часть памяти нужна виртуальным машинам и установленным на них приложениям. И ещё сверху про запас нужно 20-30%, а лучше больше.

Дисковая подсистема для Proxmox VE

Самый производительный и одновременной дорогой вариант для Proxmox VE (как, впрочем, для всех остальных систем виртуализации… да и вообще для любых систем) — это SSD-накопители. Минимальные задержки, высочайшие показатели чтения/записи и максимальная производительность в сложных задачах, таких как высоконагруженные базы данных.

Менее производительный, но более бюджетный вариант — это SAS HDD. Если сделать RAID 0, 6, 10, 50 или 60, то вырастает скорость работы и общий аптайм сервера. Ну а каждый ГБ памяти в HDD традиционно выходит дешевле, чем у SSD.

Сетевая карта (адаптер) для Proxmox VE

Сетевая карта с одним гигабитным портом может ограничить ваши возможности в будущем. В целом, если в сервере есть свободные слоты расширения, и он поддерживает сетевые платы с разными интерфейсами (в том числе высокоскоростные), то вы сможете сделать апгрейд при необходимости.

Поэтому изучите спецификации планируемого оборудования. Если всё ок, то нет смысла переплачивать за 10-Гбитный адаптер с 4 портами на старте (если этого не требует задача здесь и сейчас). Но есть ещё несколько важных моментов, которые стоит учесть.

Proxmox или ESXi: что выбрать

Proxmox и ESXi — это два популярных гипервизора 1 типа, которые позволяют создавать и запускать виртуальные машины на физическом оборудовании. Они имеют разные преимущества и недостатки в зависимости от ваших потребностей и бюджета.

Вот ключевые различия между ними:

• Proxmox является полностью бесплатным и открытым программным обеспечением на базе Debian Linux, которое поддерживает как полную виртуализацию KVM для Windows и Linux, так и легковесные контейнеры Linux (LXC) для запуска приложений Linux. ESXi является проприетарным гипервизором от VMware, который основан на VMkernel и является частью набора виртуализации vSphere. ESXi бесплатен как часть гипервизора vSphere, но требует платной лицензии после 60 дней для продолжения управления ESXi через сервер vCenter.

• Proxmox имеет встроенный веб-интерфейс для управления виртуальными машинами, контейнерами и связанными ресурсами на нескольких узлах и кластерах. ESXi также имеет веб-интерфейс для управления виртуальными машинами и хостами ESXi через сервер vCenter, но он требует дополнительной лицензии.

• Proxmox и ESXi поддерживают такие функции, как кластеризация, высокая доступность, API хранения и резервного копирования, живая миграция с виртуальных машин и балансировка нагрузки на виртуальные машины. Однако ESXi предлагает лучшие возможности хоста и оперативной памяти, чем Proxmox VE (хотя для этого может потребоваться платная версия).

• Proxmox предоставляет функционал резервного копирования и восстановления хостов, контейнеров и виртуальных сред. Кроме того, Proxmox поддерживает аутентифицированное шифрование и инкрементное резервное копирование при решениях по резервному копированию и восстановлению лучше, чем ESXi.

В зависимости от ваших целей, вы можете выбрать тот гипервизор, который лучше подходит для вашего случая использования. Proxmox — хороший выбор для тех, кто хочет использовать открытое и бесплатное программное обеспечение с гибкими опциями виртуализации. ESXi — отличный выбор для тех, кто готов платить за лицензии, но хочет получать поддержку и использовать проверенное и надёжное решение от VMware с высокой производительностью и возможностями масштабирования.

Proxmox или Hyper-V: что лучше

Proxmox и Hyper-V — это также два популярных гипервизора 1 типа, которые позволяют создавать и запускать виртуальные машины на физическом оборудовании. Они также имеют разные преимущества и недостатки в зависимости от ваших потребностей и бюджета.

Вот ключевые различия между ними:

• Proxmox является полностью бесплатным и открытым программным обеспечением на базе Debian Linux, которое поддерживает как полную виртуализацию KVM для Windows и Linux, так и легковесные контейнеры Linux (LXC) для запуска приложений Linux. Hyper-V разработан Microsoft и позволяет создавать виртуальные машины на системах x86-64 с Windows. Каждая виртуальная машина работает в своем изолированном разделе, позволяя одновременно запускать несколько виртуальных машин на одном оборудовании. Hyper-V требует как минимум одного родительского раздела на каждый экземпляр гипервизора, который создает дочерние разделы с гостевыми операционными системами с помощью API hypercall. Разделы должны включать поддерживаемую версию Windows Server (2008 или новее).

• Proxmox имеет встроенный веб-интерфейс для управления виртуальными машинами, контейнерами и высокой доступностью для кластеров одним инструментом. Hyper-V также имеет веб-интерфейс для управления виртуальными машинами и хостами Hyper-V через сервер vCenter или Windows Admin Center.

• Proxmox и Hyper-V оба поддерживают такие функции, как кластеризация, высокая доступность, API хранения и резервного копирования, живая миграция с виртуальных машин и балансировка нагрузки на виртуальные машины. Однако Proxmox имеет преимущество перед Hyper-V в том, что он поддерживает аутентифицированное шифрование и инкрементное резервное копирование при решениях по резервному копированию и восстановлению.

• Proxmox является бесплатным с полными функциями. Hyper-V бесплатен с Windows Server, но требует платной лицензии для использования некоторых расширенных функций.

В зависимости от ваших целей, вы можете выбрать тот гипервизор, который лучше подходит для вашего случая использования. Proxmox будет хорошим выбором для тех, кто хочет использовать открытое и бесплатное программное обеспечение с гибкими опциями виртуализации. Hyper-V может быть хорошим выбором для тех, кто хочет использовать интегрированное решение от Microsoft с поддержкой Windows и совместимостью с другими продуктами Microsoft. Это также может быть полезно для тех, кто уже имеет лицензию на Windows Server и хочет сэкономить на дополнительных расходах. Однако Hyper-V может быть ограничен в поддержке некоторых операционных систем Linux и требовать больше ресурсов для работы.

Подытожим

Proxmox VE, как и любой другой гипервизор требует тщательного подбора железа. И да, у него хватает конкурентов: VMware ESXi и Microsoft Hyper-V Server — абсолютно бесплатны, но местами проигрывают по функциональности. А это уже тема для другой статьи.

Но Proxmox VE — это действительно хороший гипервизор как для опытных админов, которые готовы повозиться с настройкой, так и для начинающих, особенно для небольших инсталляций. И чем дольше PVE развивается, тем лучше становится.