Обзор гипервизора Proxmox

Вы по адресу, если ищете бесплатную альтернативу VMware vSphere, Microsoft Hyper-V и Citrix XenServer. В этой статье я расскажу о Proxmox VE — бесплатной платформе для виртуализации. А в отдельной статье разберу, как выбрать сервер под Proxmox VE. Так что заваривайте что-нибудь вкусное, и мы начнём.

И да, это статья из цикла: в блоге Сервер Молл сделали подробные разборы других популярных гипервизоров:

• Обзор гипервизора Proxmox — вы находитесь здесь.

• Обзор гипервизора ESXi 

• Обзор гипервизора Hyper-V 

• Обзор гипервизора KVM

• Какой гипервизор выбрать в 2024 году.

Proxmox – что это

Proxmox Virtual Environment (Proxmox VE, Проксмокс, „Прокс“) — это опенсорс-платформа на базе программных решений QEMU (Quick Emulator), KVM (Kernel-based Virtual Machine) и LXC (Linux Containers), которая позволяет разделять физические ресурсы сервера и создавать виртуальные машины, контейнеры и кластеры, а также виртуализировать хранилища, сети и управлять ими через WEB-интерфейс и CLI (Command line interface).

Если проще, то Proxmox — это гипервизор 2-ого типа. То есть между железом сервера и Проксмоксом есть прослойка в виде хостовой операционной системы Debian, основанной на модульном ядре Linux.

Гипервизор — это меццалуна или нож, который разрезает пиццу (сервер) на несколько кусочков (виртуальные машины). Подробнее о сходствах пиццы и виртуализации можно почитать в другой моей статье „Как выбрать сервер для виртуализации“ :)

Первая версия Proxmox VE вышла в релиз в 2008 году, и с того момента платформа непрерывно развивается, обновляется и популяризируется. На 2022 год по всему миру работает более 600 000 хостов Проксмокс; а самое главное — он бесплатен (распространяется по лицензии GPLv2). Продаются только некоторые репозитории и дополнительная поддержка.

Если вы разбираетесь в виртуализации или работали с платформой PVE, то смело переходите к следующему заголовку статьи.

Но если вы 1 lvl только погружаетесь в виртуализацию и/или хотите освежить память по PVE, то ниже будут шпаргалка со всем необходимым. Учите английский, друзья :)

Плюсы и минусы Proxmox

Инструкции для работы с Proxmox

Используйте эту часть статьи как шпаргалку (добавить в закладки Ctrl + D):

• QEMU/KVM Virtual Machines и Linux Container — два типа технологий виртуализации, поддерживаемых Proxmox VE (будем считать контейнеры — виртуализацией);

• Host System Administration — про задачи, выполняемые на хосте Proxmox VE, такие как Package Repositories, Network Configuration, System Software Updates, External Metric Server, Disk Health Monitoring, Logical Volume Manager (LVM), ZFS на Linux;

• Cluster Manager— объединение хостов Proxmox VE в кластеры;

• После создания кластера вы сможете настроить High Availability для своих виртуальных машин и контейнеров;

• Storage — обзор всех поддерживаемых технологий хранения данных в Proxmox VE: Ceph RBD, ZFS, User Mode iSCSI, iSCSI, ZFS over iSCSI, LVM, LVM thin, GlusterFS, NFS и Proxmox Backup Server;

• Настройка гиперконвергентной инфраструктуры с развертыванием Ceph Cluster;

• Backup and Restore — как использовать встроенный менеджер резервного копирования;

• Firewall— подробное описание работы встроенного брандмауэра Proxmox VE Firewall;

• User Management— про работу аутентификации и разрешений в Proxmox VE;

• Developer Documentation— руководство, как получить доступ к исходному коду и как отправлять исправления, чтобы ваши доработки были включены в следующий релиз Proxmox VE.

Возможности и преимущества Proxmox

Во-первых, Proxmox — не идеален (кто-то сомневался?).

Во-вторых, PVE — это бесплатный софт с открытыми исходниками (лайк от малого бизнеса с ограниченным бюджетом).

У полной свободы есть преимущества (о них расскажу ниже) и недостатки: PVE можно поставить почти на любой “калькулятор”, что приведёт к плохой работе. А если полазить по настройкам, станет ещё хуже :) Поэтому, выходя за рамки базовых задач, не ждите в проксмоксе user-friendly на уровне надкушенного яблока. 

Некоторые вещи (например, создать кластер) сделать „чуть“ сложнее, чем в VMware или Citrix. Предупреждён — значит не лезь она тебя сожрёт вооружен.

Да, многое придётся делать своими силами, так что смело переходите по ссылке на Proxmox Support Forum и добавляйте страницу в закладки. Ctrl+D, друзья, Ctrl+D :)

Итак, преимущества Proxmox:

• Открытый исходный код, Debian и полная свобода действий. Хотите установить на хост другие приложения или дополнительные инструменты мониторинга? Без проблем. Вы можете настроить маршрутизацию, VPN и NAT прямо на гипервизоре — без необходимости отдельной виртуальной машины-роутера;

• Бесплатное ПО, платить нужно только за поддержку, если нет возможности администрировать самому (характерно для энтерпрайз бизнеса). Но платным “подписчикам” доступны отдельные репозитории, вроде как с более стабильными версиями пакетов. Но это не точно;

• Встроенная служба резервного копирования с возможностью автоматизации бэкапирования;

• Быстрое развертывание гостевых систем по типовым шаблонам;

• Библиотека установочных образов;

• Proxmox поддерживает множество операционных систем в качестве гостевых, поскольку использует KVM. Как популярные, вроде GNU\Linux и Windows, так и менее популярные — вроде FreeBSD. Можно запустить и MacOS, правда чтобы соблюсти чистоту лицензии, Proxmox придётся ставить на Mac;

• Proxmox VE может использовать как локальные, так и сетевые хранилища для размещения виртуальных машин. Есть нативная поддержка Ceph из GUI, но без высококвалифицированного специалиста лучше не тратьте на это время;

• Простое администрирование через WEB-интерфейс, для ценителей есть API и консольные команды;

• Кластерный режим Proxmox позволяет управлять несколькими серверами с одной страницы и проводить живую миграцию виртуальных машин;

• Real-Time Monitoring (RTM) — мониторинг нагрузки в реальном времени;

• Не нужно совместимое серверное железо. PVE запустится там, где запустится Linux;

• Низкие системные требования Proxmox, и минимальный процент потери общей производительности на виртуализацию;

• Полная свобода действий, никаких ограничений вендора, как это происходит, например, с VMware vSphere, где чётко прописан список совместимого железа (поэтому у VMWare всё хорошо работает, но только на железе из HCL);

• Proxmox поддерживает полную и "легкую виртуализацию" (или изоляцию) с технологией OpenVZ. Это работает только с Linux, но потери производительности CPU/RAM близки к нулю;

• Многое другое.

Системные требования Proxmox VE

У Proxmox VE нет строгого HCL (Hardware Compatibility List) или списка совместимых аппаратных средств — если запустится Linux/Debian, значит запустится и PVE, но всё же перечислю рекомендации с сайта Proxmox.

Минимальные оборудование для Proxmox VE (только для тестов):

• CPU — 64bit (Intel EMT64 или AMD64), поддержка технологий виртуализации Intel VT, AMD-V, CPU/Mainboard (для использования KVM Full Virtualization)
  

• RAM — от 1 ГБ

• Жёсткий диск

• Одна сетевая карта

• Proxmox VE можно установить как гостевую систему на ПК, если есть поддержка вложенной виртуализации. Отлично для тестов и ознакомления с системой.

Рекомендуемое оборудование для Proxmox VE (для рабочих систем):

• CPU — мультипроцессорный 64bit (Intel EMT64 or AMD64), поддержка Intel VT/AMD-V CPU/Mainboard (для использования KVM Full Virtualization)

• RAM — минимум 2 ГБ для ОС и служб Proxmox VE. Для Ceph или ZFS требуется дополнительная память, примерно 1 ГБ памяти на каждый ТБ используемого хранилища. Также для Ceph нужен первоклассный специалист, а для ZFS — память с коррекцией ошибок (ECC)

• Дисковая подсистема. Нужны две, для гипервизора и для виртуальных машин (это может быть единый аппаратный массив):

• PVE часто устанавливают на что попало (и это работает): SATA DOM, M.2, SATA SSD и обычные HDD, но на сайте Проксмокса следующие рекомендации:

• Аппаратный RAID-контроллер с кэшем записи и батарейкой BBU ИЛИ non-RAID с ZFS и SSD кэшем;

• Быстрые жёсткие диски SAS,15К, RAID 10 ИЛИ SSD для лучших результатов.

• Для виртуальных машин:

• Для локального хранения используйте аппаратный RAID с кэшем записи и батарейкой BBU ИЛИ non-RAID для ZFS;

• Ни ZFS, ни Ceph не совместимы с аппаратным RAID-контроллером. Также возможно совместное и распределенное хранение данных.

• Сетевая карта — от 1 Гбит/c или больше. Поддерживаются избыточные гигабитные сетевые карты и дополнительные сетевые карты (в зависимости от предпочитаемой технологии хранения и настройки кластер) — 10 Гбит/c и выше.

• Proxmox VE лучше устанавливать поверх 64-битной Debian. Чаще ставят готовым установщиком, но у этого варианта есть минус: нельзя поставить на софтрейд сразу, а на Debian можно.

Да, проксмокс нетребователен, поэтому иногда им пренебрегают в расчётах производительности целевой системы. НО!

Эти системные требования Proxmox VE не учитывают:

• количество виртуальных машин;

• нагрузки гостевых систем.

А от этих двух параметров будет зависеть 95-99% конфигурации, если мы говорим о чистой системе с Proxmox.

Например, у вас небольшой типовой офис: контроллер домена, 1С — две виртуалки и что-то ещё по мелочи. Тут всё просто, выбирайте базовые модели предыдущих поколений — Dell T430 или HP ML350 Gen 9. Лучше взять сразу два одинаковых сервера — для отказоустойчивости. 

Совершенно другая ситуация, если у вас огромный офис, много сотрудников и задач:

• Терминальный сервер на 100 человек;

• 1С ERP;

• СУБД;

• WEB-сервер на несколько сайтов;

• Почтовый сервер для разных подразделений;

• Несколько файловых серверов;

• Рендер-ферма — для 3D моделирования в CAD. Здесь упомяну, что если вы работали c VMware и, например, Nvidia Grid, то знаете про разделение графического процесса по виртуальным машинам (vGPU), когда каждой ВМ выделяют фиксированный объем видеопамяти. В Proxmox VE это не поддерживается, но можно целиком пробросить графический ускоритель в виртуальную машину (привет, passthrough);

• Autodesk Revit и Revit Server — для информационного моделирования зданий (BIM);

• И другие.

Одного сервера точно не хватит. Тут нужен герой кластер мощных серверов с сотнями ГБ оперативной памяти, объемными и быстрыми накопителями, системы хранения, коммутаторы, сети, графические ускорители и т.д. Если говорить о серверах, то смотрите на Dell R740 или HPE DL385 Gen10 Plus v2.

Чем больше виртуальных машин и сложнее характер нагрузки, тем производительнее нужна система. Чтобы точно рассчитать будущие характеристики, нужно тестировать виртуальные машины (ВМ) под нагрузкой. Для этого берите бесплатные тест-драйвы у хостинг-провайдеров или арендуйте ВМ на месяц. Результаты по всем виртуалкам суммируйте, добавляйте 5% на Proxmox VE и 20-30% про запас на всю систему — это негласный стандарт.

Да, я говорю о процентах, а не о конкретных цифрах, потому что не знаю ваших задач, но общие рекомендации по комплектующим дам в статье «Сервер для Proxmox»

Proxmox или ESXi: что выбрать

Proxmox и ESXi — это два популярных гипервизора 1 типа, которые позволяют создавать и запускать виртуальные машины на физическом оборудовании. Они имеют разные преимущества и недостатки в зависимости от ваших потребностей и бюджета.

Вот ключевые различия между ними:

• Proxmox является полностью бесплатным и открытым программным обеспечением на базе Debian Linux, которое поддерживает как полную виртуализацию KVM для Windows и Linux, так и легковесные контейнеры Linux (LXC) для запуска приложений Linux. ESXi является проприетарным гипервизором от VMware, который основан на VMkernel и является частью набора виртуализации vSphere. ESXi бесплатен как часть гипервизора vSphere, но требует платной лицензии после 60 дней для продолжения управления ESXi через сервер vCenter.

• Proxmox имеет встроенный веб-интерфейс для управления виртуальными машинами, контейнерами и связанными ресурсами на нескольких узлах и кластерах. ESXi также имеет веб-интерфейс для управления виртуальными машинами и хостами ESXi через сервер vCenter, но он требует дополнительной лицензии.

• Proxmox и ESXi поддерживают такие функции, как кластеризация, высокая доступность, API хранения и резервного копирования, живая миграция с виртуальных машин и балансировка нагрузки на виртуальные машины. Однако ESXi предлагает лучшие возможности хоста и оперативной памяти, чем Proxmox VE (хотя для этого может потребоваться платная версия).

• Proxmox предоставляет функционал резервного копирования и восстановления хостов, контейнеров и виртуальных сред. Кроме того, Proxmox поддерживает аутентифицированное шифрование и инкрементное резервное копирование при решениях по резервному копированию и восстановлению лучше, чем ESXi.

В зависимости от ваших целей, вы можете выбрать тот гипервизор, который лучше подходит для вашего случая использования. Proxmox — хороший выбор для тех, кто хочет использовать открытое и бесплатное программное обеспечение с гибкими опциями виртуализации. ESXi — отличный выбор для тех, кто готов платить за лицензии, но хочет получать поддержку и использовать проверенное и надёжное решение от VMware с высокой производительностью и возможностями масштабирования.

Proxmox или Hyper-V: что лучше

Proxmox и Hyper-V — это также два популярных гипервизора 1 типа, которые позволяют создавать и запускать виртуальные машины на физическом оборудовании. Они также имеют разные преимущества и недостатки в зависимости от ваших потребностей и бюджета.

Вот ключевые различия между ними:

• Proxmox является полностью бесплатным и открытым программным обеспечением на базе Debian Linux, которое поддерживает как полную виртуализацию KVM для Windows и Linux, так и легковесные контейнеры Linux (LXC) для запуска приложений Linux. Hyper-V разработан Microsoft и позволяет создавать виртуальные машины на системах x86-64 с Windows. Каждая виртуальная машина работает в своем изолированном разделе, позволяя одновременно запускать несколько виртуальных машин на одном оборудовании. Hyper-V требует как минимум одного родительского раздела на каждый экземпляр гипервизора, который создает дочерние разделы с гостевыми операционными системами с помощью API hypercall. Разделы должны включать поддерживаемую версию Windows Server (2008 или новее).

• Proxmox имеет встроенный веб-интерфейс для управления виртуальными машинами, контейнерами и высокой доступностью для кластеров одним инструментом. Hyper-V также имеет веб-интерфейс для управления виртуальными машинами и хостами Hyper-V через сервер vCenter или Windows Admin Center.

• Proxmox и Hyper-V оба поддерживают такие функции, как кластеризация, высокая доступность, API хранения и резервного копирования, живая миграция с виртуальных машин и балансировка нагрузки на виртуальные машины. Однако Proxmox имеет преимущество перед Hyper-V в том, что он поддерживает аутентифицированное шифрование и инкрементное резервное копирование при решениях по резервному копированию и восстановлению.

• Proxmox является бесплатным с полными функциями. Hyper-V бесплатен с Windows Server, но требует платной лицензии для использования некоторых расширенных функций.

В зависимости от ваших целей, вы можете выбрать тот гипервизор, который лучше подходит для вашего случая использования. Proxmox будет хорошим выбором для тех, кто хочет использовать открытое и бесплатное программное обеспечение с гибкими опциями виртуализации. Hyper-V может быть хорошим выбором для тех, кто хочет использовать интегрированное решение от Microsoft с поддержкой Windows и совместимостью с другими продуктами Microsoft. Это также может быть полезно для тех, кто уже имеет лицензию на Windows Server и хочет сэкономить на дополнительных расходах. Однако Hyper-V может быть ограничен в поддержке некоторых операционных систем Linux и требовать больше ресурсов для работы.

Подытожим

Proxmox VE, как и любой другой гипервизор требует тщательного подбора железа. И да, у него хватает конкурентов: VMware ESXi и Microsoft Hyper-V Server — абсолютно бесплатны, но местами проигрывают по функциональности. А это уже тема для другой статьи.

Но Proxmox VE — это действительно хороший гипервизор как для опытных админов, которые готовы повозиться с настройкой, так и для начинающих, особенно для небольших инсталляций. И чем дольше PVE развивается, тем лучше становится.