Классификация ЦОД (дата-центров)

ЦОД — это центр обработки данных, то есть специализированный объект для размещения, эксплуатации и защиты серверов, систем хранения данных и сетевого оборудования. Его задача — обеспечить вычислительной инфраструктуре стабильное электропитание, охлаждение, связь, физическую безопасность и контролируемые условия работы.

Если говорить совсем просто, ЦОД действительно похож на серверную комнату на стероидах. Задачи могут пересекаться, однако разница не сводится только к количеству серверов. В дата-центре инженерные системы проектируются как единый комплекс, а отказ питания, охлаждения или сети рассматривается как штатный риск, который необходимо заранее обнаружить, локализовать и, если этого требует проект, пережить без остановки IT-нагрузки.

ЦОД используется для размещения корпоративных систем, сайтов, баз данных, облачных платформ, резервных копий, телекоммуникационного оборудования, высокопроизводительных вычислений и других сервисов. Для бизнеса дата-центр может быть собственным объектом или внешней площадкой, на которой арендуют машинные залы, стойку, отдельные юниты, физические серверы либо облачные ресурсы.

Чем ЦОД отличается от серверной, colocation и облачной площадки

Эти понятия связаны, но обозначают разные сущности.

Таким образом, colocation — это не отдельный вид здания, а модель предоставления ресурсов коммерческого ЦОДа. Подробнее она разобрана в статье «Колокейшн — что это и чем он выгоден для бизнеса».

Облачная платформа тоже физически работает в одном или нескольких дата-центрах. Но для клиента облако представляет собой сервисный слой: вычислительные ресурсы выделяются через панель управления или API, а заменой оборудования, питанием и охлаждением занимается оператор.

Из чего состоит ЦОД

Серверы — самая заметная, но далеко не единственная часть дата-центра. Надёжность площадки зависит от всей цепочки: от внешнего электроснабжения до разъёма питания конкретного сервера.

В состав ЦОДа обычно входят следующие системы:

• Электроснабжение. Вводы от внешней сети, распределительные устройства, трансформаторы, кабельные линии, щиты и блоки распределения питания в стойках.

• Источники бесперебойного питания. ИБП и системы накопления энергии поддерживают нагрузку при кратковременном сбое и на время запуска резервной генерации.

• Генераторы и топливная инфраструктура. Используются при продолжительном отключении внешнего электроснабжения. Важны не только количество генераторов, но и схема подключения, запас топлива, договоры на его доставку и регулярные испытания под нагрузкой.

• Охлаждение. Прецизионные кондиционеры, чиллеры, сухие охладители, насосы, вентиляторы или системы жидкостного охлаждения отводят тепло от оборудования. Конкретная архитектура зависит от климата, плотности мощности и конструкции объекта.

• Серверные стойки. В них устанавливают серверы, системы хранения, коммутаторы, PDU и другое оборудование. Стойки организуют в машинных залах с контролируемыми горячими и холодными потоками воздуха.

• Сетевая инфраструктура. Магистральные и внутренние кабельные системы, маршрутизаторы, коммутаторы, точки присутствия многих операторов связи и каналы выхода во внешние сети.

• Физическая безопасность. Охрана периметра, видеонаблюдение, контроль и журналирование доступа, разграничение зон, датчики вскрытия и процедуры сопровождения посетителей.

• Мониторинг и диспетчеризация. Системы BMS и DCIM контролируют энергопотребление, температуру, влажность, состояние ИБП, генераторов, охлаждения и других компонентов. Отклонения должны не просто отображаться на панели, а передаваться дежурной смене по заранее определённому сценарию.

• Пожарная безопасность. Раннее обнаружение дыма, пожарная сигнализация, разделение помещений на зоны и системы пожаротушения, выбранные с учётом конструкции объекта и установленного оборудования.

При создании ЦОДа используются комплексные инженерные и IT-решения. Если одна из систем спроектирована неправильно, резервирование остальных может оказаться бесполезным. Например, два ИБП не обеспечат отказоустойчивость, если оба подключены через один общий распределительный щит, или запитаны от разных вводов, но приходящих в здание через одну трубу.

Классификация

Поскольку спектр решаемых задач огромен, классифицировать ЦОДы можно по нескольким параметрам. Эти признаки пересекаются: один и тот же объект может быть одновременно коммерческим, крупным, стационарным и соответствовать определённому уровню надёжности.

По целям использования

• Корпоративный ЦОД решает задачи одной организации. В нём размещают внутренние бизнес-системы, базы данных, виртуальную инфраструктуру и другие сервисы владельца.

• Коммерческий ЦОД предоставляет инфраструктуру клиентам. Это может быть аренда стоек и юнитов, colocation, выделенные серверы, каналы связи и сопутствующие услуги.

• Смешанный ЦОД одновременно обслуживает системы владельца и внешних арендаторов.

• Hyperscale-ЦОД создаётся для очень крупных облачных, интернет- или AI-платформ. Его отличают не только масштабы, но и стандартизация узлов, автоматизация, возможность поэтапного расширения и работа с большими объёмами вычислительной нагрузки.

• Edge-ЦОД располагается ближе к пользователям, оборудованию или источникам данных. Он сокращает сетевую задержку и может использоваться в телекоме, промышленности, видеонаблюдении, транспорте и распределённых сервисах.

ЦОД может сочетать несколько ролей. Например, коммерческий оператор способен иметь крупные региональные площадки и небольшие edge-узлы в разных городах.

По размеру и количеству серверов

Разделение на микро-, малые, средние и крупные ЦОДы остаётся условным. Количество серверов само по себе мало говорит о масштабе: одна стойка с GPU-узлами может потреблять больше электроэнергии и выделять больше тепла, чем несколько стоек с обычными серверами.

При сравнении объектов полезнее учитывать:

• количество машинных залов и стоек;

• доступную и фактически используемую IT-мощность;

• допустимую мощность на одну стойку;

• площадь технических помещений;

• возможности расширения;

• объём сетевого трафика;

• число клиентов и обслуживаемых систем.

Микро-ЦОД может состоять из одной или нескольких защищённых стоек с собственным питанием, охлаждением и мониторингом. Малые и средние ЦОДы обслуживают отдельные компании, предприятия или региональные сервисы. Крупные и hyperscale-объекты включают несколько машинных залов, зданий или модулей и масштабируются отдельными очередями.

Поэтому формула «до пяти серверов — серверная, больше ста — ЦОД» некорректна. Граница проходит не только по числу устройств, но и по назначению объекта, составу инженерных систем и организации эксплуатации.

По назначению

• Основной ЦОД принимает рабочую нагрузку и обслуживает продуктивные системы.

• Резервный ЦОД используется для восстановления или продолжения работы при аварии, недоступности либо плановом обслуживании основной площадки.

Наличие резервного здания ещё не означает готовность к аварийному переключению. Необходимо синхронизировать данные, контролировать зависимости между системами и регулярно проверять сценарии восстановления. Если обе площадки используют один канал связи, одну подстанцию или общую точку управления, формальное резервирование может не защитить от общего отказа.

В распределённой архитектуре несколько ЦОДов могут одновременно обслуживать нагрузку. Тогда деление на основной и резервный становится менее жёстким: при недоступности одной зоны трафик перераспределяется между оставшимися.

По типу построения

• Контейнерные ЦОДы размещаются в подготовленных контейнерных модулях, как правило на базе стандартных морских контейнеров. Их можно собирать на производстве и относительно быстро устанавливать на площадке.

• Модульные ЦОДы строятся из унифицированных блоков электроснабжения, охлаждения и машинных залов. Новые модули добавляют по мере роста нагрузки. Модульный объект не обязательно является мобильным или контейнерным.

• Мобильные ЦОДы приспособлены для перемещения автомобильным, железнодорожным, морским или другим транспортом. Они применяются там, где вычислительную инфраструктуру необходимо быстро доставить к месту эксплуатации.

• Стационарные ЦОДы размещаются в здании или его части. Возможны несколько вариантов:

  • здание, изначально спроектированное под дата-центр;

  • переоборудованный объект, модернизированный с учётом требований к нагрузке на перекрытия, питанию, охлаждению, связи и безопасности;

  • техническая площадка внутри многофункционального здания.

Переоборудованный склад или промышленное помещение вполне может стать надёжным ЦОДом, но только после инженерной реконструкции и проверки всех критических систем. Само название здания ничего не говорит о качестве инфраструктуры.

По типу размещения на местности

• Надземные ЦОДы располагаются в обычных зданиях или специально построенных комплексах.

• Подземные ЦОДы размещаются в шахтах, бункерах, тоннелях и других подземных сооружениях. Такое расположение может давать преимущества с точки зрения физической защиты и стабильности температуры, но усложнять логистику, вентиляцию, водоотведение и эвакуацию.

• Плавучие ЦОДы располагаются на морских или речных платформах. Это редкая специализированная архитектура, в которой близость воды может использоваться для теплоотвода, но одновременно появляются дополнительные требования к коррозионной защите, связи и эксплуатации.

Место размещения не определяет уровень надёжности автоматически. Подземный объект не становится отказоустойчивым только благодаря расположению, а надземный ЦОД может иметь полноценное резервирование и физическую защиту.

По отказоустойчивости

Для оценки инфраструктуры дата-центров используются, в частности, три разные системы:

• Uptime Institute Tier. Определяет четыре прогрессивных уровня топологии: от базовой инфраструктуры до отказоустойчивой. Tier оценивает возможности систем электроснабжения и охлаждения поддерживать IT-нагрузку при обслуживании и отказах. Uptime Institute отдельно подчёркивает, что более высокий Tier соответствует другим бизнес-требованиям, но не считается автоматически «лучшим» для любой организации.

• ANSI/TIA-942 Rated. Комплексный стандарт инфраструктуры ЦОД, охватывающий архитектуру, телекоммуникации, электроснабжение, охлаждение, пожарную и физическую безопасность, мониторинг и другие системы. Актуальная редакция TIA-942-C использует уровни Rated-1–Rated-4. Область стандарта описана на официальном сайте TIA.

• EN 50600 Availability Class. Европейская серия стандартов, в которой применяются классы доступности 1–4 для электроснабжения, климатического контроля и телекоммуникационной кабельной инфраструктуры. Итоговый класс определяется по наиболее слабой из этих систем. Структура серии приведена в материалах CEN-CENELEC по стандартам для дата-центров.

Tier I — базовая инфраструктура

ЦОД уровня Tier I имеет базовую инженерную инфраструктуру для поддержки IT-оборудования. В состав объекта входят выделенная зона для IT-систем, ИБП, постоянное охлаждение и резервная генерация.

Основные компоненты мощности и путь их распределения могут быть единичными. Для планового обслуживания или ремонта инженерной системы может потребоваться остановка нагрузки. Tier I защищает оборудование от части нарушений внешнего питания и обычных эксплуатационных рисков, но не рассчитан на сохранение работы при любом непредвиденном отказе.

Назначение: базовое размещение IT-инфраструктуры.

Применение: архивы, тестовые среды, вспомогательные сервисы, резервные копии и системы, для которых допустим согласованный перерыв в работе.

Tier II — резервирование компонентов мощности

Tier II наследует требования Tier I и добавляет резервные компоненты электроснабжения и охлаждения. Резервироваться могут модули ИБП, генераторы, насосы, чиллеры, охлаждающие установки и оборудование отвода тепла.

При этом путь распределения к IT-нагрузке остаётся единичным. Отдельный резервный компонент можно вывести из эксплуатации, но обслуживание распределительного пути или незапланированное нарушение в нём способно повлиять на работу ЦОДа.

Назначение: размещение систем с умеренными требованиями к непрерывности.

Применение: корпоративные сайты, служебные приложения, офисные базы данных, внутренние бизнес-системы и другие нагрузки, для которых допустимы заранее согласованные окна обслуживания.

Tier III — обслуживание без остановки нагрузки

Главное свойство Tier III — concurrent maintainability, или возможность планового обслуживания без остановки IT-нагрузки. ЦОД имеет резервные компоненты мощности и несколько путей распределения питания и охлаждения.

Любой отдельный компонент или участок распределительного пути можно вывести для планового обслуживания, ремонта либо замены без отключения оборудования. При этом Tier III не означает автоматическую устойчивость к любой комбинации аварий: объект проектируется для обслуживания без остановки, но не обязан выдерживать каждый возможный непредвиденный отказ.

Назначение: критичная для бизнеса инфраструктура.

Применение: ERP и другие ключевые корпоративные системы, базы данных, коммерческие веб-сервисы, SaaS- и PaaS-платформы, виртуализация и частные облака.

Tier IV — отказоустойчивая инфраструктура

Tier IV добавляет к возможностям Tier III fault tolerance, то есть устойчивость к одиночному отказу в инженерной инфраструктуре. Для этого используются несколько независимых и физически изолированных систем с резервными компонентами и путями распределения.

Одиночный отказ оборудования или разрыв одного пути не должен нарушать работу IT-нагрузки. Требуется непрерывное охлаждение, а установленное IT-оборудование должно быть совместимо с отказоустойчивой схемой питания — например, иметь резервные блоки питания, подключённые к независимым линиям.

Назначение: непрерывность наиболее критичных операций.

Применение: системы, остановка которых может привести к неприемлемым финансовым, технологическим или общественным последствиям: отдельные банковские, телекоммуникационные, государственные и крупные облачные платформы.

При этом Tier IV не обязательно является рациональным выбором для любой компании. Такая инфраструктура дороже строится и обслуживается. Если приложение может переключаться между двумя площадками или допускает небольшое окно восстановления, архитектура из нескольких ЦОДов более низкого уровня иногда оказывается экономически и технически оправданнее одного Tier IV.

Как выбрать ЦОД

Выбор площадки лучше начинать не с обещанного процента uptime, а с требований конкретной системы: сколько времени она может быть недоступна, какой объём данных допустимо потерять, кто отвечает за переключение и сколько будет стоить простой.

Чек-лист проверки площадки

1. Сертификат. Уточните систему сертификации, уровень, владельца сертификата, точный объект и область оценки. Сертификат проекта не подтверждает автоматически, что площадка построена и эксплуатируется в полном соответствии с проектом. У Uptime Institute, например, отдельно оцениваются проектная документация, построенный объект и операционная устойчивость. Подлинность наград можно проверить в официальном реестре Uptime Institute. Но и отсутствие сертификата не может быть причиной отказа, соответствие требованиям можно проверить и самостоятельно.

2. Фактическая схема питания. Запросите схему от внешнего ввода до стойки: количество вводов, ИБП и генераторов, конфигурацию резервирования, линии A/B, запас топлива и порядок дозаправки. Два кабеля ещё не означают независимые пути, если у них остаётся общая точка отказа.

3. SLA. Проверьте, где измеряется доступность, какие события считаются простоем, какие исключения предусмотрены, как уведомляют об обслуживании и какую компенсацию предоставляет оператор. SLA описывает договорные обязательства, а не заменяет технический аудит.

4. PUE. Показатель Power Usage Effectiveness отражает отношение общего энергопотребления ЦОДа к энергии, потребляемой IT-оборудованием. Чем ближе результат к единице, тем меньше доля вспомогательных расходов, однако сравнивать нужно данные, рассчитанные за одинаковый период и по сопоставимой методике. Уточняйте, указан ли среднегодовой фактический PUE или расчётное значение проекта. Подробнее — в материале об энергоэффективности серверной.

5. Каналы связи. Узнайте количество операторов, пропускную способность, физическую разнесённость трасс и точек ввода, наличие резервной маршрутизации, защиты от DDoS и возможности подключения собственного оператора.

6. Физическая безопасность. Проверьте охрану периметра, видеонаблюдение, журналирование действий, разделение зон доступа, порядок допуска сотрудников и посетителей, а также хранение записей.

7. Удалённые руки. Уточните, работает ли услуга круглосуточно, какие операции выполняют инженеры площадки, каково время реакции, кто согласовывает действия и как рассчитывается стоимость.

8. Доступ к площадке. Проверьте график посещений, срок подачи заявки, правила экстренного допуска, требования к документам, ввозу и вывозу оборудования.

9. Резервирование и тестирование. Недостаточно увидеть генератор или второй кондиционер. Запросите сведения о регулярных испытаниях под нагрузкой, переключениях питания, проверках охлаждения и сценариях аварийного реагирования.

10. Запас для расширения. Убедитесь, что площадка сможет предоставить дополнительную мощность, стойки, сетевые порты и охлаждение. Свободное место в шкафу бесполезно, если лимит электропитания уже исчерпан.

11. Пожарная безопасность и мониторинг. Уточните способы раннего обнаружения, зонирование, тип пожаротушения, порядок оповещения клиента и доступность журналов событий.

12. Архитектура приложения. Даже сертифицированный ЦОД не заменяет резервное копирование, кластеризацию и план аварийного восстановления. Отказоустойчивость площадки и доступность приложения — связанные, но не одинаковые понятия.

В результате выбирать следует не самый высокий уровень в рекламной презентации, а площадку, характеристики которой соответствуют рискам и бюджету проекта. Для некритичного архива может быть достаточно базовой инфраструктуры. Для основной бизнес-системы важнее обслуживание без остановки. А сервис, который не должен зависеть от одного здания, потребует резервирования уже на уровне нескольких площадок и самого приложения.