ИТ-нагрузка и тепловыделение: методика расчета для проектирования модульных ЦОД
Правильное определение энергетических параметров дата-центра – это фундамент, на котором строится вся его инженерная инфраструктура. Ошибка в расчетах на начальном этапе приводит либо к регулярным аварийным отключениям из-за перегрузки, либо к колоссальным неоправданным затратам на закупку избыточного оборудования.
Практически расчет ИТ-нагрузки в проекте МЦОД всегда выполняется в три этапа:
- определение фактического энергопотребления оборудования, а не номиналов блоков питания (PSU);
- применение коэффициентов спроса и одновременности;
- перевод полученной мощности в явную тепловую нагрузку. Главная задача этого этапа — определить суммарные тепловыделения для подбора холодопроизводительности системы охлаждения. При этом проверка расхода воздуха через ΔT не является строго обязательной, поскольку стандартные прецизионные кондиционеры обладают высоким расходом воздуха, которого гарантированно хватает на обдув всего ИТ-оборудования в серверной ячейке.
Такой подход позволяет избежать как недогрузки инженерных систем, так и их критической переразмеренности.
В практике проектирования ИТ-нагрузка рассматривается как чистая полезная мощность, потребляемая активным сетевым, вычислительным оборудованием и системами хранения данных. С точки зрения термодинамики, ИТ-оборудование практически полностью преобразует до 99% электроэнергии в тепло. Лишь ничтожная доля (около 1%) уходит на светодиодную индикацию и передачу сигналов по медным и оптическим кабелям. Таким образом, полезная мощность напрямую определяет не только требования к системе ИБП, но и целевую холодопроизводительность климатических систем.
Полезная мощность стойки: как не ошибиться в расчетах?
Типичная ошибка начинающих проектировщиков – вычисление суммарного энергопотребления путем простого сложения номинальных мощностей, указанных на блоках питания (PSU) серверов. Если действовать по этой логике, то серверная стойка (Rack), укомплектованная десятью серверами с двумя БП по 750 Вт каждый, потребует 10 ✕1,5 = 15 кВт. В реальности этот расчет в корне неверен.
Производители оборудования закладывают в блоки питания избыточную мощность по нескольким причинам:
- Обеспечение резервирования по схеме N+1 или 2N внутри самого шасси.
- Компенсация пиковых пусковых токов при включении оборудования (раскрутка шпинделей жестких дисков, стартовый разгон вентиляторов охлаждения).
- Работа в оптимальном диапазоне КПД (обычно загрузка БП составляет 40–60%).
Реальное потребление серверов в штатном режиме эксплуатации всегда на 30–40% ниже паспортных значений их БП. Если спроектировать систему электроснабжения по «паспортным» максимумам, инвестор переплатит за лишние мегаватты выделенной мощности, избыточные распределительные устройства (PDU) и утяжеленный шинопровод.
На практике для уточнения полезной мощности используют телеметрию серверов (IPMI, iDRAC, Redfish), замеры на уровне стойки через PDU и значения Typical/Max Power из datasheet производителя. Наиболее точный результат дает сочетание этих данных с учетом реального профиля нагрузки.
Коэффициент одновременности и коэффициент спроса
Для приведения теоретических мощностей к реальным показателям инженеры используют коэффициент спроса (Kспр) и коэффициент одновременности (Kодн).
- Коэффициент спроса учитывает, что сервер редко бывает загружен на 100% своих вычислительных возможностей. Для стандартных корпоративных ЦОД он принимается в диапазоне 0,65–0,8.
- Коэффициент одновременности отражает тот факт, что все серверы в автозале не могут одновременно выйти на пиковую загрузку. Для ЦОД общего назначения Kодн обычно устанавливается на уровне 0,9.
Расчетная мощность стойки=(∑Pном)×Kспр×Kодн
Вышеуказанные правила дают сбой, когда речь заходит о высокоплотных вычислениях. Современные ИИ-серверы на базе графических процессоров (GPU) имеют крайне неравномерный, «рваный» график потребления. В моменты обучения нейросетей их нагрузка мгновенно взлетает до физического максимума, а в периоды простоя падает практически до нуля. Для таких систем коэффициенты спроса принимаются равными 0,95–1,0, а система охлаждения МЦОД должна обладать мгновенной реакцией, что достигается интеграцией компрессоров с инверторным управлением.
Расчет тепловыделения: из кВт в BTU/h и обратно
Поскольку практически вся потребленная электроэнергия превращается в тепловую, тепловыделение стойки напрямую диктует нам выбор схемы кондиционирования. Для подбора холодильных машин необходимо оперировать точными физическими величинами.
В международной практике и спецификациях зарубежного оборудования часто используется британская тепловая единица в час – BTU/h (British Thermal Unit). Для перевода из метрической системы в американскую и обратно применяется базовое соотношение:
1 кВт≈3412 BTU/h
1 BTU/h≈0,293 Вт
Эти соотношения удобны, когда спецификация климатического оборудования или серверного состава дана в разных единицах измерения. Для проектирования МЦОД это особенно важно при сравнении паспортов зарубежных кондиционеров и отечественных расчетов в кВт.
Понятие «явного тепла» (Sensible Heat)
При подборе климатической техники для дата-центров критически важно разделять полную холодопроизводительность кондиционера на явное тепло и скрытое тепло (Latent Heat).
- Явное тепло – это тепловая энергия, которая приводит к непосредственному изменению температуры воздуха в помещении без изменения его влажности. Это как раз то тепло, которое генерируют процессоры, платы и блоки питания.
- Скрытое тепло расходуется на изменение агрегатного состояния фазы (конденсацию влаги, осушение воздуха).
В отличие от бытовых или офисных систем, которые тратят до 30–40% своей мощности на конденсацию влаги из воздуха, прецизионное охлаждение для ЦОД проектируется с коэффициентом явной холодопроизводительности (SHR – Sensible Heat Ratio), близким к 1,0 (обычно 0,95–0,98). Прецизионный кондиционер должен компенсировать именно сухое, явное тепло, не допуская переосушения воздуха, которое опасно возникновением статического электричества.
Для практической проверки достаточности охлаждения используют расчет по воздуху:
Q=1,2×L×ΔT
Где Q — тепловая мощность в кВт,
L — расход воздуха в м³/ч
Q = 1,2 × (L/3600) × ΔT = 0,000333 × L × ΔT кВт
ΔT — разность температур между входом и выходом из стойки.
Например, при тепловыделении 10 кВт и ΔT=10C𑇑 необходим расход воздуха около 3000 м³/ч (или если обеспечить такой поток через фальшпол невозможно, нужно переходить к внутрирядному или жидкостному охлаждению).
Плотность нагрузки: стандартные vs высоконагруженные стойки
Плотность мощности (Power Density) – ключевой параметр, определяющий внутреннюю топологию и компоновку модульного ЦОД. В зависимости от плотности выделяют три основные категории стоек:
| Тип оборудования | Типовая ИТ-нагрузка (кВт) | Рекомендуемая схема охлаждения | Требования к инфраструктуре |
| Низкая плотность | 1–3 | Общий объем зала | Без изоляции, стандартный шаг перфорации плит |
| Стандартная плотность | 4–7 | Зональное охлаждение | Фальшпол, разделение коридоров |
| Высокая плотность | 8–15 | Направленный обдув | Изоляция горячих/холодных коридоров |
| Сверхвысокая плотность (ИИ, GPU) | 20+ | Внутрирядные кондиционеры / Жидкостное охлаждение (Direct-to-Chip) | Закрытые шкафы, водяной контур, шинопровод высокой мощности |
Также систему можно эффективно охлаждать и внутрирядными кондиционерами, которые замыкают цикл воздуха внутри стойки. В этом случае нужно строить холодный и горячий коридоры, этого будет более чем для охлаждения 8-20 кВт.
При плотности нагрузки до 5–7 кВт на стойку со съемом тепла эффективно справляется классическая схема: подача охлажденного воздуха через фальшпол из общего зала с последующим забором горячего воздуха кондиционерами периметрального типа.
Однако при росте плотности свыше 15 кВт на стойку стандартного воздушного потока становится недостаточно из-за физических ограничений по скорости движения воздуха и допустимой разности температур на входе и выходе из сервера.
Ключевое ограничение здесь — не только холодопроизводительность, но и способность доставить охлажденный воздух непосредственно к серверам без утечек и смешивания потоков. Поэтому при переходе к высокоплотным стойкам архитектура охлаждения меняется от охлаждения помещения к охлаждению источника тепла.
В этих условиях необходима жесткая физическая изоляция горячих или холодных коридоров, а также перенос точек охлаждения непосредственно к источнику тепла — применение внутрирядных прецизионных кондиционеров (InRow).
Типовое тепловыделение серверного оборудования
Для предварительной оценки тепловой нагрузки при отсутствии точной спецификации от заказчика инженеры используют усредненные эксплуатационные данные по типам оборудования:
| Тип оборудования | Форм-фактор / Спецификация | Среднее тепловыделение (Вт) | Коэффициент явного тепла (SHR) |
| Универсальный сервер | 1U / 2 CPU, средняя загрузка | 350 – 500 | 0,98 |
| Blade-система | 10U шасси / 16 лезвий | 4000 – 7000 | 0,97 |
| Система хранения данных (СХД) | 4U / 24–60 HDD/SSD | 600 – 1200 | 0,98 |
| Магистральный коммутатор | 2U–4U / Высокая плотность портов | 400 – 800 | 0,99 |
| ИИ-сервер (GPU) | 4U–8U / 8x NVIDIA H100/B200 | 10200 – 14300 | 0,96 |
Приведенные значения являются ориентировочными и зависят от поколения процессоров, количества накопителей, конфигурации памяти и режима нагрузки. Для рабочего проекта МЦОД цифры обязательно уточняют по спецификациям конкретных моделей и замерам на уровне стойки.
Инженерия следов опыта: ошибки «переразмеренности»
В инженерной практике существует соблазн заложить в проект «двойной запас» — на случай расширения ИТ-инфраструктуры или аномальной жары. Специалисты ОЗЭУ предупреждают: искусственное завышение расчетной мощности (переразмеренность или oversizing) губительно для экономики и надежности ЦОД.
Последствия избыточного запаса:
- Риск обмерзания испарителей. Если прецизионный кондиционер рассчитан на 50 кВт явного тепла, а реальная стойка выделяет всего 15 кВт, компрессор климатической системы начинает работать в старт-стопном режиме с короткими циклами. Температура кипения хладагента падает ниже нуля, что приводит к обмерзанию теплообменника, снижению протока воздуха и, как следствие, к аварийной остановке всей системы охлаждения.
Это происходит из-за того, что тепловая нагрузка оказывается ниже расчетной точки испарителя, а компрессор начинает работать в коротких циклах. В результате система теряет стабильность и работает менее эффективно, чем при правильно подобранной мощности.
- Низкий КПД ИБП. Современные системы бесперебойного питания имеют максимальную энергоэффективность при загрузке 40–70%. Если ИБП нагружен всего на 10–15% от своего номинала (из-за неверно рассчитанной ИТ-нагрузки), его собственный КПД резко падает, преобразуя дорогую электроэнергию в потери и дополнительный нагрев самого помещения ИБП.
Именно поэтому при проектировании электроснабжения важно ориентироваться на рабочую зону максимального КПД ИБП, а не на его паспортный максимум. В большинстве проектов оптимальной считается загрузка примерно в диапазоне 40–70%.
Рекомендация инженеров: оптимальный технологический запас при проектировании систем холодоснабжения и гарантированного электропитания должен составлять 15–20% от реальной (не паспортной) ИТ-нагрузки. Этот объем покрывает возможные локальные перегрузки, но удерживает оборудование в зоне максимальной эффективности.
Влияние ИТ-нагрузки на выбор инфраструктуры МЦОД
Архитектура модульного дата-центра (МЦОД) напрямую зависит от планируемой структуры потребления. При проектировании инженеры ОЗЭУ связывают удельную мощность стоек с конструктивными особенностями самого модуля:
- Кабельные трассы и шинопроводы. При плотности свыше 10 кВт на стойку традиционные медные кабели становятся слишком толстыми и жесткими, они перекрывают воздушные потоки внутри шкафа. ОЗЭУ заменяет их на компактные модульные шинопроводы, монтируемые над стойками, что обеспечивает гибкость подключения и сохраняет аэродинамику зала.
При высокой плотности нагрузки также целесообразно использовать трехфазные PDU с балансировкой фаз. Это снижает токи в линиях, уменьшает потери в распределительной сети и упрощает масштабирование стойки без полной переделки электропитания.
- Габариты модулей. Высокоплотное оборудование требует глубоких шкафов (1100–1200 мм) для корректной организации кабельного хозяйства и размещения мощных PDU. Это автоматически увеличивает требования к ширине транспортного габарита самого блок-контейнера МЦОД, чтобы обеспечить нормативные проходы для обслуживания.
Заключение
Точный и сбалансированный расчет ИТ-нагрузки и тепловыделения — это единственный способ построить энергоэффективный дата-центр с низким показателем PUE. Попытки проектировать «на глаз» оборачиваются либо переплатой за неиспользуемые мощности, либо критическим перегревом серверов в периоды пиковых нагрузок.
Если вы планируете строительство или модернизацию собственной вычислительной площадки, доверьте проектирование инженерных систем МЦОД профессионалам. Загрузите наш инженерный калькулятор расчета тепловыделения или обратитесь к специалистам ОЗЭУ для проведения бесплатного технического аудита вашего технического задания.
