CNews: События 2020 года серьезным образом повлияли на скорость цифровизации по всему миру. Какое влияние эти события оказали именно на рынок дата-центров?

Максим Михайличенко: Стремительный рост онлайн-сервисов, который спровоцировала пандемия, произошел во многих отраслях, что привело к соответствующему росту спроса как на услуги коммерческих дата-центров, так и на создание корпоративных дата-центров крупными компаниями.

Мы не располагаем конкретными цифрами с точки зрения изменения спроса на уровне российского рынка в целом. Но, являясь интегратором инженерной инфраструктуры ЦОД, можем косвенно судить о росте рынка на основании роста спроса на услуги по консалтингу, проектированию и строительству ЦОД.

2020 год стал для нас рекордным по многим параметрам: количеству реализованных проектов, запуску новых проектов, масштабам проектов, применению новых технологий. Те проекты, реализация которых планировалась заказчиками на 2021-й и 2022 годы, стартовали досрочно в 2020-м.

Насколько нам известно, стойко-места в ряде коммерческих ЦОД распродаются уже на стадии строительства. Это приводит к новым требованиям заказчиков по сокращению сроков строительства. Также в условиях режима вынужденной дистанционной работы значительно возросла важность функционала систем удаленного мониторинга инфраструктуры ЦОД. Объекты, оснащенные развитыми системами мониторинга и удаленного управления, оказались лучше приспособлены к эксплуатации в условиях пандемии. Большое внимание уделяется этим системам в новых проектах.

Значительному влиянию подвергся рынок сервиса ЦОД. Сервисным компаниям пришлось перестраивать свои процедуры для обеспечения выполнения контрактов с требуемым уровнем SLA в новых условиях, когда необходимо соответствовать меняющимся требованиям властей в различных регионах, требованиям заказчиков по обеспечению безопасной работы на объектах и вводить собственные системы ограничений для сохранения здоровья сотрудников.

CNews: Говоря об инженерной инфраструктуре ЦОД, важно отметить, что одним из первоочередных вопросов стало обеспечение бесперебойного электроснабжения. Какие задачи в связи с этим встали перед вендорами оборудования и самими эксплуатирующими компаниями?

Максим Михайличенко: Бесперебойность электроснабжения ЦОД была всегда важна. Более того, вопрос качественного электроснабжения ответственных объектов стоял задолго до появления термина «ЦОД». В настоящее время методы обеспечения надежного бесперебойного электроснабжения в значительной степени стандартизированы. Топология, обеспечивающая требуемый уровень надежности, определяется проектным решением. Правильно спроектированная система позволяет обеспечить бесперебойное электроснабжение даже в ситуации, когда происходит авария с отдельными единицами оборудования.

Даже локальная авария — это стрессовая ситуация для оператора ЦОД и провайдера сервиса. В этом контексте хотелось подчеркнуть такую банальную вещь, как контроль качества на уровне вендора. В современном мире каждое сложное высокотехнологичное изделие состоит из множества компонентов, поставляемых со всего мира. Сочетание высокой ценовой конкуренции со сжатыми сроками производства (а многие заказчики хотят получить оборудование «вчера») зачастую приводит к снижению качества некоторых компонентов, что в отсутствие должного контроля может привести к фатальным последствиям, когда ЦОД уже введен в эксплуатацию. Брак в отдельно взятой микросхеме, незаметном подшипнике, низкое качество литья металла могут привести к аварии с многомиллионными прямыми и косвенными убытками, и такие примеры известны.

В связи с этим мы всегда рекомендуем заказчикам при выборе вендора обращать внимание на то, как организован контроль качества на заводе, как устроена процедура заводских испытаний. До пандемии рекомендовали включать в заказ услугу проведения испытаний в присутствии заказчика. В новых реалиях практикуем видеофиксацию заводских испытаний или участие представителя заказчика в режиме онлайн.

Если говорить о трендах в области оборудования СБЭ, то я бы выделил рост единичной мощности (до 1200 кВА — в моноблочных ИБП, до 3400 кВА — в модульных ИБП, до 4000 кВА — ДГУ), уменьшение габаритов и веса, рост КПД. В связи с тем, что потребляемая мощность ЦОД постоянно растет, КПД системы СБЭ является важным фактором, влияющим на TCO. Сейчас стандартом стали ИБП, имеющие КПД более 96% во всем диапазоне нагрузок. Применение новейших технологий, таких как Dynamic Online mode, позволяет сохранить высочайшее качество электроэнергии при повышении общего КПД системы вплоть до 99%.

Если говорить в целом, то характеристики и принципы эффективного построения самих ИБП на данном этапе развития электротехники практически достигли своего предела в ожидании нового прорыва. Им может стать, например, развитие и удешевление технологий сверхпроводимости.

Кардинальные изменения коснулись также систем накопления энергии. Расширяется практика применения Li-ion батарей в качестве аккумуляторов энергии для ИБП. При меньших габаритах и массе эти аккумуляторы имеют в 4-5 раз большую плотность накапливаемой энергии, чем у классических свинцово-кислотных батарей. При этом срок службы данных батарей составляет порядка 15 лет при эксплуатации при температуре до +30°С.

CNews: Каким образом изменились подходы к внутренних системам постоянного электроснабжения? Какие компоненты этих систем требуют особенно пристального внимания?

Максим Михайличенко: Система электроснабжения — довольно консервативный компонент в составе промышленного объекта. Тем не менее, применительно к ЦОД можно отметить некоторые тенденции.

В первую очередь, это использование умных компонентов в системах распределения электроэнергии, позволяющих интегрировать распредустройства в систему диспетчеризации и управления ЦОД. Помимо удобства в эксплуатации, такая система вооружает оператора ЦОД уникальными инструментами планирования и перераспределения нагрузки, предотвращения аварий, сокращения времени на восстановление.

Также можно отметить более широкое применение шинопроводов для организации каналов распределения электроэнергии. Очевидные преимущества для эксплуатации ЦОД — компактность и ремонтопригодность. В то же время, требуется очень высокая квалификация инженеров-проектировщиков на стадии разработки рабочей документации. Незначительные ошибки в проектировании могут привести к существенным потерям времени на стадии строительства.

CNews: Расскажите о трендах сегмента систем промышленного кондиционирования и вентиляции. Какие требования к ним предъявляются в связи с возросшей нагрузкой на дата-центры?

Максим Михайличенко: В современных системах кондиционирования основной упор делается на повышение холодопроизводительности при сохранении или снижении потребления энергии. Для этого активно применяются прямой и косвенный фрикулинг. Для прямого фрикулинга используют модифицированные кондиционеры с возможностью подачи в помещение фильтрованного воздуха непосредственно с улицы. При этом эффективность такого охлаждения растет с повышением разности температур на улице и в помещении. Косвенный фрикулинг реализуется различными способами в зависимости от примененных кондиционеров. Например, для кондиционеров на охлажденной воде применяются чиллеры с функцией фрикулинга и адиабатического охлаждения; DX -кондиционеры оснащаются фреоновыми насосами EconoPhase. Для режимов частичной нагрузки применяются компрессоры с частотной регулировкой производительности.

Наиболее радикальной системой свободного охлаждения является установка EFC, совмещающая в себе преимущества системы прямого и косвенного фрикулинга с адиабатической системой охлаждения. Воздух из помещения не смешивается с окружающим, а проходит через пластинчатый теплообменник, охлаждаемый уличным воздухом. При необходимости включается адиабатическая система охлаждения.

CNews: Какие этапы обустройства дата-центра инженерными системами нужно обязательно выполнить при его запуске? Какие ошибки на этом пути допускают компании и как их избежать? Можете ли вы привести пример идеального кейса из практики вашей компании?

Максим Михайличенко: Этапы обустройства любого объекта, не только дата-центра, достаточно традиционны, здесь трудно открыть что-то новое. Это создание концепции, проектирование, производство заказного оборудования/строительство, наладка и комплексные испытания. Несмотря на то, что выглядит это довольно просто и всем известно, ошибки допускаются практически в каждом проекте.

Главной ошибкой является недостаточное внимание к первым этапам — разработке концепции и проектированию. Как правило, проблемы при реализации проекта ЦОД являются следствием ошибок при проектировании. Естественное желание инвестора сэкономить деньги и время на проектировании и как можно скорее начать строить в некоторых случаях приводят к обратному эффекту и потере значительно больших финансовых и временных ресурсов при строительстве и вводе в эксплуатацию.

Избежать ошибок полностью практически невозможно, т.к. времени, которое требуется на разработку идеального проекта, в реальной жизни всегда недостаточно. Минимизировать количество и драматичность ошибок можно, привлекая для проектирования организацию с существенным опытом. Наличие опыта не только проектирования, но и успешной реализации проектов инженерной инфраструктуры ЦОД, имеет большое значение, т.к. зачастую проблемы возникают из-за оторванности проектировщиков-теоретиков от практики реального строительства и эксплуатации ЦОД. Активное участие специалистов по строительству и эксплуатации в первых этапах создания ЦОД имеет огромное значение.

Отсутствие такого взаимодействия иногда приводит к решениям, когда, например, для обслуживания одного элемента системы электроснабжения требуется обесточить половину ЦОДа или для замены вышедшего из строя оборудования необходимо остановить и демонтировать другие элементы критической инфраструктуры.

Другая распространенная ошибка — это недооценка важности каждого, даже небольшого элемента инженерной системы. Много внимания уделяют выбору основных компонентов — ИБП, ДГУ, СК. При этом зачастую причиной серьезной аварии может стать небрежно подобранный второстепенный компонент (насос, вентилятор, наконечник кабеля, кабельный проход и т.д.). Здесь очень важен опыт и добросовестность интегратора, успех проекта во многом строится «на крови» от ранее допущенных ошибок.

Если говорить о нашем опыте, то мы реализовали более двух десятков проектов дата-центров различной сложности. Каждый следующий проект и идеальнее предыдущего, и одновременно меняет наши представления об идеальном, поднимает планку.

CNews: Как не потеряться на широком рынке оборудования для центров обработки данных? Какие решения сейчас находятся в тренде, а какие — незаслуженно (или заслуженно) уходят в прошлое?

Максим Михайличенко: Правильный подбор оборудования — это работа консультантов и интеграторов, которые идут на переднем фронте, пропуская все изменения и тренды рынка через себя. Каждый проект по-своему уникален, при выборе оборудования учитывается множество факторов, включая географическое положение, техусловия по присоединению внешних сетей, необходимый заказчику баланс надежности и стоимости решения, совокупная стоимость владения, архитектурные особенности существующих строений и многое другое.

Зачастую трендовые решения, такие как фрикулинг или модульные ИБП, могут оказаться неприменимы на объектах определенной специфики. Применение модного решения, невзирая на конкретные обстоятельства, почти всегда приводит к негативным последствиям при эксплуатации.

Например, у нас в реализации есть проект, в котором обоснованно используются трансформаторные ИБП, которые уже давно не в тренде, но для конкретного проекта функционал полноценной гальванической развязки и более надежного тиристорного выпрямителя перевешивают другие характеристики, вроде относительно низкого КПД и габаритов.

В целом можно отметить некоторое охлаждение к идее повсеместного применения ДДИБП. Сейчас применяется более взвешенный подход к выбору технологии, мы в своих проектах применяем как динамические, так и статические ИБП в зависимости от характеристик проекта.

CNews: Зачем обязательно нужно выполнять пуско-наладку и испытания систем под нагрузкой? Чем грозит игнорирование этого правила?

Максим Михайличенко: Правила технической эксплуатации электроустановок потребителей предусматривают проведение комплексного опробования оборудования, которое считается проведенным при условии нормальной и непрерывной работы основного и вспомогательного оборудования в течение 72 часов.

Пренебрежение данными нормами влечет за собой невыявление возможных дефектов инженерных систем и ошибок, допущенных при проектировании и монтаже оборудования.

Формальное отношение к этапам ПНР и испытаний, недостаточно тщательно составленная программа испытаний приводят к очевидным негативным последствиям. Не выявленные своевременно дефекты — это мина, которая обязательно взорвется, причем, в соответствии с законами Паркинсона, в момент, когда ущерб будет максимальным.

CNews: На рынке растет популярность ЦОД малой мощности. Почему они стали так востребованы? Какая у них специфика с точки зрения оснащения инженерными и инфраструктурными системами? Есть ли у вас кейсы, связанные с ними?

Максим Михайличенко: Не все компании имеют возможность консолидировать инфраструктуру разрозненных подразделений в едином большом ЦОД. Но при этом они могут обладать ресурсами для постройки ИТ-инфраструктуры, например, в рамках офисного здания в городе. Становятся все более востребованы периферийные вычисления, когда все цифровые операции максимально приближаются к рабочим местам, что также влияет на рост числа малых ЦОД.

Мы занимаемся проектами малых ЦОД достаточно давно, с тех времен, когда их называли серверными. В современных проектах мы предлагаем готовые решения, позволяющие быстро инсталлировать стойки с интегрированными системами бесперебойного электропитания и кондиционирования. Также мы располагаем собственным производством контейнерных решений для объектов быстрого развертывания в условиях, не позволяющих установку оборудования в помещении.

CNews: Какое будущее ждет контейнерные дизельные электростанции в контексте их использования в дата-центрах малой мощности?

Максим Михайличенко: Контейнерные дизельные электростанции (КДЭС) пользуются стабильным спросом не только в ЦОД малой мощности, но и в ЦОД большой мощности (мы предлагаем решения до 2500 кВА единичной мощности КДЭС), на объектах связи, в составе мобильных инженерных комплексов, на удаленных объектах.

В ЦОД малой мощности, в целях экономии достаточно часто применяются КДЭС без резервирования, поэтому актуальным становится вопрос качества примененных в КДЭС дизель-генераторных установок (ДГУ). Для пользователя важным параметром является стоимость владения, которая складывается из стоимости технического обслуживания (ТО) ДГУ, периодичности ТО, расхода топлива.

Новые ДГУ ведущих производителей позволяют увеличить межсервисный интервал до 1000 часов, против стандартных 250 часов у большинства ДГУ. Применение системы впрыска топлива Common Rail с электронной системой управления двигателя позволяет снизить расход топлива и сделать работу ДГУ более стабильной в режиме частичной загрузки.

CNews: Каким должен быть мониторинг инженерного оборудования? Что эффективнее — проводить его своими силами или отдать на аутсорс?

Максим Михайличенко: Наибольшую популярность на объектах ЦОД получили системы мониторинга инженерного оборудования, построенные на основе SCADA-систем. В качестве примера можно привести программно-аппаратный комплекс SimplaScope, который выгодно отличает высокий уровень кастомизации и простота интеграции нового оборудования, которое требуется включить в систему мониторинга.

Как и в любом сервисе, эффективность выполнения своими силами зависит от масштаба инфраструктуры. Крупные операторы ЦОД весьма эффективно осуществляют эксплуатацию с применением систем мониторинга. Для небольших объектов в теории эффективнее модель аутсорсинга, но в реальности немногие владельцы ЦОД готовы отдавать эту функцию внешней сервисной компании из соображений безопасности.

Правильным является гибридная модель, когда сервисной компании предоставляется ограниченный доступ к системе мониторинга, одновременно приемлемый для политики безопасности владельца ЦОД, и достаточный для обеспечения быстрого реагирования сервисного партнера на критические аварии.

CNews: Аналогичный вопрос — о сервисе. Как выбрать надежную поддержку?

Максим Михайличенко: В последнее время стала распространенной практика передачи обслуживания сложного инженерного оборудования, в т.ч. ЦОД, сервисным организациям широкого профиля, не имеющим узкой специализации. Данные организации предоставляют полный спектр услуг: от чистки ковров и ремонта канализации до сервиса сложных инженерных систем. Заказчиков подкупают экономичность и условная ответственность за здание целиком от одного сервисного подрядчика.

Результаты подобной оптимизации не заставили себя ждать — случаи сбоев и выхода из строя инженерных систем на таких объектах, вплоть до полной остановки ЦОД, стали происходить регулярно. В таких случаях в специализированные сервисные компании обращаются уже за «реанимационными» операциями.

При выборе сервисного подрядчика мы рекомендуем в первую очередь обращаться к вендорам, оборудование которых установлено в ЦОД. Все крупные вендоры имеют жесткую систему авторизации сервисных партнеров, ежегодно проверяют квалификацию и достаточность инженеров, проводят регулярное обучение и обновление сервисного ПО и инструментов.

Кроме того, в зависимости от требований заказчика к SLA, имеет значение мощность сервисного партнера, которая выражается в количестве сертифицированных инженеров, наличии склада ЗИП, круглосуточной диспетчерской службе, наличии мобильных аварийных бригад, оснащенности специальным инструментом.

В «ИНГРОСС Лтд» мы с момента создания компании развиваем сервисную службу как приоритетное направление нашей деятельности, постоянно повышаем уровень экспертизы инженеров и удобство сервиса для клиентов. Ограничения, которые принес 2020 год, стали импульсом для реорганизации сервисной службы, ускоренного внедрения средств удаленного взаимодействия и контроля, новых инструментов для наших клиентов.