Задачи

Несмотря на активный рост рынка ЦОД, в премиум сегменте ощущался стойкий дефицит коммерческих площадей. Проанализировав ситуацию на рынке, ряд крупных инвесторов объединились и решили создать принципиально новый по своим технологиям, модели работы и качеству услуг Центр обработки, хранения данных и защиты информации мощностью 20МВт. В качестве площадки под ЦОД был выбран участок вблизи города Лыткарино Московской области.

Согласно техническому заданию, новый ЦОД должен отвечать всем современным требованиям отказоустойчивости (Tier III), быть энергоэффективным (с уровнем PUE не более 1,4), соответствовать высоким требованиям к надежности и отказоустойчивости, а также быть легко масштабируемым и иметь возможность поэтапного наращивания мощности оборудования.

Для реализации этой задачи в части систем охлаждения по итогам тендера была выбрана компания «АМДтехнологии». В ходе реализации проекта, которая продолжалась полтора года, в эксплуатацию была запущена первая очередь, установлено 9 чиллеров с турбо-компрессорами по 1,6 МВт каждый, 132 шкафных кондиционера, 18 драйкуллеров, 9 пластинчатых теплообменников гликоль/вода.

Решение

Выбор технологий и оборудования стал самой длительной и сложной стадией проекта. По каждому классу и типу оборудования специалистами компании «АМДтехнологии» было проведено целое исследование, где по всем ключевым параметрам сравнивались между собой технические решения различных производителей. «Финалистов» отсматривали «вживую» на заводах-производителях и площадках, где решения уже реализованы. Одним из основных условий к поставщикам оборудования было проведение тестовых испытаний на заводе, под нагрузкой, в соответствии с расчетными условиями эксплуатации, принятыми в проекте. Фактически, еще до отгрузки с завода заказчик получал подтверждение того, что все поставляемое оборудование соответствует требованиям проектной документации.

Так, например, выбор чиллеров для холодоцентра осуществлялся на основании анализа двух-трех моделей агрегатов от каждого из восьми производителей, которые были приглашены в конкурс. Впоследствии в проект вошли холодильные машины внутренней установки с компрессорами Turbocor, отличающиеся хорошими показателями потребления электроэнергии, а также возможностью работы с высокопотенциальным теплоносителем, в том числе при высокой температуре наружного воздуха. В результате удалось сэкономить 400 кВт потребляемой мощности только за счет тщательного отбора устройств.

На этапе проектирования была выбрана площадка, изначально обеспеченная мощным подводом электричества на 20МВт, которые планировалось полностью освоить. С такой мощностью на входе могли быть использованы самые интересные и смелые технологии. Поскольку выбор того или иного варианта определяет требования к строительной части зданий, использованию территории объекта и энергозатратам, на начальных этапах проектирования было важно оценить различные технологии, сформировать оптимальную концепцию построения комплексной взаимосвязанной инженерной инфраструктуры с учетом особенностей территории строительства и имеющихся в распоряжении внешних ресурсов. При этом важно было не переусложнить системы, сделать их надежными, минимизировать затраты на обслуживание и сервис.

Несмотря на то, что архитектурные решения и конструктив здания выполнялся другим подрядчиком, компания «АМДтехнологии» принимала самое активное участие в разработке строительной документации. Так были разработаны рекомендации как по планировочным решениям, так и по нагрузкам на фундаменты и несущим конструкциям, обеспечивающим размещение, надежную фиксацию и устойчивость холодильного оборудования, в том числе на крыше здания ЦОД.

Подъем оборудования на крышу – отдельная сложная операция. Для этого на стройплощадку пришлось вызвать 160-тонный подъёмный кран, с помощью которого в несколько заходов на свои проектные места были установлены все 18 сухих охладителей, которые используются для отвода избытков тепла. Установленные драйкуллеры работают в двух режимах, в холодный период года переходят в режим свободного охлаждения. Применение этой технологии позволяет существенно снижать операционные издержки – при температуре внешнего воздуха ниже +9° система холодоснабжения ЦОД переходит в режим 100% прямого охлаждения, в котором не используются компрессоры холодильных машин, а значит, снижается и электропотребление.

Всего в «Авантаже» разместилось 16 серверных залов, расположенных на 2 этажах, по 8 серверных залов – на каждом. Площадь каждого зала составила 396 кв. м, а высота 5 м. Вместимость каждого зала – 140 серверных шкафов размером 800х1200 мм. Чтобы обеспечить необходимый отвод избытка тепла и избежать перегрева оборудования, в каждом аппаратный зале предусмотрена автономная система кондиционирования холодопроизводительностью 740 кВт.

Поскольку ЦОД коммерческий и все машинные залы предполагается сдавать в аренду, помещение каждого зала должно было превратиться в отдельную гермозону с возможностью задавать собственный независимый микроклимат, в соответствии с требованиями арендатора. Наличие гермозон было обязательным условием проекта еще на самых ранних стадиях проработки концепции. Их поэтапный ввод позволяет начать оказывать услуги на базе дата-центра сразу же по мере ввода первых зон в эксплуатацию.

Таким образом, в проекте было реализовано 16 гермозон, где можно не только изменять температуру и влажность воздуха, но также размещать оборудование в нестандартных стоечных конструктивах с различными схемами подачи и выброса воздуха. Для определения количества зон были произведены сложные расчеты, показывающие их оптимальное количество для реализации клиентских инициатив.

В то же время прецизионные кондиционеры были вынесены за пределы гермозоны, поэтому их обслуживание не требует доступа к месту с установленным вычислительным оборудованием и исключает несанкционированный доступ обслуживающего персонала к серверному оборудованию.

Результат

По итогам проекта в ЦОДе «Авантаж» мощностью 20 МВт была реализована система холодоснабжения и вентиляции, отвечающая всем современным требованиям отказоустойчивости (Tier III) и энергоэффективности (с уровнем PUE не более 1,4). Проектная документация прошла сертификацию в Uptime Institute.

Благодаря уникальным конструктивным и техническим решениям, разработанным специально для этого проекта, сегодня ООО «Авантаж» предлагает высокий уровень надежности, сервиса, а также широкий выбор услуг: 16 серверных залов совокупной емкостью 2240 стоек позволяют предоставлять в аренду как стойко-места, так и целые залы.

Наличие современных гермозон, а также их оптимальное количество – по одной на каждый машинный зал – позволяет гибко формировать пакетные условия аренды.

«Для нас это важный проект. Мы реализовали переход в режим 100% свободного охлаждения при температуре наружного воздуха ниже +9°. Подобное решение увеличивает надежность работы ЦОД в «холодный» период года, – рассказал Виктор Гаврилов, технический директор компании «АМДтехнологии». – Такой подход не только повышает отказоустойчивость системы холодоснабжения при любых нештатных ситуациях, но также позволяет привлекать новых интересных арендаторов, которым важно, насколько надежный и в то же время «гибкий» ЦОД он выбрал».