CNews: Сегодня в строительстве ИТ-инфраструктуры прослеживаются две противоположные тенденции: консолидация ИТ-мощностей и их распределение. Какие перспективы у этих решений и к чему склоняется рынок?

Александр Переведенцев: Со временем любые старые технологии уходят, сменяясь новыми. Но бывает и так, как в случае с идеей распределения ИТ-мощностей – проводится репозиционирование старой технологии, чтобы сделать ее более привлекательной. Тем самым создается видимость нового решения, в данном случае это периферийные вычисления (Edge Computing).

Идеологи данного решения предполагают, что больше вычислительных ресурсов будет двигаться в направлении оконечных устройств – таких, как Интернет вещей, в частности беспилотных электромобилей, а также размещаться в удаленных филиалах компании, на производствах.

Если сказать проще, в настоящее время идет тенденция консолидации ИТ-мощностей в ЦОД, в то время как в прошлом они часто были децентрализованы или находились ближе к месту использования. Прогнозируется, что процесс обработки данных будет снова двигаться назад по направлению к распределенным сетям.

Распределенные, или периферийные вычисления видят, например, беспилотный автомобиль как мини-центр обработки данных, обеспечивающий полную отказоустойчивость, чтобы избежать аварий на дороге. Сама идея Edge Computing предполагает максимальную автономию и независимость, в первую очередь от сетей передачи данных, а именно: проблем пропускной способности, задержки. Ведь, по прогнозам, за ближайшие пять лет глобальный IP-трафик дата-центров увеличится втрое.

Но справедливости ради стоит отметить, что глобальные сети всегда будут фундаментом для любых вычислений. На сегодняшний день существуют десятки инструментов ускорения данных и нивелирования задержек, а бизнес-процессы бесперебойно работают, невзирая на расстояния ЦОД друг от друга.

Периферийные (распределенные) вычисления существуют и существовали ранее в той или иной форме. Например, на предприятиях с критичным, безостановочным циклом работы применяются системы управления в виде полностью автономных децентрализованных решений с возможностью синхронизации с параллельными производственными линиями или головным процессором. Еdge Computing – это не новое решение, а лишь один из способов организации ИТ-инфраструктуры.

Подход к реализации ИТ-инфраструктуры рассматривать изолированно неправильно, он зависит от множества факторов, которые диктует тот или иной бизнес, структуры компании, целей и задач бизнес-приложений или устройств. Например, в корпоративном секторе, чтобы принять ту или иную стратегию развития, необходимо проанализировать целый пласт параметров: количество филиалов компании и их распределение по регионам, соотношение сотрудников главного офиса и филиалов, статистика запросов и операций внутри филиала и вне его. Ну и безусловно, все это с учетом бизнес-задач компании.

Александр Переведенцев: Еdge Computing — это не новое решение, а лишь один из способов организации ИТ-инфраструктуры.

Принятие решения о консолидации ИТ-ресурсов имеет существенные аргументы, прежде всего это оптимизация начальных инвестиций в ИТ-инфраструктуру и оптимизация инвестиций на ее эксплуатацию. Аргументы в пользу консолидации связаны с лучшей управляемостью. И конечно, такой достаточно традиционный аргумент в пользу консолидации – повышение внутренней эффективности, возможность оптимального использования ИТ-ресурсов. А из практики хочу сказать, что у консолидированной инфраструктуры обычно есть один четкий путь развития, а не несколько независимо направленных, мало согласующихся между собой.

CNews: Какие экономические факторы учитываются при организации инженерной инфраструктуры ЦОД и как соотносятся при этом капитальные и операционные затраты?

Александр Переведенцев: Давайте рассмотрим ситуацию за предыдущие 5–6 лет. В 2014 году из-за падения курса рубля стоимость строительства дата-центров выросла в 2 раза. Причина понятна: 90 % используемого в них оборудования – импортное. При этом затраты на обслуживание, включая стоимость электроэнергии, стоимость человеко-часа и прочее, остались на уровне 2013 года. Соответственно, стало нерентабельно использовать энергоэффективные технологии, поскольку реализация энергоэффективного ЦОД, как правило, увеличивает капитальные затраты приблизительно в 1,5 раза. При таких условиях окупить затраты в пределах срока эксплуатации ЦОД было практически невозможно.

К 2017–2018 годам соотношение CAPEX и OPEX начало выравниваться. Так, стоимость электроэнергии увеличилась за четыре года почти в 2 раза. Поэтому сейчас снова повышается спрос на энергоэффективные технологии, особенно при развертывании крупных центров обработки данных.

Да, стоимость энергоэффективного ЦОД выше стоимости обычного ЦОД. Но надо понимать, что через определенное время эксплуатации достигается экономическая эффективность владения этим ЦОД и его окупаемость.

Сейчас мы, участники рынка и заказчики, уже пришли к тому, что центр обработки данных с показателем энергоэффективности (PUE) 1,3–1,4 – достаточно традиционное решение. И его окупаемость по сравнению с ЦОД, имеющим PUE 1,8, составляет не более двух лет, т. е. за 2 года за счет использования энергоэффективных технологий окупятся увеличенные капитальные затраты.

Без сомнения, к применению более энергоэффективных решений надо подходить прагматично, просчитав, насколько то или иное решение повысит стоимость реализации ЦОД и через какое время оправдаются вложенные средства.

Еще раз подчеркну, основное здесь – стоимость энергетических ресурсов, которая, как мы знаем, в России достаточно низкая.

Сегодня многие крупные игроки на рынке центров обработки данных – а это в первую очередь тройка операторов сотовой связи или такие компании, как Ростелеком, Роснефть, Росэнергоатом, Яндекс, – при выборе площадок для строительства новых ЦОД прежде всего руководствуются стоимостью электроэнергии, наличием узлов связи и стараются не привязываться к конкретному городу или области.

А если оглянуться на лет пять назад, то мы увидим кардинально другой подход – если основной офис компании находился в Москве, значит, здесь подбирали площадку. Тенденция изменилась, и пришло осознание того, что расположение центра обработки данных не имеет значения. Единственным фактором, который может повлиять на решение о строительстве, – это нехватка специалистов для обслуживания будущего ЦОД.

Хочу обратить внимание, что за последние годы к строительству ЦОД уже не подходят как к строительству какого-то уникального объекта. Крупные и даже средние компании воспринимают это довольно утилитарно: достаточно быстро нужно организовать центр обработки данных и достаточно быстро начать его эксплуатировать. Все понимают, что при стремительном развитии технологий решения, реализованные сегодня, станут неактуальными уже через 15–20 лет.

Лет 5–8 назад к организации ЦОД подходили более скрупулезно, строили более 2 лет и относились как к своего рода спецпроекту. А сейчас уже перестали быть экзотикой проекты по созданию модульных центров обработки данных и легковозводимых ЦОД, сроки строительства которых составляют от 6 месяцев до 1 года.

Отдельно хочу заметить, что большим подспорьем при создании ЦОД являются качественно новые программные методы проектирования объектов, такие как информационное моделирование зданий (Building Information Modeling, BIM), математическое моделирование потоков (Computing Fluid Dynamics, CFD) и другие. По нашему опыту, их использование во многом облегчает разработку технических решений и обеспечивает полноценное моделирование различных процессов и ситуаций, которые могут иметь место при строительстве и дальнейшей эксплуатации.

CNews: Тема трехмерного моделирования сегодня становится все более и более актуальной. Совсем недавно Минстрой объявил о намерении создать BIM-центры в каждом регионе страны. А как конкретно технологии BIM применяются и могут применяться при создании дата-центров?

Александр Переведенцев: С помощью BIM можно не просто разработать трехмерную цифровую копию проектируемого объекта, но и, что очень важно, эффективно осуществлять его обслуживание. С помощью этой технологии мы можем проанализировать, например, как работает инженерная инфраструктура. Модель интегрируется с системой управления инженерными системами объекта и в реальном времени позволяет отслеживать и контролировать все события инженерной инфраструктуры и при необходимости проводить удаленное управление. Система позволяет оценить реальный уровень использования электроэнергии, воды и других ресурсов в целом на объект или для конкретных потребителей, вести статистику и делать выводы, помогая рекомендациями обслуживающей компании рационально использовать тот или иной ресурс.

При создании центров обработки данных на трехмерной BIM-модели можно последовательно отследить изменения, которые происходят на тех или иных этапах строительства. По сути, она является моделью всего процесса возведения объекта, поскольку позволяет поэтапно и с заданной детализацией виртуально наблюдать все процессы, идущие при реальной постройке, и при необходимости на любом этапе внести необходимые изменения в проект. При этом все изменения автоматически применяются к самой модели и соответствующим параметрам жизненного цикла объекта.

В принципе можно сказать, что методы динамического трехмерного моделирования сегодня стараются осваивать многие застройщики и проектировщики. Но как правило, в полном объеме BIM пока применяется лишь при создании высокотехнологичных зданий и сооружений.

В большинстве случаев этот метод используется только для создания 3D-модели объекта на этапе проектирования. Впрочем, и в таком варианте это позволяет оптимальным образом развести внутренние сети, определить необходимые параметры оборудования для каждого помещения, а также существенно облегчить монтаж и дальнейшую пусконаладку инженерных систем при строительстве.

CNews: Какие способы обеспечить энергоэффективность ЦОД сегодня наиболее применимы и какие из них наиболее перспективны?

Александр Переведенцев: Сократить энергопотребление, которое является основной статьей в расходах на эксплуатацию ЦОД, можно за счет системы холодоснабжения, поскольку в пике она потребляет более трети от общей ИТ-мощности центра обработки данных.

В настоящее время все большее распространение получает фрикулинг – технология свободного охлаждения. Решения на основе свободного охлаждения чаще стали применяться как за рубежом, так и у нас благодаря использованию активного оборудования нового поколения: серверы, сетевое оборудование, СХД, – которое может работать при температуре до и выше 27 градусов.

За счет отсутствия энергоемких элементов такие системы обладают примерно в 1,5 раза большей энергоэффективностью по сравнению с традиционными компрессорными установками «чиллер-фанкойл». А использование в них дополнительного адиабатического контура позволяет снимать еще 2–3 градуса при пиковых нагрузках, что в итоге обеспечивает для ЦОД PUE на уровне около 1,1. INLINE Technologies одной из первых разработала такое решение и применяет его при создании модульных дата-центров.

Системы свободного охлаждения пока в основном находят применение в крупных центрах обработки данных, обеспечивая существенную экономию эксплуатационных затрат. Считаю, что наибольший интерес к данному решению будут проявлять коммерческие ЦОД, рассчитанные на предоставление высокомаржинальных облачных услуг, таких как сдача в аренду ИТ-инфраструктуры (IaaS) или отдельных ИТ-сервисов (SaaS).

Еще одним перспективным направлением является технология однофазного и двухфазного иммерсионного охлаждения, когда ИТ-оборудование функционирует, будучи полностью погруженным в емкости с диэлектрическим хладагентом. В России такие решения пока еще являются экзотикой по причине своей дороговизны. Однако, думаю, на фоне устойчивой тенденции к увеличению плотности ИТ-оборудования применение иммерсионных систем будет набирать популярность, поскольку для охлаждения высокоплотных конфигураций реальной альтернативы им не существует.

Хорошие перспективы есть и у метода динамической балансировки ИТ-нагрузки, позволяющего повысить энергоэффективность ЦОД без использования дорогостоящего оборудования. Суть его в следующем: если центр обработки данных состоит из двух серверных и в обеих ИТ-оборудование загружено, условно, на 40 % от максимума, то тогда одну серверную можно отключить и передать всю нагрузку в другую. Соответственно, работающая серверная становится загруженной примерно на 80–90 %, и с точки зрения энергопотребления мы получаем более экономичный режим, чем при работе недозагруженных мощностей в двух помещениях. Ведь чем ближе загрузка ИТ-оборудования к 100 %, тем выше рентабельность использования связанных с ним инженерных систем. А значит, повышается и общая энергоэффективность дата-центра.

Подобная динамическая балансировка обычно осуществляется программными средствами, и ее практикуют многие собственники крупных коммерческих ЦОД, например тот же Яндекс.

CNews: Насколько справедливы, по-вашему, утверждения о том, что энергоэффективность ЦОД можно также повысить с помощью дизель-динамических источников бесперебойного питания (ДД ИБП)?

Александр Переведенцев: Действительно, в течение последних 5–6 лет многие крупные компании в своих дата-центрах начали использовать системы бесперебойного питания на ДД ИБП, в том числе потому, что они позиционируются как энергоэффективные устройства. Однако на практике оказалось, что реализовать энергоэффективные решения на их основе очень трудно, а в некоторых случаях невозможно. Да и по параметрам энергоэффективности они уступают традиционным системам бесперебойного питания, в частности ИБП, работающим в паре с дизель-генераторной установкой (ДГУ).

Более того, за последние 2–3 года непосредственно с ДД ИБП был связан ряд аварий в крупных ЦОД в разных отраслях экономики. На мой взгляд, в целом тема дизель-динамических ИБП скорее относится к сфере маркетинга, чем к решению задач реальной эффективности, экономии и безопасности дата-центров. Я не вижу каких-либо серьезных перспектив развития для этого направления в рамках применения в ЦОД.

По-моему, в области бесперебойного электроснабжения ничего не придумано лучше, чем классический вариант на основе ИБП с аккумуляторными батареями и ДГУ. Это максимально эффективное и понятное решение. Если регулярно проводить техническое обслуживание данной системы, она будет работать экономично, долго и безотказно. А если она организована по требованиям Tier III, т. е. с использованием двух ДГУ, то срок ее службы будет едва ли не больше, чем у самого ЦОД. В настоящее время мы проектируем объект с применением литий-ионных аккумуляторных батарей. Технико-экономическое обоснование, подготовленное нашими специалистами, показало, что применение литий-ионных батарей – наиболее эффективное и экономически целесообразное решение.

CNews: Несколько лет назад локомотивом автоматизации являлись коммерческие компании, в первую очередь банки. Кто сегодня дает толчок ускорению и совершенствованию информационных технологий?

Александр Переведенцев: Ситуацию в российском бизнесе сегодня нельзя назвать идеальной. Рост коммерческих компаний и, соответственно, развитие их ИТ-инфраструктуры замедлились. Но с другой стороны, есть высокий спрос на внедрение ИТ-решений у государственных компаний и крупных промышленных предприятий. Так, например, в рамках программы «Цифровая экономика» министерства объединяют свои ресурсы в единый ЦОД, создавая общее информационное пространство, активно занимаются автоматизацией своей деятельности предприятия оборонно-промышленного комплекса. Дала толчок развитию ИТ и реализация таких программ, как «Информационный город» в Москве, других региональных программ цифровизации. Стоит отметить концепцию «Умный город» и программу «Безопасный город», здесь я имею в виду организацию видеофиксации и видеонаблюдения. Для всего этого нужны серьезные ИТ-ресурсы, в том числе системы хранения данных и ЦОД.

А такие законодательные новшества, как принятый «пакет Яровой», стимулируют операторов связи развивать центры обработки данных. Это действительно очень большие объемы. Так, по прогнозам, трафик мобильного интернета в России к концу 2024 года вырастет почти в 7 раз, а совокупный трафик фиксированных операторов связи к тому же сроку – более чем в 2 раза.

CNews: Какими критериями стоит руководствоваться заказчикам, выбирая между строительством и арендой ЦОД, если мы не касаемся госсектора, у которого тренд идет на централизацию?

Александр Переведенцев: Таких критериев много: это и критичность информационных систем, и общий уровень автоматизации процессов деятельности организации, и наличие или отсутствие штата специалистов для обслуживания ЦОД, и наличие собственной территории.

В любом случае компания, которая стоит перед выбором, возводить собственный ЦОД или взять его на аутсорсинг, строит экономическую модель. Она позволяет увидеть, через какое время окупится собственный центр обработки данных и ЦОД, взятый в аренду; сможет ли арендодатель выплатить компенсацию за потерю какой-то информации или сбой каких-то систем, или потерю бизнеса. Другими словами, сможет ли он компенсировать отключение сервисов компании – частично или полностью. Все это необходимо рассчитать и проанализировать.

Александр Переведенцев: Если компании нужен резервный ЦОД, имеет смысл рассмотреть вариант аутсорсинга. Если же речь идет об основном ЦОД, нужно основательно думать.

Если компании нужен резервный ЦОД, имеет смысл рассмотреть вариант аутсорсинга. Если же речь идет об основном ЦОД, нужно основательно думать. Ведь в ситуации, когда практически весь бизнес находится в электронном виде, надо четко оценивать риски, например сколько будет стоить час простоя ИТ-инфраструктуры банка или биллинговой системы у оператора связи. А если это технические сервисы, остановка которых может привести к вреду здоровью человека?

При определении того, строить или арендовать, также нужно помнить, что любое строительство – это время, а соответственно, необходимо учитывать стоимость денег. Другими словами, сокращение сроков влияет на уменьшение затрат, т. е. чем быстрее построится тот или иной объект, тем быстрее он начнет приносить финансовую отдачу.

Целесообразно, особенно в среднем бизнесе, рассмотреть и такой критерий, как масштабируемость. Она играет большую роль, ведь сделать уверенный прогноз более чем на 2–3 года для многих достаточно сложно. А если решение имеет возможность постепенного развития, это является, безусловно, плюсом.

CNews: Какие еще сегменты, помимо ЦОД, в обозримой перспективе могут стать драйверами роста на рынке инфраструктурных решений?

Александр Переведенцев: Думаю, в ближайшее время активно будет развиваться автоматизация в сфере городского хозяйства. За последние годы и в мегаполисах, и в малых городах России изменился подход к инженерной инфраструктуре при строительстве зданий, офисных и жилых помещений.

Все более активно в городских хозяйствах внедряется специализированная инфраструктура, которая позволяет оптимизировать режимы использования энергоресурсов и, соответственно, обеспечивает экономию собственникам и арендаторам помещений. Например, INLINE Technologies недавно реализовала один из таких проектов, создав в подмосковном Чехове интеллектуальную систему коммерческого учета в городском комплексе ЖКХ. И теперь с ее помощью жильцы многоквартирных домов, а также ресурсоснабжающая организация (РСО) и органы исполнительной власти Чеховского района могут в автоматическом режиме контролировать не только количество, но и качество поставляемых ресурсов. Кроме того, у местной администрации появилась возможность юридически корректно оценивать качество работы РСО и эффективность энергосберегающих мероприятий, проводимых городом.

Кроме того, в городских зданиях все чаще стараются применять энергоэффективные решения, например устанавливают холодильные машины с функциями фрикулинга, аналогичные тем, что применяются в ЦОД. Увеличивается и число объектов в сфере жилищно-коммунального и городского хозяйства с «умной» инженерной инфраструктурой, где реализовано полноценное внедрение автоматизированных систем диспетчеризации и управления инженерными системами с возможностью дистанционного управления и мониторинга. Так что этот рынок является весьма перспективным.