Счастливого нового ЦОДа! Как без проблем запустить дата-центр

CNews: С чего следует начинать подготовку к «заселению» в новый ЦОД?

Олег Сорокин: Все довольно просто, если начать подготовку заранее. Перед «новосельем» надо провести комплексные испытания ЦОДа, успешно пройти этап опытной эксплуатации, получить эксплуатационную документацию, оформить необходимые документы в контролирующих и разрешительных органах, оформить внутренние распорядительные документы, проработать вопрос с гарантией и с технической поддержкой. После этого можно спокойно приступать к промышленной эксплуатации ЦОДа.

CNews: Давайте остановимся на каждом пункте немного подробнее, чтобы читатели могли понять, что стоит за каждым из них.

Олег Сорокин: Хорошо, только нужно иметь в виду, что, если углубляться в детали, каждому шагу можно посвятить отдельное интервью, а то и два. Начнем с проведения комплексных испытаний. Они позволяют владельцу ЦОДа оценить, насколько возводимый объект отвечает требованиям технического задания, чтобы получить именно тот результат, который будет полностью соответствовать его ожиданиям и потребностям.

Комплексные испытания желательно проводить под полной нагрузкой, соответствующей требованиям ТЗ, с имитацией рабочих и аварийных сценариев. Можно провести испытания дважды (перед началом опытной эксплуатации и перед приемкой объекта в промышленную эксплуатацию), или один раз.

Порядок действий подробно описывается в «Программе и методике испытаний», которая готовится заранее и согласовывается со всеми заинтересованными сторонами.

Пренебрегать данным этапом ни в коем случае нельзя. Хотя в реальной жизни и существует немало примеров, когда инженерные системы ЦОДов принимаются без испытаний по принципу: «ИБП установлен? Питание выдает? Кондиционер установлен? Холодом дует? Значит подписываем!». В таком случае ошибки обнаруживаются уже на этапе эксплуатации, омрачая радость новоселья, а исправить их при полноценной работе ЦОДа бывает уже не так просто.

CNews: Когда нужно запускать дата-центр в опытную эксплуатацию, и что именно она может выявить?

Олег Сорокин: Опытная эксплуатация проводится в период между предварительными и приемочными комплексными испытаниями. Длительность опытной эксплуатации может составлять несколько недель, что позволяет выявлять те недоработки в ЦОДе, которые невозможно или очень сложно отследить при проведении испытаний. Так, например, для выявления некоторых из них требуются некоторое время и фактическая работа персонала в ЦОДе.

Испытания длятся несколько часов, но какое-то оборудование, проработав неделю, внезапно отказывает, или соединение отсоединяется, или где-то нет необходимой маркировки, из-за чего персонал не понимает, что делать, и тому подобное. Все недоработки надо фиксировать в журнале проведения опытной эксплуатации и затем устранять тем способом, который устроит всех заинтересованных лиц. Например, если начал капать конденсат, то надо не просто залепить место протечки, а переделать весь неправильно установленный участок термоизоляции.

CNews: Какую документацию нужно получить владельцу ЦОДа от исполнителя?

Олег Сорокин: Идеальный вариант – получить полный комплект эксплуатационной документации на ЦОД. Причем желательно, чтобы это было предусмотрено договорными обязательствами, и исполнитель работ узнавал об этом не в день сдачи, а при подписании договора.

В эксплуатационную документацию входят несколько компонент. Первая – это исполнительная документация, описывающая фактическое исполнение ЦОД и учитывающая все отклонения от проекта, а также включающая в себя все протоколы измерений: линий СКС, электропитания, акты скрытых работ и так далее. Вторая часть – руководства по эксплуатации на системы и подсистемы ЦОД (включая инструкции от производителей оборудования). Также необходимо получить регламенты обслуживания систем и подсистемы ЦОД, регламенты поведения при аварийных ситуациях, паспорта на оборудование, гарантийные и сервисные талоны и прочее.

CNews: Что нужно знать про оформление ЦОДа в надзорных и контролирующих органах?

Олег Сорокин: Все технологические процессы в ЦОДах происходят «где-то внутри», практически не оказывая серьезного влияния на окружающую действительность. Единственное, что может доставить неудобства – это шум и тепловыделение. Избежать этого довольно просто, достаточно соблюсти все нормативы при проектировании. Поэтому может показаться, что, если ЦОД успешно прошел все приемочные испытания и был сдан в промышленную эксплуатацию, можно смело справлять новоселье.

Однако это не совсем так. Следующим этапом обязательно должно стать оформление ЦОДа и его компонентов в надзорных органах. Существует особая категория устройств, которые нельзя использовать сразу после внедрения. К ним относятся резервный дизель-генератор или дизельная электростанция – ДЭС. Мало того, что при проектировании ДЭС необходимо делать дополнительные расчеты по выделению вредных и опасных веществ, учитывать влияние выхлопа, капающего масла и пролитого топлива на окружающую среду, соблюдать очень жесткие нормативы по размещению… Необходимо еще «сдать» ДЭС в надзорные органы. И это та часть работы, которую нельзя полностью взвалить на интегратора или генподрядчика: все заявки подаются от лица эксплуатирующей организации, и к ним прикладывается большое количество «внутренних» документов.

Обойтись без оформления тоже нельзя: если у вас офисное здание в центре города – ваш «дизель» увидят и обязательно придут спросить: «А что это за труба с дымом такая?». Скрыться за забором собственной промплощадки тоже не получится: любой производственный объект подлежит периодической проверке, а предписание о немедленном прекращении эксплуатации ДЭС на работающем ЦОДе (а то и всей промплощадки) – документ очень неприятный. Лучше не рисковать.

CNews: Тогда расскажите, пожалуйста, как правильно нужно «сдаваться».

Олег Сорокин: Разделим это мероприятие на этапы. Первый этап – поход в энергоснабжающую организацию, то есть в «электросети». С ними работать несложно. Главное, что их интересует, – электробезопасность установки и невозможность отдачи энергии, генерируемой ДЭС, обратно в сеть.

Электробезопасность подтверждается протоколами измерений, которые должны быть выполнены аттестованной электролабораторией. Защитой от подачи напряжения с выхода ДЭС в сеть является правильно выполненная схема переключения источников питания с блокировкой от одновременного включения «сетевого» и «дизельного» входов. Для оформления ДЭС в электросетях подается пакет документов, по форме практически идентичный запросу на новое подключение, к которому прилагается пакет документов, включающий в себя исполнительную документацию. На объект прибывает эксперт, который изучает фактическое положение дел, и при отсутствии замечаний выдает заключение о допустимости эксплуатации ДЭС. Через несколько дней приходит официальный ответ, и почти можно работать.

«Почти», потому что есть еще один этап: Ростехнадзор. И здесь все сложнее: и пакет документов, прилагаемый к заявке, намного больше, и требований придется выполнить немало. Например, к заявке придется приложить копии разрешительных документов от энергоснабжающей организации – поэтому сначала идем в «электросети», и только потом в Ростехнадзор, – проектную и исполнительную документацию в полном объеме, сертификаты соответствия на все оборудование, и, кроме того, множество ваших внутренних документов. Придется оформить приказы о назначении ответственных за эксплуатацию ДЭС, инструкции по охране труда и технике безопасности на предприятии, выписки из журналов инструктажей и проверок знаний по ТБ, перечень защитных средств, список лиц оперативного и ремонтного персонала…

Как безопасно работать с контейнеризацией: 10 правил

Ошибиться при подаче заявки легко, и любая недостача в документах приведет к возврату всего пакета. И только после анализа всего пакета документов к вам придет группа экспертов, которая будет проверять все, что угодно: от расстояния между ДЭС и административным зданием, до уровня шума при работе двигателя. Если все прошло удачно – то положительное заключение экспертов и получение официальной бумаги будут последним шагом к долгой и счастливой жизни вашего ЦОДа.

Чтобы сделать прохождение процесса оформления безболезненным и оперативным, нужно подготовиться к нему заранее: получить от генподрядчика перечень необходимых документов, назначить ответственное лицо – обычно это главный энергетик, – заблаговременно оформить все приказы и журналы, и подать заявки сразу после приемо-сдаточных испытаний. Полезный совет: поскольку главный энергетик, скорее всего, к моменту прибытия экспертов еще не успеет досконально разобраться в новой установке, стоит пригласить специалиста от интегратора, который сможет быстро и правильно отвечать на вопросы.

CNews: Вы упомянули внутренние распорядительные документы. Насколько они необходимы? Можно ли сократить бумажную работу за их счет?

Олег Сорокин: Этот пункт кому-то может показаться формальностью, но именно наличие правильно оформленной внутренней документации позволит избежать массы проблем при эксплуатации ЦОДа. В перечень таких документов входят приказы о назначении ответственных за ГСМ и ДГУ, за ЦОД в целом и т.д. Если не назначить ответственных лиц, то, например, с дизельной установкой могут возникнуть неприятные ситуации, связанные с недостаточной заправкой, неправильной сменой топлива, в результате чего данный компонент ЦОД выйдет из строя или окажется неработоспособным. К сожалению, реалии российской действительности таковы, что коллективная ответственность порождает коллективную безответственность, и ответа на классические вопросы «кто виноват?» и «что делать?» без особого приказа не получить.

CNews: ЦОД – сложное техническое сооружение, наверняка есть какие-то особенности в вопросах, связанных с гарантией и техподдержкой…

Олег Сорокин: Гарантийные обязательства нужны, но не стоит думать, что они оформятся сами собой. В ряде случаев гарантию надо оформлять специальным запросом у производителя оборудования (либо по правилам данного производителя, либо по общим правилам оформления гарантии, яркий пример – системная гарантия на СКС). В любом случае, важно четко знать дату окончания гарантии на оборудование и контакты, по которым обращаться по гарантийным случаям.

Почему удаленный доступ стал главной уязвимостью медицинской инфраструктуры Импортонезависимость

Часто бывает так, что наличие стандартной гарантии принимают за обещание производителя решить любые проблемы с оборудованием. Следствие этого – тотальная экономия на техническом обслуживании в первые годы эксплуатации.

Важно понимать, что наличие гарантии не отменяет необходимости проведения регламентного технического обслуживания. В противном случае оборудование начинает изнашиваться в разы быстрее, чем рассчитывал производитель. Как закономерный итог - выход оборудования из строя вскоре после окончания гарантийного срока. Иногда такую поломку списывают на «заговор производителей» и «запланированное» ими старение систем. На самом деле просто надо вовремя обслуживать технику.

Как правило, в условиях оказания гарантии указано, что владелец ЦОДа должен проводить регламентное техобслуживание оборудования. Игнорируя этот пункт, он рискует оказаться в ситуации, когда произошел, казалось бы, гарантийный случай, но гарантия уже не действует из-за того, что не было проведено техническое обслуживание, факт которого должен фиксироваться в специальных документах. Дополнительная проблема заключается в том, что, как правило, гарантийный ремонт осуществляется с минимальным приоритетом, так как сервисное подразделение производителя в первую очередь выполняет заявки по платным контрактам.

Что же входит в работы по технической поддержке? Это регламентные работы, то есть техническое обслуживание, а также удаленная поддержка и виде консультаций и инцидентная поддержка – диагностика, ремонтно-восстановительные работы.

Обратите внимание, что для проведения ремонтных работ вам могут потребоваться запасные части и расходные материалы, которые надо либо предусмотреть в сервисном контракте, либо приобретать при необходимости.

Бывают различные «уровни» сервиса (SLA), предусматриваемые контрактами на техническое обслуживание. В одном пакете услуг предусмотрены только работы, в другом – «все включено». Стоимость пакетов с разным уровнем сервиса могут различаться в разы. Если вы сэкономили на уровне сервиса, и выбрали вариант без «бесплатных» запчастей, то вы должны быть твердо уверены, что в случае ремонта вам оперативно согласуют дополнительные и, конечно же, совершенно неожиданные выплаты и подпишут необходимые счета на солидные суммы. В противном случае, несколько дней нервотрепки, а то и пара недель простоя ЦОДа вам практически гарантированы.