Группа «Черкизово»: Как модернизировать ИТ на непрерывном производстве
На Черкизовском мясоперерабатывающем заводе завершены сразу два интересных проекта. Вместе с компанией «Инфосистемы Джет» ЧМПЗ построил собственный ЦОД и модернизировал СКС во всех зданиях, включая цеха. Все работы проводились в условиях непрерывного производства, что добавило хлопот проектной команде. В интервью CNews ИТ-директор группы «Черкизово» Владислав Беляев и директор центра сетевых решений компании «Инфосистемы Джет» Сергей Андронов делятся секретами проекта.
11.03.2015
Изначально задача была более абстрактной, она состояла в том, чтобы правильно разместить наши вычислительные мощности, рассчитанные на решение ИТ-задач. Около трех месяцев мы потратили только на подбор и сравнение возможных вариантов. Их было довольно много – и собственный ЦОД, и облака, и colocation.
Варианты мы рассматривали в перспективе 5–7-летнего владения. Прорабатывали разные сценарии, считали совокупность экономических и различных специфических факторов: надежность, доступность, безопасность… В результате решили строить свой дата-центр.
У идеи строить ЦОД был несомненный плюс: мы уже имели собственные готовые площадки с подведенными электроснабжением, магистральными каналами, транспортными путями и готовым местом для строительства. Поэтому мы начинали работу не с нуля.
Нужно понимать, что «Черкизово» – это ИТ-зависимое производство. И это важный факт: если остановятся ИТ-системы – сразу же встанут цеха. Соответственно, очень высока цена вопросов безопасности данных, надежности и доступности ЦОДа.
Наша практика позволяет утверждать, что отечественный бизнес проявляет вполне активный интерес к решениям класса программно-определяемых ЦОДов (когда заказчик получает у аутсорсера виртуальную среду под свои задачи). Однако такие предприятия, как «Черкизово», никогда не переносили свои ИТ-мощности на сторонние площадки. Для непрерывного ИТ-зависимого производства это вопрос выживания: какие-то тестовые зоны или бэк-офисные приложения еще могут быть перенесены, но ни в коем случае не критические информационные системы.
На выбор модульного решения повлияли несколько факторов. Во-первых, сроки. Строительство здания требует больших затрат времени. Во-вторых, наши условия: для капитального строительства пришлось бы расширять площадку, приспосабливать дороги для подвоза оборудования и так далее. Это серьезные траты, которые мы посчитали ненужными.
Поэтому мы не стали входить в долгий и мучительный проект, а выбрали быстрое, надежное и, что важно, масштабируемое решение. Сыграло роль и то, что электричество мы получаем по дешевому тарифу для предприятий, у нас есть две подстанции, подведены каналы разных провайдеров.
Решили создать мобильный ЦОД, состоящий из трех модулей, каждый из которых по размерам соответствует морскому контейнеру. Таким образом мы избегали сложностей и дополнительных затрат на их транспортировку от производителя до промплощадки.
И сегодня мы знаем, что при необходимости можем достаточно быстро добавить к трем существующим контейнерам еще один-два, которые вместят все необходимое оборудование.
Добавлю мнение со стороны исполнителя проекта: модульное решение хорошо еще и тем, что позволяет значительно упростить логистику проекта. Это выгодно и нам, и нашему заказчику. Если в капстроительстве задействовано множество поставщиков – один отвечает за здание, другой за коммуникации, третий за стойки, четвертый за энергоснабжение, системы охлаждения и так далее, постоянно возникают какие-то сложные схемы взаимодействия, согласования, то здесь все сводится к работе с одним поставщиком.
Еще один фактор, который нельзя сбрасывать со счетов – доверие. Строительно-монтажной организации придется довериться, потому что возвести здание с нуля – занятие не всегда легко прогнозируемое. Сотрудничество с поставщиком модульного решения (а мы в рамках данного проекта сотрудничали с немецким производителем Contain-RZ) более предсказуемо. Со своей стороны мы готовим четкую проектную документацию, а поставщик предоставляет сертификаты на свое оборудование. Да и сами крупные блоки, из которых состоит модульный ЦОД, тоже сертифицированы – в нашем случае по стандарту TIA-942.
Поэтому модульное решение, которое мы предложили группе «Черкизово», по сути, исключило всякий риск, связанный с ошибками при проектировании и монтаже.
Сам модульный ЦОД в принципе напоминает конструктор: на подготовленную площадку привезли и поставили блоки, смонтировали оборудование, подвели коммуникации, а дальше уже провели пуско-наладочные работы.
И сейчас на площадке ЧМПЗ действует дата-центр, построенный таким образом: два модуля с 32-мя серверными стойками с тепловыделением в среднем по 10 кВт и один – с энергооборудованием. Резервирование систем сделано по схеме N+1, охлаждение обеспечивает фальшпол c активными плитами HydroLogic.
Выбор проводился классическим образом – мы искали поставщика, который предложит лучший опыт, оптимальное для нас решение и низкую цену. Играл роль еще и субъективный фактор, зависящий от того, как мы оценивали готовность компаний-кандидатов к сотрудничеству и их желание вкладываться в предпроектную и пресейловую работу.
Нужно прямо сказать, что у нас как у заказчика сложный характер. Мы долго выбираем, сомневаемся, передумываем, возвращаемся и снова считаем отвергнутые варианты. Поэтому мы искали такое желание сделать проект, какое увидели у «Инфосистем Джет». Они с пониманием отнеслись к нашей позиции.
Мы были терпеливыми. Для нас сложность заключалась скорее в том, что, поскольку в группе «Черкизово» люди, принимающие решения по проекту, находятся на разных уровнях, то и подход к нашему общему вопросу у них разный. И мы должны были для каждого найти действенный набор аргументов – для бизнеса, для ИТ, для производства, для финансистов…
Владислав Беляев:
Сергей Андронов:
Я думаю, многие знают, что задача эффективного отведения тепла в ЦОДах входит в число первостепенных. И в этом проекте мы применили действительно уникальное решение – впервые в России сделали модульный дата-центр с активными охлаждающими плитами в полу. Такого до нас не создавал никто – как правило, ставят кондиционеры внутри ряда со стойками. В результате мы получили энергоэффективное решение и ощутимо сэкономили площадь: чем больше свободного места, тем больше мы сможем поставить стоек.
Еще один момент был связан с тем, что и ЦОД, и СКС мы строили в условиях непрерывного производства. Завод – это комплекс достаточно старых зданий, в которых никогда не останавливается работа. Подъездные пути узкие, площадка для дата-центра не очень большая. И в такой архитектурный ансамбль мы должны были завезти крупногабаритное оборудование – этот этап тоже был сложным и, наверное, уникальным.
Из-за непрерывности производства, когда для наших работ были выделены совсем короткие технологические окна, мы изменили обычную процедуру монтажных работ и ввели в нее «репетиционный» этап. В прямом смысле слова, словно в театре мы отрабатывали последовательность действий. Моделировалось буквально все, потому что возможности сделать вторую попытку после неудачного этапа часто не было.
Я действительно не знаю, кто еще в нашей «лиге» крупных компаний сделал подобный проект: модульный ЦОД, активное охлаждение в полу, кратчайшие сроки встраивания решения в непрерывное производство... Сегодня все радуются успешному запуску и ЦОДа, и СКС, но если спросить участников проекта, они расскажут, каких усилий им это стоило. Бывали и такие ситуации, когда машина с оборудованием не могла заехать, потому что непрерывным потоком идет отгрузка продукции по 300 тонн в сутки, и такие, когда технологические «окна» для работ выделялись с двух до трех часов ночи, и многое другое.
Я недавно посетил два мясокомбината в Германии и могу сказать, что наше решение не уступает построенным там 2–3 года назад предприятиям, а 10-летние немецкие заводы мы превосходим по уровню ИТ.
У нас был опыт работы с крупными заводами – и в тяжелой промышленности, и в оборонке. Но подобного этому проекту не было никогда. Я думаю, специфика пищевого производства больше отразилась на нашем втором проекте, в ходе которого мы построили кабельную сеть в цехах.
Завод очень энергично развивался с 1991 года: вводились новые цеха, запускалось новое производство, устанавливалось новое оборудование, которое со временем стало компьютеризированным. В частности, продукция для внутреннего учета маркируется штрих-кодами, которые работник может считывать портативным терминалом и получать всю информацию о поступившей в цех партии – что это за продукт и для какого процесса он предназначен. Взвешивание продукции, наклеивание этикеток тоже компьютеризированы, все данные поступают в MES-систему, и если их там нет, работа и отгрузка останавливаются.
Но на заводе никогда не было единого плана развития локальной сети. В целом ее состояние можно было охарактеризовать как хаос – в прямом смысле клубок проводов. Первое, что мы сделали на подготовительном этапе проекта модернизации СКС – нарисовали схему существующих портов. Понятно, что любой сбой – не только поломка сетевого оборудования, но и от того, что кто-нибудь тележкой порвет кабель, требовал больших сил на его локализацию и ликвидацию. Бывало, что и отгрузка простаивала до четырех часов.
Это все говорит, почему мы считаем модернизацию СКС не менее важным проектом, чем строительство ЦОДа.
Нам было поручено проложить во всех зданиях, включая цеха, защищенную СКС. Главное условие – выполнить задачу в условиях непрерывного производства и в агрессивной для электроники внешней среде – вода, химия, низкие температуры.
Это накладывало определенные требования. Часть из них касалась гигиены самих работ, часть – применяемых материалов, которые должны быть не только безопасными, но и прочными, часть требований относилась к вопросам планирования работ.
Определенную проблему представлял поиск оборудования. Есть вендоры, предлагающие защищенные от воды и пыли короба, розетки и другое оборудование, но они выполнены в пластике. Это нас не устраивало, поскольку в цехах есть опасность, что розетка будет повреждена механическим воздействием – ее могут случайно задеть тележкой или другим тяжелым предметом. В результате мы нашли поставщика деталей из нержавеющей стали – компанию Telegartner, – обеспечив таким образом требования защищенности и соответствия СанПиНам.
И, конечно, не менее сложным был этап монтажа СКС с точки зрения его организации прямо в цехах, где работали люди и непрерывно перемещалась продукция. Но в результате мы получили работающую сеть. Более того в цехах проверяли заглушки розеток, направляя на них струю воды под давлением – все отлично работает.
Я начну с локальной сети. Как я говорил, раньше нередки были часовые простои, вызванные «траблшутингом» на тысячах квадратных метров производственных помещений. Это все было очень тяжело для бизнеса, потери достигали миллионов рублей за счет штрафов от сетей. И сейчас, за несколько месяцев работы на новой, документированной и защищенной сети, у нас не было ни одной крупной аварии, а мелкие сбои устраняются за несколько минут – производство практически их не замечает. Думаю, что точные данные мы сможем получить за более длительный период, сравнив потери. Разница в потерях и будет бизнес-выгодой.
Точно так же мы оцениваем и выгоду от владения собственным ЦОДом. Он обеспечивает работоспособность наших систем, защищен от сбоев по питанию, по температуре, из-за отключения одного провайдера и так далее. Несомненно, на таком ИТ-зависимом производстве мы не можем себе позволить лишние риски. Плюс, у нас не очень высокая совокупная стоимость владения дата-центром, о чем я уже говорил.
Сейчас у нас происходят и другие процессы, связанные с ЦОДом. В частности, мы переносим в него наши информационные системы – а это и «1С», и около 20 самописных систем. Плюс к тому мы внедряем SAP, но это отдельный проект. На первый взгляд, перенос ресурсов в ЦОД идет долго, но в первую очередь мы обеспечиваем интересы производства, а для него вопрос даунтайма систем – очень тяжелый.
От самописных решений мы будем избавляться. Группа «Черкизово» в 2012 году приняла ИТ-стратегию, которая предполагает централизацию и унификацию ключевых систем, комплексную автоматизацию ряда направлений, построение единой интегрированной сети связи, объединение серверных ресурсов – на реализацию этой стратегии и были направлены завершенные нами вместе с «Инфосистемами Джет» проекты.
В целом в 2013 и 2014 годах мы много инвестировали, затрачивая на строительство и модернизацию инфраструктуры, включая проекты по построению ЦОД и СКС, до трех четвертей ИТ-бюджета. С 2015 года мы перераспределили расходы по статьям, будем больше инвестировать в SUP и MES-систему. Но по объему ИТ-бюджет останется таким же.