Поделиться
Что нужно, чтобы автоматизировать обработку терабайтов данных в госструктуре
Центр экологической промышленной политики (ЦЭПП) — подведомственная организация Минпромторга России — накопил терабайты данных по промышленным предприятиям страны. Но объём информации вырос до уровня, при котором ручная обработка превратилась в узкое место: подготовка одного аналитического отчёта занимала несколько дней, а ошибки в разрозненных файлах снижали достоверность итоговой аналитики. Внедрение платформы Modus (ETL + BI) позволило автоматизировать весь конвейер работы с данными — от инженерии до визуализации — и сократить подготовку отчётов с трёх дней до трёх часов.
Ситуация до внедрения
Первым шагом к систематизации стала собственная разработка — «Единый информационный ресурс» (ЕИР), призванный аккумулировать и систематизировать накопленный массив. Но хранение данных и их анализ — это разные задачи. Традиционный ручной подход превратился в бутылочное горлышко из-за лавинообразного роста данных. В итоге подготовка отчетов затягивалась на дни, а из-за расхождения цифр в разных файлах и регулярных ошибок качество управленческой аналитики падало. Около 20% архивных Excel-файлов имели нестандартные форматы, требующие ручной верификации.
Почему выбрали Modus
В рамках курса на импортозамещение, ЦЭПП искал российское решение, которое закрывало бы весь цикл работы с данными — от инженерии до визуализации. Выбор остановился на решениях Modus (Modus ETL и Modus BI) по четырем ключевым критериям:
Цели и задачи
Главная задача — выстроить полный цикл работы с данными: от инженерии и очистки до визуализации и доступа пользователей. Конкретнее это означало:
- очистку и нормализацию данных, устранение дублей и форматных ошибок;
- проектирование корпоративного хранилища данных и его сопровождение;
- построение автоматизированного ETL-конвейера — по расписанию и в режиме реального времени;
- контроль качества данных: целостность и непротиворечивость;
- интеграцию с BI-платформой и подготовку данных для аналитических задач.
Как проходило внедрение
Проект реализовывался в три этапа за 8 месяцев.
Роль Modus ETL
Modus ETL взял на себя извлечение данных из разнородных источников, включая нестандартные Excel-архивы, их трансформацию по правилам качества и загрузку в хранилище:
- Обработка проблемных архивов: для 20% файлов с нестандартными форматами разработаны индивидуальные скрипты миграции — ни одна запись не потерялась при переносе.
- Автоматический конвейер: запуск по расписанию и в режиме реального времени — данные обновляются без участия аналитиков.
- Управление качеством данных: встроенный контроль целостности и непротиворечивости каждой загрузки — именно это снизило количество ошибок в данных на 90%.
- Безопасность: ролевая модель доступа и работа с обезличенными агрегированными данными реализованы в соответствии с требованиями законодательства о конфиденциальности.
Роль Modus BI
Modus BI был подключен к хранилищу на третьем этапе и обеспечил визуальный слой аналитики для трёх направлений деятельности ЦЭПП. Гибкость платформы позволила быстро адаптировать её под специфику учреждения. Итог — 50 дашбордов с единой ролевой моделью доступа и возможностью работы из любой точки страны.
Результаты
ETL-конвейер убрал ручной труд из подготовки данных — цикл сократился с нескольких дней до минут. За этим последовали системные изменения по всем направлениям:
Побочный, но важный эффект: внедрение открыло новые направления деятельности. «Ситуационный центр промышленности» появился именно благодаря тому, что данные стали доступны в режиме реального времени — и сразу возник запрос на оперативный мониторинг.
Как система работает сегодня
На платформе реализованы ролевая модель доступа и работа с обезличенными и агрегированными данными — в соответствии с требованиями законодательства о конфиденциальности. Сейчас система охватывает большинство ключевых направлений института:
Статистика и НДТ: 25 дашбордов для мониторинга показателей информационно-технических справочников и прогнозирования.
Ситуационный центр промышленности: 15 дашбордов для аналитики в реальном времени. Руководители и эксперты моментально получают актуальную картину без запросов в аналитический отдел.
Штаб КЭР: 10 дашбордов для экспертной аналитики в рамках межведомственного взаимодействия по комплексным экологическим разрешениям. Доступ круглосуточный, из любой точки страны.
Короткая ссылка
