Поделиться
«Евраз» и GlowByte разработали систему федеративного мониторинга прогнозных и оптимизационных моделей в реальном времени
Металлургическая компания «Евраз» при поддержке практики Advanced Analytics GlowByte провела успешный пилотный проект по внедрению в свою ModelOps-инфраструктуру решения Kolmogorov Predicate для задач распределенного real-time-мониторинга (в режиме реального времени) качества работы ML-моделей. Об этом CNews сообщил представитель GlowByte.
ПО Kolmogorov AI разработано российским вендором Data Sapience. Система Kolmogorov Predicate расширяет возможности корпоративной платформы ModelOps в «Евразе», позволяет контролировать и анализировать работу моделей машинного обучения в реальном времени даже при условии использования их в ряде алгоритмов математической оптимизации, когда количество предсказаний в секунду может превышать десятки тысяч.
Расчет метрик мониторинга производится асинхронно с сервисами исполнения моделей и никак не влияет на их работу. Такой подход позволяет сохранять оперативность мониторинга и при этом не перегружать сервисы исполнения моделей.
Решение легко интегрируется в существующие Python-пайплайны обучения моделей. Благодаря этому система позволяет быстро подключать мониторинг не только для новых моделей, но и для уже работающих в рамках информационных систем моделей, внутри платформ OpenShift или Kubernetes.
Система предоставляет гибкие возможности по конфигурированию метрик и их мониторингу, используя интуитивно понятный пользовательский интерфейс.
«В связи с активной адаптацией технологий анализа данных и искусственного интеллекта возможность оперативного мониторинга и управления моделями машинного обучения и продвинутой аналитики становится ключевой для успешного ведения любого бизнеса. Благодаря сотрудничеству с коллегами из «Евраза» мы смогли добавить важный функционал распределенных и федеративных вычислений в ядро нашей платформы Kolmogorov и, в частности, в модуль мониторинга моделей Predicate», – отметил Михаил Зайцев, владелец продукта Kolmogorov, Data Sapience.
Андрей Зубков, лидер направления ИИ, начальник управления разработки информационных систем Евраза, сказал: «Раньше мы использовали стандартные инструменты для мониторинга моделей. Поскольку они рассматривают каждое предсказание независимо, то требования к используемым ресурсам растут прямо пропорционально количеству предсказаний. В рамках Lean-подхода повсеместное использование таких инструментов непозволительно, а отсутствие мониторинга для оптимизации рождает потребность привлечения разработчика для разбора любых неоднозначных моментов в ходе эксплуатации. Новая же система способна рассматривать тысячи и миллионы предсказаний, выполняемых в рамках оптимизационных алгоритмов как единую сущность. Эту систему нам помогли разработать и пилотировать коллеги из GlowByte. Благодаря ей мы сможем без кратного роста требований к ресурсам внедрять мониторинг в том числе на проектах, использующих методы оптимизации».
Короткая ссылка
