17 Ноября 2025 16:00 17 Ноя 2025 16:00 |

Поделиться

Искусственный интеллект в MDM: передовой подход к нормализации НСИ

Место процесса нормализации в системе управления мастер-данными

Платформа управления мастер-данными «БФТ.ЕНСИ» — это зрелый функциональный продукт, отвечающий всем требованиям современного рынка к системам данного класса, автоматизирующий все этапы работы с данными. Например, для решения задачи сбора и накопления данных платформа оснащена модулем ETL, а для решения задачи проверки и стандартизации данных присутствует целый набор гибко настраиваемых low-code инструментов. Для формирования и ведения справочников материально-технических ресурсов (МТР) применяются сложносоставные иерархические классификаторы. Реализованы отдельные инструменты для совместного использования и распоряжения данными, разграничения доступа, обеспечения механизма внесения изменений в справочники, контроля версионности, поиска информации в справочниках, создания отчетности и других процессов. Для сбора и обогащения данных «БФТ.ЕНСИ» может интегрироваться с разнообразными внутренними и внешними источниками, в том числе с открытыми общероссийскими классификаторами и справочниками.

Для эффективного применения справочника МТР всеми подразделениями компании необходимо, чтобы содержащиеся в них записи были нормализованы, то есть были приведены к единому стандартизированному формату, не содержали ошибок или недостоверной информации, были полно описаны и не дублировали друг друга. Для проведения нормализации эксперты, отвечающие за корректное ведение справочников, совершают определенную последовательность действий. Сначала сотрудник добавляет ненормализованную запись, заполняя соответствующую форму в интерфейсе MDM-платформы или загружая информацию из внешнего источника (например, файла Excel, из закупочной или ERP-системы). Далее он занимается устранением орфографических и синтаксических ошибок, которые могут присутствовать в описании, и осуществляет классификацию записи МТР на основании собственных знаний и опыта, а также на основании классификации похожих записей. Затем в соответствии с выбранной категорией проводится уточнение технических характеристик МТР, представленных в параметрическом описании записи.Если характеристик недостаточно для формирования полного описания карточки записи МТР, сотруднику приходится искать нужные сведения в каталогахпроизводителей и других источниках. Заполнив карточку записи МТР, сотрудник формирует перечень стандартизированных наименований и при необходимости дополняет объект кодами по ОКПД 2 и другим классификаторам.

Очевидно, что нормализация вручную каждой записи МТР — это сложный и трудоемкий процесс, что особенно сильно проявляется на большом масштабе. Так, по нашей статистике, время обработки 100 тыс. записей может достигать 15 месяцев.

Мы в решении «БФТ.ЕНСИ»нашли способ кардинально сократить эти сроки, используя специализированный сервис AI MasterDataна основе GPT/LLM-технологий и других ИИ-алгоритмов, разработанный компанией НОРБИТ, технологическим партнером БФТ-Холдинга, — с ним нормализация того же объема записей может быть осуществлена за 30 дней, сокращая до минимума количество ручных операций.

Принцип работы сервиса AI MasterData

При использовании AI MasterData обработка записи МТР сокращается до трех шагов: ненормализованная запись заносится в систему «БФТ.ЕНСИ», после чего передается в сервис для проведения нормализации, затем в параметризованном виде возвращается в MDMв справочник. Дальнейшая обработка и утверждение записей могут происходить в автоматическом режиме или с валидацией экспертом значений отдельных характеристик.

Важно сразу отметить, что сервис AI MasterData, хотя и является партнерским решением, полностью интегрирован в комплектацию «БФТ.ЕНСИ» и доступен сразу же после внедрения MDM-платформы.

В своей работе сервис AI MasterData применяет как классические алгоритмические методы, так и передовые методы машинного обучения и генеративного AI. Он обладает следующими функциональными возможностями:

• категоризация НСИ по внутреннему категорийному справочнику организации и по общероссийским классификаторам,
• автоматизированное формирование дерева категорий и атрибутивного ряда,
• исправление грамматических и синтаксических ошибок,
• поиск аналогов,
• устранение дублей (дедупликация),
• извлечение значений атрибутов,
• обогащение атрибутов данными из внешних источников,
• формирование «чистого» наименования,
• дашборды по контролю качества данных.

На типовом примере рассмотрим, какие этапы проходит каждая запись при нормализации.

Первый этап — предобработка. Система сверяет поступившую запись с содержанием справочников и может указать на наличие возможного дубликата. Также при необходимости она дополняет сокращение до целого слова (например, «подшипник» вместо «подшип.»), исправляет ошибки, корректирует аббревиатуры и единицы измерения, убирает лишние элементы (например, двойные пробелы) и проводит другие качественные улучшения имеющейся записи.

Второй этап — категоризация. Система ищет в записи атрибуты, которые позволят отнести ее к той или иной категории справочника. Это могут быть, например, само название изделия, его производитель, артикул, который похож на те, что система уже «знает». Помимо определения основной категории сервис может определить ряд других кандидатов на случай, если основная категория по какой-то причине окажется неподходящей.

Третий этап промежуточный — так называемый Guardrail. В этот момент система принимает решение о том, есть ли возможность обрабатывать запись далее, или ее стоит вернуть для проверки эксперту.

Четвертый этап — параметризация, извлечение из записи дополнительных атрибутов в соответствии с выбранной категорией. Этот процесс состоит из двух блоков. Прежде всего, система пытается извлечь атрибуты непосредственно из текста записи: уже имея представление о том, что за объект описан, она может выделить, например, наименование его производителя, название модели, ряд количественных характеристик (длину, площадь сечения и т.п.). Но этого хватает далеко не всегда. Поэтому сервис поддерживает процедуру обогащения записи данными из внешних источников: например, интернет-каталога производителя или поставщика, электронной документации. Также источником могут служить предварительно загруженные в систему базы знаний.

Пятый этап — постобработка. Система определяет, нужно ли подключать эксперта для окончательной проверки записи или ее можно передавать в MDM. Также существуют специальные инструменты — тесты, позволяющие выявить аномальные характеристики, не свойственные объекту конкретной категории: например, в записи может быть указана длина болта в километрах. Такие случаи тоже требуют ручной проверки. Для этого сервис содержит удобный интерфейс администратора.

Эффективность использования интеллектуального сервиса нормализации в MDM

С учетом возрастающих объемов данных, которые обрабатываются отдельно разными подразделениями крупных компаний, даже при наличии MDM-системы справочники НСИ у них далеко не всегда находятся в идеальном состоянии. Несоответствие физического объекта и его описания, отсутствие в записи МТР важных атрибутов, неверные единицы измерения — всё это приводит к большому количеству ошибок, влияющих на эффективность бизнес-процессов, создающих финансовые и репутационные риски. Среди наиболее частых проблем — сложный поиск необходимого МТР, невозможность подбора аналогов, излишние закупки.

Эффективность использования интеллектуального сервиса нормализации НСИ во многом зависит от подхода к ведению справочника МТР в MDM-системе. Современные MDM-системы располагают широкимспектром инструментов для систематизации ведения справочника МТР.В«БФТ.ЕНСИ» реализованы следующие инструменты:

• классификатор МТР, обеспечивает формализацию описания свойств и характеристик объектов классификации и состоит из иерархической части (классов МТР) и фасетной — набора технических характеристик МТР и их допустимых значений, позволяющий на конечном уровне привязать шаблоны описания базовых классов, а также определить формулы для автоматического формирования наименования записи МТР;
• шаблон описания базового класса — инструмент формирования перечня технических характеристик (атрибутов) базового класса, требуемых правил валидации и доменов значений;
• справочник МТР, где ведутся записи материально-технических ресурсов, осуществляется их классификация и нормализация, отражаются значения технических характеристик, которые определены классом МТР;
• мастер-классификатор — инструмент, который в едином представлении отображает дерево классификатора МТР, записи справочника МТР, связанные с узлом классификатора, и технические характеристики записей, а также обеспечивает работу с мастер-данными справочника МТР.

Для поддержания высокого качества данных в справочнике МТР в «БФТ.ЕНСИ»используются инструменты для ведения данных (первоначального наполнения и согласованного внесения изменений), ручного и автоматического управления дублями, валидации и проверки качества данных, обогащения данных с помощью интеграции с внешними источниками.

Задача по нормализации МТР в «БФТ.ЕНСИ» с использованием AI MasterData на практике выглядит так. В большинстве случаев на вход в «БФТ.ЕНСИ» поступает файл Excel, содержащий ненормализованные наименования записей МТР. Эти данные система отправляет вAI MasterData, где выполняется категоризация данных, извлечение атрибутов и формирование требуемого набора характеристик, выполняется обогащение данных. Специалист, работающий с MDM-системой, получает уже параметрически описанную запись в справочнике МТР, для которой «БФТ.ЕНСИ» автоматически сформирует полное и краткое наименование согласно преднастроенному шаблону. Эксперту остается только провалидировать эти данные при необходимости и утвердить изменения в справочнике МТР. Если степень доверия значений атрибутов, сформированных AI MasterData, не ниже порогового значения, настраиваемого в системе администратором, то такие записи справочника МТР утверждаются автоматически.

Синергия системного подхода к ведению справочника МТР и интеллектуального сервиса нормализации НСИ с AI MasterData приводит к существенному повышению качества НСИ и, как следствие, к оздоровлению операционной деятельности компаний. По статистике БФТ-Холдинга, полученной в ходе проектов внедрения, в среднем это приводит к

• сокращению трудозатрат на ведение НСИ — на 18%,
• снижению закупочных цен благодаря закрытию потребностей аналогами — на 15%,
• сокращению потерь благодаря повышению качества данных и точности расчетов, отчетов и анализа — на 12%,
• сокращению неликвидов благодаря корректным данным об объемах на складах и сроках годности продукции — на 15%,
• сокращению среднего времени цикла от заявки до закупки МТР — на 10%,
• снижению затрат на обеспечение полноты и качества данных — на 90%.

Зная экономические показатели конкретной компании, можно более точно подсчитать выгоду, которую приносит нормализация НСИ с помощью «БФТ.ЕНСИ» и AI MasterData. Более того, качественные основные данные и справочники в MDM-системе — это основа для дальнейшего масштабирования и цифровой трансформации бизнеса, обеспечения его устойчивости и конкурентоспособности, корректной работы смежных корпоративных систем.

Поделиться

Подписаться на новости Короткая ссылка