Поделиться
«Диасофт» добавила в платформу Digital Q.DataFlows возможность настройки правил контроля качества данных и low-code-обработки данных
Компания «Диасофт» развивает возможности технологической платформы для управления данными Digital Q.DataFlows. Платформа помогает раскрыть ценность данных организации: выявить взаимосвязи данных, контролировать их качество, выполнять процессы преобразования и обмена данных между системами.
На платформе Digital Q.DataFlows появился компонент Data Quality Rules Designer (дизайнер правил контроля качества данных). Новый компонент упрощает управление данными: он автоматически генерирует ETL-процесс контроля качества данных из шаблона на основании описанных в каталоге данных объектов. Качество данных можно отследить в метрике и детальном протоколе проверки.
Теперь в состав платформы входят три компонента: Data Quality Rules Designer позволяет создавать проверки качества данных на основании шаблонов; Data Streamer обеспечивает сбор и обработку информации (ETL) и позволяет интегрировать между собой различные информационные системы. Поддерживает сценарий как потоковой, так и пакетной обработки данных; Data Catalog отвечает за сбор и ведение метаданных всех информационных источников.
В Digital Q.DataFlows реализована возможность группировать ETL-процессы и включать их в состав создаваемых приложений. Группировка необходима для объединения ETL-процессов и переноса данных в проект прикладного решения и дальнейшей отправки для автоматического развертывания на стендах.
В компоненте Data Streamer появилась возможность обрабатывать данные в low-code режиме на основании мета-описания объектов из каталога данных. Теперь ETL-процесс генерируется автоматически. Также можно настроить автозапуск ETL-процесса по расписанию.
В компоненте Data Catalog расширена функциональность генерации скриптов и захвата метаданных. Наборы изменений разбиты на атомарные части, что уменьшает шанс невыполнения их в базе данных. При запуске захвата метаданных из баз данных автоматически генерируется ETL-процесс, управляемый из Data Catalog, а также формируется детальный протокол, в котором можно отследить весь процесс захвата метаданных.
Платформа Digital Q.DataFlows переведена на технологическую платформу Digital Q.Palette. Это позволило сделать дизайн интерфейса более комфортным для пользователей.
Короткая ссылка
