Практика использования информационных технологий показывает, что окончание проекта внедрения той или иной информационной системы не всегда повышает результативность существующих бизнес-процессов. При анализе данных обнаруживается большой процент ложной, недостоверной или даже бессмысленной информации, на основании которой управленческие решения принимать просто нельзя.

По словам Тэда Фридмана (Ted Friedman), автора отчета Gartner от 2012 г. в области обеспечения качества данных, "организации всех размеров из разных сфер экономики осознают важность высокого качества данных и критическую роль этого качества при реализации инициатив в области управления информацией. Проблемы качества данных оказывают ощутимо неблагоприятное влияние на бизнес компаний, уменьшая эффективность, создавая риски и снижая рост прибыли. Компании должны непрерывно совершенствовать качество своей информации для извлечения прибыли от данных, а также во избежание негативного влияния на бизнес".

Согласно данным исследования, проведенного аналитической компанией The Information Difference, 30% опрошенных оценили качество данных в своих организациях как очень низкое, и при этом только 37% респондентов имеют инициативы, связанные с улучшением качества данных, а 63% респондентов даже не пытались подсчитать потери из-за низкого качества данных.

Филипп Ховард (Philip Howard), директор по исследованиям консалтинговой компании Bloor Research, отмечает, что низкое качество данных может привести к более плачевным результатам, чем просто финансовые потери для компании. По его мнению, низкое качество данных и проблемы конкурентоспособности – это "симптомы одной болезни".

Согласно отчету Forbes Insights от 2010 года "Управляя информацией в компании: перспективы для лидеров" ("Managing Information in the Enterprise: Perspectives for Business Leaders"), проблемы, вызванные низким качеством данных, обходятся большинству опрошенных компаний более чем в $5 млн ежегодно. Именно поэтому уже на стадии подготовки к внедрению информационной системы нужно уделять время вопросам обеспечения качества информации.

Что такое качественная информация?

В книге Information Quality Applied. Best Practices for Improving Business Information, Processes and Systems, Larry P. English дано следующее определение качества информации – это степень соответствия информации ожиданиям сотрудников и клиентов компании, так что сотрудники с ее помощью могут эффективно выполнять свою работу и вносить вклад в достижение миссии компании, а клиенты – успешно вести с компанией бизнес и наслаждаться ее продуктами, сервисами и взаимодействием.

В реальной жизни такую ситуацию можно встретить не часто, в большинстве случаев в компании существует множество информационных систем, в которые из разных источников поступает поток несогласованной информации, в процессе анализа которой выявляется множество ошибок первичного ввода, разница в учетных политиках и несовершенство алгоритмов обработки.

Для достижения целей бизнеса информация должна удовлетворять определенным критериям. В стандарте COBIT (Control Objectives for Information and Related Technology) определяются следующие категории бизнес-требований к информации:

эффективность (effectiveness) – актуальность и уместность информации для бизнес-процесса, а также ее своевременность, корректность, непротиворечивость и практичность;

продуктивность (efficiency) – предоставление информации путем наиболее оптимального (продуктивного и экономичного) использования ресурсов;
конфиденциальность (confidentiality) – защищенность информации от несанкционированного раскрытия;

целостность (integrity) – точность и полнота информации, а также ее обоснованность с точки зрения ценностей и ожиданий бизнеса;

доступность (availability) – возможность получения необходимой информации в течение времени, определяемого требованиями бизнеса (также включает защиту информации, а также ее носителей от похищения или уничтожения);

соответствие (compliance) – соответствие информации законам, распоряжениям и соглашениям, регулирующим бизнес-процесс;

надежность (reliability) – предоставление руководству информации, пригодной для использования в управлении, для подготовки финансовой и других видов отчетности.

Таким образом, первоначально нужно разобраться с требованиями бизнеса к качеству информации в том или ином проекте автоматизации, и уже понимая потребности, использовать те или иные инструменты обеспечения качества данных.

Как улучшить качество данных

Наиболее остро вопрос качества данных встает при внедрении инструментария Business Inteligence (BI). При проектировании аналитического куба из-за отсутствия единой системы ведения нормативно-справочной информации (НСИ) и неудовлетворительного ввода первичных данных часто исчезает один аналитический разрез за другим, что делает анализ данных в BI-системе малорезультативным. На практике можно увидеть, что, несмотря на многомиллионный проект автоматизации, после его окончания в компании невозможно проанализировать ее финансовый результат даже по отраслевому разрезу.

Для улучшения качества данных при внедрении BI-приложений используется процесс ETL (Extract, Transform, Load – извлечение, преобразование, загрузка) состоящий из следующих этапов: извлечение данных из внешних источников (многочисленных и разноплановых); трансформация данных и очистка (проблемы ошибок ввода и т.п.); загрузка данных в хранилище.

Однако чудес не бывает, и править некачественные данные, находящиеся в информационной системе, намного сложнее, чем обеспечивать правильность их первичного ввода. Поэтому чем ближе инструменты обеспечения качества информации расположены к точке ввода первичной информации в информационную

Анализируя основные технологические решения по повышению качества данных, можно выделить специализированный инструментарий для нормализации основных данных в транзакционных системах, обеспечивающий единство данных ключевых бизнес-сущностей (клиенты, продукты, оборудование и сотрудники). Именно инструментарий Master Data Management (MDM), или в русской транскрипции – управления нормативно-справочной информацией (НСИ), позволяет нормализовать часть информации при ее первичном вводе в систему. При этом уменьшается число ошибок ввода, ведь оператор выбирает поле со значением из справочника. В некоторых проектах число ошибок операторов при первичном вводе данных достигает 30%, что показывает масштаб проблем с качеством первичного ввода.

Но даже наводя порядок с НСИ и внедряя инструментарий MDM, необходимо устранять возможность ввода неправильной информации. Например, если при внедрении CRM системы, дать возможность оператору в качестве отрасли клиента выбирать элемент справочника "прочее", то через некоторое время отрасль "прочее" будет лидером по большинству показателей. А если при вводе информации вообще не использовать справочник, то в результате анализ клиентов по различным аналитическим разрезам будет просто невозможен.

В BI-приложениях можно выделить специальные ETL-средства, позволяющие осуществлять извлечение данных из транзакционных систем, их трансформацию, очистку и объединение данных для целей бизнес-аналитики. Данные средства направлены уже на исправление тех ошибок в данных, которые были не исправлены на уровне транзакционных систем.

Отдельным классом инструментов повышения качества данных являются интеграционные платформы Enterprise Service Bus (ESB), применение которых позволяет обеспечить синхронизацию данных между различными информационными системами и достичь непротиворечивости данных в нескольких приложениях.

На базе ESB может быть построено решение B2B, позволяющее организовать обмен данными между компаниями с учетом различных форматов в компаниях, что также положительно влияет на качество информации.

Организационный вопрос

Однако применение инструментов повышения качества данных позволяет лишь выбрать тактику, но не решить вопросы качества данных в целом. На верхнем уровне часто можно обнаружить, что в некоторых крупных российских регионально-распределенных компаниях нет единой учетной политики. Например, если из управляющей компании запросить дочерние общества об объеме затрат на информационные технологии, то можно обнаружить, что многие из них не отнесут туда расходы на телекоммуникации, некоторые не внесут затраты на ИТ-персонал, другие забудут стоимость аренды помещений для размещения центров обработки данных. В результате относительное сравнение полученной информации будет невозможно, а следовательно, никаких управленческих решений на базе полученных отчетов принять нельзя.

Именно отсутствие единой учетной политики становится тем препятствием, которое часто сводит на нет все усилия по повышению качества данных. Ведь необходимо сначала типизировать учетные политики, после чего добиться их исполнения, что не так просто в крупной компании.

Еще одним фактором, искажающим информационный поток, является средний уровень менеджмента, который заинтересован в улучшении картины существующего состояния бизнеса, что приводит почти к стопроцентной вероятности фальсификации отчетности в случае, если информационная система позволяет это сделать. Именно для устранения подобных искажений столь безжалостно искореняются все ручные способы передачи информации с помощью MS Excel, а также ручная корректировка данных в информационных системах после их ввода. Поэтому очень часто внедрение BI-систем без внедрения планово-учетных систем на транзакционном уровне терпит фиаско, ведь в них анализируются данные, предварительно "зачищенные" от негативных факторов.

Именно поэтому обеспечение качества данных – это задача, которая касается всей компании и не концентрируется лишь на уровне ИТ-директора, который в одиночку с ней справиться не сможет.