Поделиться
Эффективная обработка данных: используем MS SQL Server
Любой бизнес опирается на данные. Сведения о заказчиках и контрагентах, собственных сотрудниках, продажах и поставках — все это содержится в десятках и сотнях таблиц баз данных, без которых сегодня немыслима успешная деловая деятельность. По сути это виртуальный аналог вместительного шкафа с документами – единое место, где компания хранит и упорядочивает информацию. Но всегда ли процесс работы с ней эффективен? Рассмотрим, что дает ПО.Отдельного упоминания заслуживает функция нечеткого поиска (fuzzy search), позволяющая находить близкие, но не совпадающие полностью значения. Данный механизм во многом решает проблемы дублирования данных, возникающие при внесении схожей информации из различных источников, а также из-за ошибок операторов, допускающих опечатки во время работы.
Кроме того, новая версия SQL Server позволяет в удобной форме определять и настраивать различные бизнес- правила, которые контролируют качество заносимых в систему данных.
Изменения мастер-данных отслеживаются в специальном транзакционном журнале, который, помимо всего прочего, фиксирует, кто и когда их осуществил. Ценность этого модуля состоит не только в отслеживании всех этапов работы с данными, но и в возможности вернуться к одной из предыдущих версий.
Вся работа с данными в хранилище НСИ происходит через специальный изолирующий слой публикации данных, который необходим для обеспечения повышенного уровня безопасности, унификации методов взаимодействия с хранилищем и интеграции с Корпоративной Сервисной Шиной.
Новый SQL Server позволяет разграничить доступ к следующим частям: функционалу, моделям, записям и полям. При этом поддерживается наследование и каскадирование прав доступа. Например, пользователь может иметь права на редактирование информации о поставках, но при этом лишь права на чтение данных по продажам.
В системе можно выделить три типа ролей пользователей: специалист НСИ, эксперт НСИ и администратор НСИ. Специалист НСИ отвечает за поддержание НСИ в корректном и актуальном состоянии. Интерфейс MDM-модуля позволяет ему осуществлять утверждение/отклонение запросов на добавление и изменение элементов, изменять и добавлять записи вручную, просматривать журнал изменений и возвращаться к одной из предыдущих версий. Специалист НСИ оповещается по электронной почте о возникновении ситуаций, требующих его вмешательства. Например: в систему поступили данные, требующие дополнительного утверждения, или данные, не удовлетворяющие определенному набору бизнес-правил.
Основной задачей эксперта НСИ является управление моделями (иерархией и классификаторами) и различными функциональными параметрами системы. Эксперт НСИ может через веб-интерфейс системы задать/изменить метамодель (в том числе и иерархию, связи между элементами и пр.), создать новую версию метамодели, определить и отредактировать бизнес-правила, задать параметры для нечеткого поиска.
Администратор НСИ отвечает за нефункциональную часть системы. Его интерфейс предоставляет такие возможности, как разграничение прав доступа всех пользователей, настройка оповещений, настройка интеграционной части системы.
Совершенно новой функцией SQL Server 2012 можно назвать Data Quality Service (DQS), службу управления качеством данных. Этот сервис определяет пригодность тех или иных данных, используемых для принятия каких-либо бизнес-решений. В принципе, подобные операции были возможны и в SQL Server 2008 R2 благодаря таким механизмам как Fuzzy Logic, Data Cleansing и т. п. Теперь же все эти инструменты объединены в единый сервис DQS.
Со своей задачей это решение справляется, создавая и поддерживая набор базы знаний качества данных Data Quality Knowledge Base (DQKB), представляющей собой формальное описание механизмов загрузки, обработки и преобразования данных, согласно форматам, определенным в системе EIM. Таким образом, использование DQS вводит новую роль на предприятии – роль Управляющего Данными (Data Steward), человека, ответственного за обеспечение и поддержание определенного качества данных внутри предприятия, что дает возможность прочим системам, использующим эти данные, работать прозрачно, прямолинейно и без взаимных коллизий.
DQS позволяет определять синтаксические ошибки, проводить валидацию, взаимное соответствие, искать синонимы, устранять коллизии. Например, для выявления синтаксических ошибок используется алгоритм под названием "Анна Каренина", который позволяет загружать в EIM-систему данные, написанные в разном формате, имеющие синтаксические или орфографические ошибки, не соответствующие логике ввода (например – перепутаны имя и фамилия в полях ввода Ф.И.О.) и т.п. Таким образом, данные проходят очистку и унификацию.
Службы Data Quality Services можно запускать как автономное средство или интегрировать со службами SQL Server Integration Services (SSIS). Пользователи SQLServer 2012 смогут получать доступ к веб-сайту Windows Azure Marketplace Data Market, который можно использовать в качестве источника сторонних данных для проверки и очистки данных в рамках проектов по оценке качества данных.
Бизнес-анализ в SQL Server 2012
Благодаря расширению языка запросов и появлению иерархии "многие ко многим" новая СУБД от Microsoft обеспечивает качественно новые возможности анализа. Это позволяет пользователям интегрировать данные практически из любого источника, создавать эффективные отчеты и аналитические приложения. Кроме того, теперь появилась возможность обмениваться данными анализа и совместно работать над ними с помощью привычных инструментов Microsoft Excel 2010 и Microsoft SharePoint 2010.
Среди новых и улучшенных функций продукта в области BI стоит отметить такие инструменты как Power Users, BISM, и PowerView.
Power Users
Новый модуль позволяет строить более глубокую и всеобъемлющую бизнес-отчетность. Например, теперь начальник отдела сбыта может анализировать не только отчеты по продажам своего отдела, но и проверить работу других отделов, например отдела маркетинга, отдела поставок и т. д. Ранее ему бы пришлось обращаться в ИТ-департамент, который в свою очередь, должен был писать SQL-запрос для получения соответствующей информации. В SQL Server 2012 такая задача значительно упростилась.
BI Semantic Model (BISM)
Это новая семантическая модель BI в SQL Server 2012, которая позволяет сделать разработку OLAP-кубов проще. Фактически, она является заменой существующей модели UDM (Unified Dimensional Model), которая сейчас считается стандартом для разработки BI-кубов и включает в себя правила и методологию создания основных элементов аналитической модели: измерений, иерархий, показателей, моделей Data Mining и т.п. Однако UDM – крайне сложный для освоения механизм, требующий навыков многомерного проектирования моделей данных. В отличие от неё, BISM предлагает более простую табличную форму представления модели данных.
Короткая ссылка
