Бизнес-аналитика в эпоху больших данных

За десятилетия работы с крупными заказчиками компания «Форс» накопила огромный опыт работы в области бизнес-анализа и сейчас активно развивает технологии больших данных. Об экспертизе в этой области, крупных внедрениях, собственных решениях, крупнейшем в мире центре тестирования решений Oracle в интервью CNews рассказала Ольга Горчинская, директор по исследовательским проектам и руководитель направления Big Data «Форс».

15.10.2015

Ольга Горчинская
За последние годы сменилось поколение руководителей. К управлению компаниями пришли новые люди, которые делали карьеру уже в эпоху информатизации, и они привыкли использовать компьютеры, интернет и мобильные устройства как в повседневной жизни, так и для решения рабочих задач.
CNews: Насколько инструменты BI востребованы российскими компаниями? Есть ли изменения в подходе к бизнес-анализу: от «аналитики в стиле Excel» к использованию аналитического инструментария топ-менеджерами?
Ольга Горчинская:

Сегодня потребность в инструментах бизнес-анализа уже достаточно высока. Их используют крупные организации практически во всех секторах экономики. И средний, и малый бизнес тоже понимают преимущества перехода от Excel к специализированным аналитическим решениям.

Если мы сравним эту ситуацию с той, что была в компаниях еще пять лет назад, то увидим значительный прогресс. За последние годы сменилось поколение руководителей. К управлению компаниями пришли новые люди, которые делали карьеру уже в эпоху информатизации, и они привыкли использовать компьютеры, интернет и мобильные устройства как в повседневной жизни, так и для решения рабочих задач.

CNews: Но проектов больше не становится?
Ольга Горчинская:

В последнее время мы отмечаем некоторое снижение числа новых крупных BI-проектов. Во-первых, играет роль сложная общая экономическая и политическая ситуация. Она сдерживает старт некоторых проектов, связанных с внедрением западных систем. Интерес к решениям на основе свободно распространяемого программного обеспечения также затягивает старт BI-проектов, поскольку требует предварительного изучения этого сегмента ПО. Зрелость многих решений Open Source в области аналитики не настолько высока, чтобы использовать их повсеместно.

Во-вторых, уже произошло определенное насыщение рынка. Сейчас не так много организаций, где не используется бизнес-анализ. И, видимо, проходит время активного роста внедрений больших корпоративных аналитических систем.

И, наконец, важно отметить – сейчас у заказчиков идет смещение акцентов в использовании BI-инструментов, что сдерживает рост числа привычных нам проектов. Дело в том, что лидирующие поставщики – Oracle, IBM, SAP – строят свои BI-решения на идее единой согласованной логической модели данных, означающей, что, прежде чем что-то анализировать, необходимо четко определить и согласовать все понятия и показатели.

Вместе с очевидными преимуществами это приводит к большой зависимости бизнес-пользователей от ИТ специалистов: при необходимости включить в круг рассмотрения какие-то новые данные бизнесу приходится постоянно обращаться к ИТ для загрузки данных, согласования их с существующими структурами, включения в общую модель и т.д. Сейчас мы видим, что бизнес хочет большей свободы, и ради возможности самостоятельно добавлять новые структуры, интерпретировать и анализировать их по собственному усмотрению пользователи готовы пожертвовать какой-то частью корпоративной согласованности.

Поэтому сейчас на первый план выходят легкие инструменты, позволяющие конечным пользователям работать непосредственно с данными и не очень заботиться о согласованности на корпоративном уровне. В результате мы наблюдаем успешное продвижение Tableaux и Qlick, которые позволяют работать в стиле Data Discovery, и некоторую потерю рынка большими поставщиками решений.

CNews: Это объясняет, почему ряд организаций внедряет по несколько BI-систем – особенно это заметно в финансовом секторе. Но можно ли считать такую информатизацию нормальной?
Ольга Горчинская
Сегодня ведущую роль играют инструменты, которые мы раньше считали слишком легковесными для корпоративного уровня. Это решения класса Data Discovery.
Ольга Горчинская:

Действительно, на практике часто в крупных организациях используется не единая, а несколько независимых аналитических систем, каждая со своими BI-инструментами. Идея общекорпоративной аналитической модели оказалась некоторой утопией, она не так популярна и даже ограничивает продвижение аналитических технологий, поскольку на практике каждый департамент, а то и отдельный пользователь хочет независимости и свободы. В этом нет ничего ужасного. Ведь в одном и том же банке специалистам в области рисков и маркетологам нужны совершенно разные BI-инструменты. Поэтому вполне нормально, когда компания выбирает не громоздкое единое решение для всех задач, а несколько небольших, наиболее подходящих для отдельных департаментов систем.

Сегодня ведущую роль играют инструменты, которые мы раньше считали слишком легковесными для корпоративного уровня. Это решения класса Data Discovery. В них заложена идея простоты работы с данными, быстроты, гибкости и удобного для восприятия представления результатов анализа. Есть и еще одна причина растущей популярности таких инструментов: компании все больше испытывают потребность работать с информацией изменяющейся структуры, вообще неструктурированной, с «размытым» смыслом и не всегда понятной ценностью. В этом случае востребованы более гибкие инструменты, чем классические средства бизнес-анализа.

«Форс» создал крупнейшую в Европе и уникальную в России площадку – Fors Solution Center. Основная его задача – приблизить новейшие технологии Oracle к конечному заказчику, помочь партнерам в их освоении и применении, сделать процессы тестирования оборудования и ПО максимально доступными. Это своего рода дата-центр для тестирования партнерами систем и облачных решений.

CNews: Как технологии больших данных помогают развиваться бизнес-аналитике?
Ольга Горчинская:

Эти направления – большие данные и бизнес-аналитика – сближаются друг с другом и, на мой взгляд, граница между ними уже размыта. Например, углубленная аналитика считается «большими данными», хотя она существовала еще до появления Big Data. Сейчас интерес к машинному обучению, статистике повышается, и с помощью этих технологий больших данных можно расширить функциональность традиционной бизнес-системы, ориентированной на вычисления и визуализацию.

Кроме этого, концепцию хранилищ данных расширило использование технологии Hadoop, что привело к новым стандартам построения корпоративного хранилища в виде «озера данных» (data lakes).

CNews: Для каких наиболее перспективных задач используются решения в области больших данных?
Ольга Горчинская:

Мы используем технологии больших данных в BI-проектах в нескольких случаях. Первый – когда необходимо повысить производительность существующего хранилища данных, что очень важно в условиях, когда у компаний большими темпами растут объемы используемой информации. Хранить сырые данные в традиционных реляционных базах данных очень дорого, для их обработки требуются все большие мощности. В таких случаях разумнее использовать инструментарий Hadoop, очень эффективный вследствие самой своей архитектуры, гибкий, приспосабливаемый для конкретных нужд и выгодный с экономической точки зрения, так как в его основе лежит Open Source решение.

С помощью Hadoop мы, в частности, решили задачу хранения и обработки неструктурированных данных в одном крупном российском банке. В данном случае речь шла о больших объемах регулярно поступающих данных меняющейся структуры. Эту информацию необходимо обрабатывать, разбирать, извлекать из нее числовые показатели, а также сохранять и исходные данные. Учитывая значительный рост объемов поступающей информации, использовать для этого реляционное хранилище становилось слишком дорогим и малоэффективным способом. Мы создали отдельный Hadoop-кластер для обработки первичных документов, результаты которой загружаются в реляционное хранилище для анализа и дальнейшего использования.

Второе направление – внедрение средств углубленной аналитики для расширения функциональности BI-системы. Это очень перспективное направление, поскольку оно связано не только с решением ИТ-задач, но и с созданием новых возможностей для бизнеса.

Вместо организации специальных проектов по внедрению углубленной аналитики мы стараемся расширять рамки существующих проектов. Например, практически для любой системы полезной функцией является прогнозирование показателей на основе имеющихся исторических данных. Это не такая простая задача, она требует не только навыков работы с инструментами, но и определенной математической подготовки, знания статистики и эконометрики.

В нашей компании есть специальная группа специалистов по анализу данных, которые отвечают этим требованиям. Ими был выполнен проект в области здравоохранения по формированию регламентной отчетности, причем дополнительно в рамках этого проекта было реализовано прогнозирование загруженности медицинских организаций и их сегментация по статистическим показателям. Ценность таких прогнозов для заказчика понятна, для него это не просто использование какой-то новой экзотической технологии, а вполне естественное расширение аналитических возможностей. В результате стимулируется интерес к развитию системы, а для нас – новые работы. Сейчас мы аналогичным образом внедряем технологии прогнозной аналитики в проекте для городского управления.

И, наконец, у нас есть опыт внедрения технологий больших данных там, где речь идет об использовании неструктурированных данных, прежде всего, различных текстовых документов. Интернет открывает большие возможности с его огромными объемами неструктурированной информации, содержащей полезные сведения для бизнеса. Очень интересный опыт у нас был связан с разработкой системы оценки стоимости объектов недвижимости для компании РОСЭКО по заказу Российского общества оценщиков. Для подбора объектов-аналогов система осуществляла сбор данных из источников в интернете, обрабатывала эту информацию с использованием лингвистических технологий и обогащала с помощью гео-аналитики с применением методов машинного обучения.

CNews: Какие собственные решения «Форс» развивает на направлениях бизнес-аналитики и больших данных?
Ольга Горчинская:

Мы разработали и развиваем специальное решение в области больших данных – ForSMedia. Это платформа анализа данных социальных сетей для обогащения знаний о клиентах. Ее можно использовать в разных отраслях: финансовом секторе, телекоме, ритейле – везде, где хотят как можно больше знать о своих клиентах.

Ольга Горчинская
Мы разработали и развиваем специальное решение в области больших данных – ForSMedia. Это платформа анализа данных социальных сетей для обогащения знаний о клиентах.

Типичный сценарий использования – разработка таргетированных маркетинговых кампаний. Если у компании 20 миллионов клиентов, распространять все рекламные объявления по базе нереально. Нужно сузить круг получателей объявлений, и целевая функция здесь – повысить отклик клиентов на маркетинговое предложение. В этом случае мы можем загрузить в ForSMedia базовые данные обо всех клиентах (имена, фамилии, даты рождения, место жительства), а затем на основании информации социальных сетей дополнить их новыми полезными сведениями, включая круг интересов, социальный статус, состав семьи, область профессиональной деятельности, музыкальные предпочтения и т. д. Безусловно, такие знания можно найти далеко не для всех клиентов, поскольку определенная их часть вообще не используют социальные сети, но для целевого маркетинга и такой «неполный» результат дает огромные преимущества.

Социальные сети – очень богатый источник, хотя работать с ним сложно. Не так легко идентифицировать человека среди пользователей – люди часто используют разные формы своих имен, не указывают возраст, предпочтения, непросто выяснить особенности пользователя на основе его постов, групп подписки.

Платформа ForSMedia решает все эти задачи на основе технологий больших данных и позволяет в массовом режиме обогащать данные о клиентах и анализировать результаты. Среди используемых технологий – Hadoop, среда статистических исследований R, средства лингвистической обработки компании RCO, инструменты Data Discovery.

Платформа ForSMedia максимально использует ПО свободного распространения и может быть установлена на любой аппаратной платформе, отвечающей требованиям бизнес-задачи. Но для крупных внедрений и при повышенных требованиях к производительности мы предлагаем специальную версию, оптимизированную для работы на программно-аппаратных комплексах Oracle – Oracle Big Data Appliance и Oracle Exalytics.

Использование в больших проектах инновационных интегрированных комплексов Oracle – важное направление нашей деятельности не только в области аналитических систем. Такие проекты получатся недешевыми, но за счет масштабов решаемых задач они полностью себя оправдывают.

CNews: Заказчики могут как-то испытать эти системы, прежде чем принимать решение о покупке? Вы предоставляете, например, тестовые стенды?
Ольга Горчинская:

В этом направлении мы не просто предоставляем тестовые стенды, а создали крупнейшую в Европе и уникальную в России площадку – Fors Solution Center. Основная его задача – приблизить новейшие технологии Oracle к конечному заказчику, помочь партнерам в их освоении и применении, сделать процессы тестирования оборудования и ПО максимально доступными. Идея возникла не на пустом месте. «Форс» уже почти 25 лет занимается разработкой и внедрением решений на базе технологий и платформ Oracle. У нас большой опыт работы и с клиентами, и с партнерами. Фактически «Форс» - это центр компетенций Oracle в России.

Учитывая этот опыт, в 2011 году, когда появились первые версии машины баз данных Oracle Exadata, мы создали первую лабораторию по освоению этих систем, назвав ее ExaStudio. На ее базе десятки компаний могли открыть для себя возможности новых программно-аппаратных решений Exadata. Наконец, в 2014 году мы превратили ее в своего рода дата-центр для тестирования систем и облачных решений – это и есть Fors Solution Center.

Сейчас в нашем Центре представлена полная линейка новейших программно-аппаратных комплексов Oracle – от Exadata и Exalogic до машины больших данных Big Data Appliance, – которые, по сути, выступают как тестовые стенды для наших партнеров и клиентов. Помимо тестирования, здесь можно получить услуги по аудиту информационных систем, миграции на новую платформу, настройке, конфигурированию и масштабированию.

Центр активно развивается и в направлении использования облачных технологий. Не так давно архитектура Центра была доработана таким образом, чтобы предоставлять свои вычислительные ресурсы и услуги в облаке. Теперь заказчики могут воспользоваться производительными мощностями по схеме самообслуживания: загружать в облачную среду тестовые данные, приложения и осуществлять тестирование.

В результате компания-партнер или заказчик могут без предварительных инвестиций в оборудование и пилотные проекты на своей территории загрузить собственные приложения в наше облако, протестировать, сравнить результаты по производительности и принять то или иное решение о переходе на новую платформу.

CNews: И последний вопрос – что вы представите на Oracle Day?
Ольга Горчинская:

Oracle Day – это главное мероприятие года в России для корпорации и всех ее партнеров. «Форс» неоднократно был его генеральным спонсором, и в этом году - тоже. Форум будет целиком посвящен облачной тематике - PaaS, SaaS, IaaS, и пройдет как Oracle Cloud Day, поскольку Oracle уделяет огромное внимание этим технологиям.

На мероприятии мы представим свою платформу ForSMedia, а также будем рассказывать об опыте использования технологий больших данных, о проектах в области бизнес-аналитики. И, конечно, расскажем о новых возможностях нашего Fors Solution Center в области построения облачных решений.

Павел Притула