Термин «большие данные» появился благодаря Клиффорду Линчу, редактору журнала Nature, выпустившему 3 сентября 2008 г. номер журнала с темой «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами данных?». В этом номере журнала обсуждался феномен взрывного роста масштаба и многообразия обрабатываемых данных.

Термин, выйдя из научных кругов, стал использоваться шире, и, если теперь попытаться определить больше данные на простом языке, то это технология извлечения знаний из огромного массива фактических данных разного формата с максимально возможной скоростью для поддержки принятия того или иного решения. Так называемые три V больших данных (Volume, Variety, Velocity – объем, многообразие, динамика), при этом некоторые авторы добавляют еще один признак V: Veracity – достоверность, что тоже немаловажно.

Взрыв интереса к большим данным вполне обоснован, ведь вокруг нас появилось множество источников, их формирующих: пользовательские данные социальных сетей, множество сенсоров, снимающих показания в реальном времени, интернет-торговля и поисковики, анализирующие действия пользователей, мобильные устройства, сопровождающие людей круглосуточно. Данные из этих источников при правильном анализе могут помочь выявить закономерности, которые обычным способом увидеть невозможно.

Если анализировать потребителей технологий больших данных, то в первую очередь это компании, накапливающие большое количество данных о клиентах, на основании анализа которых можно принять то или иное решение, влияющее на эффективность бизнеса. Совершенно логично, что инициатором использования технологий больших данных в компании должен быть бизнес, ведь именно ему нужны те знания, которые можно извлечь с помощью новых инструментов и именно тогда проект внедрения инструментария анализа может быть эффективен, ведь технологии – всего лишь инструмент.

Но, к сожалению, на практике очень часто потребность в инструментах обработки больших данных идет не от потребности бизнеса, а от любопытства ИТ-подразделения, которое, накопив большие массивы фактографических данных, начинает искать инструменты для их анализа. При отсутствии потребности в бизнесе нужно понять, насколько необходимо анализировать собранный массив данных, может быть, их нужно многократно сократить, что позволит решить задачу технологиями «классического» Business Intelligence (BI).

При этом, если в «классическом» BI схема анализа данных определена заранее, то особенностью применения технологий больших данных является неопределенность схемы анализа, ведь ищутся закономерности, которые пока не очевидны. Для решения задач бизнеса выдвигаются гипотезы, проверкой которых и должна заниматься технология.

Учитывая особенности технологий больших данных, в ближайшей перспективе они скорее будут востребованы наукой, чем бизнесом, однако анализ предпочтений клиентов и попытка предугадать их поведение, предлагая наиболее подходящую услугу именно тогда, когда ее готовы купить – вот задача, которую в бизнесе сейчас уже решают, управляя большими данными. Сейчас видно, что существует несколько отраслей, где накапливаются большие данные, и именно в них возникают потребности для анализа, более всего они востребованы среди крупных компаний на рынках B2C с активной конкуренцией, в то время как на рынках B2B их можно встретить очень редко.

Финансовый сектор

Ключевой отраслью для применения технологий больших данных является финансовый сектор, именно там выстраиваются новые принципы взаимодействия с клиентами. Основой для анализа становятся данные о транзакциях, которые формируются в рамках использования той или иной услуги банка. Один из наиболее частых кейсов – это борьба с мошенничеством. Так, например, в банке HSBC технологии больших данных используются в составе решения для противодействия мошенничеству с кредитными картами, что позволяет повысить эффективность службы безопасности и увеличить точность распознавания инцидентов. По оценке банка, эффект от применения технологии составил более чем $10 млн.

В то же время применение больших данных для сегментации клиентской базы и персонификации предложения для клиента также востребовано в финансовой сфере. Решение этих задач требует детального анализа поведенческих характеристик клиентов и его действий и предпочтений. Например, сегментацию клиентской базы при проведении маркетинговой компании с помощью технологий больших данных производит Райффайзенбанк.

Однако использование клиентских данных при персонификации предложения может вызвать и обратный эффект. Например, голландский ING Bank планировал в этом году запустить проект, связанный с обработкой больших данных, для представления таргетированных рекламных сообщений, основанных на данных о расходах клиентов. Однако эта идея вызвала множество негативных отзывов у клиентов, что послужило причиной изменения стратегии банка в данной области.

Еще одним кейсом использования больших данных является отслеживание негативных отзывов о финансовой организации в социальных сетях и на специализированных сайтах, с целью организации взаимодействия с клиентом для исправления ситуации. Такую технологию можно увидеть в большом числе российских коммерческих банков.

Однако есть примеры применения больших данных не только в банках. Например, компания Thomson Reuters начала анализировать сообщения в Twitter с целью оценки количества положительных и отрицательных сообщений о компании, акции которой котируются на бирже, что позволяет выделить события, воздействующие на рынок и компанию с целью прогнозирования изменения ее стоимости.

Розничная и online-торговля

В розничной торговле менеджеры по закупкам, пытаются синхронизировать свои планы с фактической активностью покупателей, при этом источником информации для анализа выступают социальные сети. Например, компании Metro Cash & Carry интересен анализ взаимодействия их клиентов в социальных сетях, что помогает выявить потребительский спрос, на основе которого можно строить прогнозы – в каких сервисах потребители заинтересованы сегодня и что может привлечь их в будущем.

Персонификация предложения, как и в финансовом секторе, является ключевой темой для применения больших данных в розничной торговле. В частности, активно обсуждается инструментарий доставки сообщений об акциях и скидках потенциальным покупателям, проходящим мимо того или иного розничного магазина. Уже опробованы на практике технологии анализа истории покупок, позволяющие предложить покупателю вещь, которая станет дополнением ранее купленной, тем самым увеличив вероятность покупки.

Онлайн-торговля является той отраслью, в которой эффективность технологий больших данных является наивысшей, ведь все действия покупателей регистрируются в информационной системе, что позволяет персонифицировать предложение с целью увеличения среднего чека. Уже при авторизации на сайте, основываясь на истории предыдущих покупок и используя историю просмотров, покупателю предлагается аксессуар к ранее приобретенным товарам или тем, которые он ранее просматривал на сайте.

В большинстве случаев система анализирует маршрут посетителей и случаи несовершенных покупок с целью «подтолкнуть» к покупке специальной скидкой или дополнительным предложением. Например, компания Otto Group проанализировала поведение покупателей на сайте, характеристики неконкурентоспособных товаров и, дополнив их сведениями из профиля клиента в социальных сетях, смогла в реальном времени выделить наиболее обсуждаемые товары, повысить удовлетворенность покупателей и получить более широкий охват аудитории в сети.

Компания «Юлмарт» использует технологии больших данных, чтобы правильно построить коммуникации с клиентами и маркетинговые стратегии. Например, персонализированная рассылка, проводимая по результатам анализа данных, дает высокую конверсию по сравнению с обычными рассылками компании. Этого эффекта специалисты смогли добиться благодаря использованию специализированных алгоритмов обработки данных, систем рекомендаций и глубинного анализа корреляций в потреблении.

Телеком как потребитель и провайдер

Телекоммуникационный сектор обладает наиболее ценной информацией для использования технологий больших данных, ведь телефон у потребителя всегда собой, что позволяет компаниям анализировать местоположение и активность абонентов. Телекоммуникации, как и банки, используют технологии больших данных для сегментации абонентской базы, персонализации клиентских сервисов и услуг. Например, при прибытии в аэропорт можно предложить подключение услуг роуминга или дать информацию о возможностях «личного кабинета» для самостоятельного включения услуги.

В то же время есть и специализированные задачи для больших данных, например, мониторинг качества услуг или оптимизации работы колл-центра за счет угадывания причины обращения, а также индивидуального подбора и предложения сервисов и тарифов. Можно измерить качество сервиса на уровне каждого клиента, синхронизировавшись с геолокацией, – получить мониторинг качества сервиса по всем точкам пребывания клиента. Это даст понимание необходимости повышения качества связи в тех или иных точках сети.

Задачи внутреннего развития также могут потребовать анализа больших данных, например, определение местонахожедния клиентов, пользующиеся мобильным интернетом наиболее часто, может дать понимание того, где развивать сети и внедрять новые технологии. Примером является сервис для аналитиков рекламных компаний и агентств недвижимости, для которых критичны данные о потоках людей с целью оценки рейтинга рекламных площадок и объектов недвижимости – часть необходимой информации уже собирается и доступна для анализа.

Социальные сети и поисковики

Еще одним потребителем больших данных являются интернет-компании, здесь анализу подвергаются действия пользователей в сети, что позволяет сделать таргетированное предложение рекламы, и именно поэтому эти технологии активно востребованы в поисковиках и социальных сетях. Например, «Яндекс» уже давно анализирует большие данные, чтобы оптимизировать поиск, фильтровать спам, рекомендовать товары и строить маршруты в картах. В компании считают, что технологии больших данных помогли увеличить рыночную долю «Яндекса» во всех предоставляемых сервисах.

Фактически бизнес поисковиков и социальных сетей первоначально основан на технологиях больших данных, в умении использовать данные технологии заключается их конкурентное преимущество. Анализ больших данных Mail.ru позволяет выделить спам, таргетировать рекламу для конкретного пользователя или предложить подружиться в социальной сети. По информации компании, проект «Рейтинг Mail.Ru» еще в 1998 г. был построен на принципах больших данных – в нем есть технологии хранения данных и обработки огромного количества входящей информации, сейчас несколько миллиардов просмотров страниц в день анализируются данным сервисом.

Медицинский фактор

Медицина является одной из отраслей, которая только становится потребителем технологий больших данных, ведь с переходом медицинских учреждений на электронную форму работы становится возможным отслеживать взаимосвязи между принимаемыми препаратами, их эффективность и другие факторы, которые столь важны для фармакологических компаний. Наиболее известным кейсом является использование больших данных для сокращения времени и средств при разработке новых препаратов и выводе их на рынок за счет многофакторного анализа их эффективности.

В жизни обычного врача применение технологий больших данных может позволить не только полагаться на собственные знания, но и в реальном времени изучать данные, полученные от множества специалистов, занимающихся лечением пациентов со схожими заболеваниями, что позволит намного эффективнее анализировать эффективность применяемых методов лечения. Примерами использования технологий больших данных являются создание регистров пациентов с наследственными заболеваниями для упрощения диагностики и для поиска скрытых зависимостей.

Однако в медицине существует множество ограничений на распространение данных о пациентах, что часто накладывает определенные ограничения на возможность такого анализа. Даже в США лишь немногие учреждения здравоохранения готовы к работе с большими данными. MeriTalk провела опрос среди топ-менеджеров из сферы государственного здравоохранения США. Менее 25% считают, что их ведомства готовы работать с большими данными, 59% уверены, что успешная работа с большими данными станет фактором повышения эффективности их учреждения в ближайшие пять лет, а 63% считают, что технологии больших данных позволят более эффективно отслеживать состояние здоровья пациентов.

В качестве еще одного примера медицинского проекта, использующего большие данные, можно упомянуть исследование «Персональный геномный проект», разработанное в Гарвардском университете. В нем планируется выполнить расшифровку персональных геномов множества добровольцев, их генетические данные вместе с записями из медицинских карт будут доступны для дальнейшего анализа.

Инженерия и производство

Одной из специфических отраслей для применения технологий больших данных можно выделить инженерные и производственные компании, которые сталкиваются с телеметрией большого числа технически сложных объектов. Например, в нефтедобыче многие стремятся заменить бурение пробных скважин компьютерным анализом геодезических данных. Технологии больших данных используются для анализа и обработки данных геологоразведки, чем занимается компания «Сейсмотек».

При проектировании самолетов аэродинамические трубы могут быть заменены математической моделью с анализом огромного числа параметров. При испытании автомобиля может быть собрано огромное число данных с бортовых устройств, на основании анализа которых нужно будет внести изменения в существующую конструкцию. Учитывая недавнее появление автопилотов для автомобилей, технологии больших данных могут стать критически необходимыми для обеспечения безопасного движения.

Данные технологии могут быть использованы и на этапах эксплуатации технически сложных устройств. Чтобы повысить качество сервисного обслуживания, производители могут устанавливать датчики для отслеживания необходимости технического обслуживания и обнаружения недочетов на ранних этапах, экономя на затратах на ремонт или отзыв изделия.

В ожидании результатов

В 2012 г. технологии больших данных были рядом с пиком завышенных ожиданий цикла зрелости технологий от Gartner. В 2013 г. в прогнозах большие данные находились на самой вершине пика, при этом аналитики Gartner ожидают, что большие данные достигнут зрелости спустя 5–10 лет, что подразумевает серьезное развитие технологий в ближайшее время.

Но, несмотря на активный информационный поток в части данных технологий, в опубликованном в октябре 2013 г. ежегодном списке Gartner «Топ-10 стратегических технологий будущего года» больших данных там нет, что может означать их «сползание» в «пропасть разочарований».

Теперь остается ждать практических результатов и доработки инструментов, поддерживающих технологию больших данных по результатам их практического использования, ведь потребность уже появились, и решать ее придется. Главное, чтобы бизнес успевал за таким стремительным развитием инструментов и технологий.