Согласно данным IDC, к 2015 г. объем хранящихся данных увеличится на 40%, а рынок сервисов и технологий для работы с большими данными превысит $16,9 млрд. Сегодня объем этого рынка оценивается в $7 млрд.

В McKinsey считают, что большие данные помогают оптимизировать маркетинг, что в может обеспечить прирост операционной маржи в среднем на 10-40%. Однако для отечественного госсектора большие данные – новое направление. Вряд ли их использование существенно сократит госрасходы, однако оно позволит лучше узнать граждан и даже помочь им в экстремальных ситуациях.

Что такое большие данные?

Электронные запросы, данные системы межведомственного электронного взаимодействия, запись ко врачу через портал госуслуг, заявления, подаваемые через веб-порталы, обращения граждан – все это формирует огромные массивы данных. Сведения, оставленные в соцсетях и на официальных страницах администраций городов или учреждений, упоминания на форумах и в частных блогах – все это также прибавляет веса к имеющейся информации.

Большие данные нуждаются в эффективной обработке. Так, на первом этапе исходную информацию необходимо собрать, затем сохранить, следом очистить, и в конце структурировать. Наиболее эффективным на этом этапе представляется использование таких решений анализа информации, как Text Analytics, Data Quality, Data Integration/Federation. На последних этапах работу выполняют аналитические системы с высокой производительностью.

Итоговые документы формируются, как правило, при анализе файлов мультимедиа (видео, изображения, аудио), текстовых сообщений. Если на начальном этапе три четверти всей информации в госсекторе неструктурировано или слабо структурировано, то на выходе получается отчет, результаты которого всегда непредсказуемы.

Потоки данных с появлением электронных форм возросли многократно, и не использовать эти данные – большое упущение. Неудивительно, что аналитические решения в первую очередь заказывают государственные органы. Ведь главная цель любого цивилизованного государства – выявление закономерностей в жизни общества, прогнозирование и моделирование изменений социальных, экономических, политических и прочих процессов. Со всеми этими задачами помогает анализ больших данных – обработка структурированной и неструктурированной информации. Современные информационные системы, которые внедряются сейчас, уже содержат в себе аналитические модули. Благодаря таким системам, органы государственной власти (ОГВ) могут формировать отчеты, содержащие некоторые важные данные.

Социализация больших данных

Поток электронных документов и анализ web-ресурсов – это две основные области, в которых использование больших данных может дать объяснения общественным процессам. Госслужащие из этих источников получат данные об эффективности градостроительной политики, состоянии ЖКХ, качестве госуслуг и даже предотвратят возможные разрушения и человеческие жертвы.

Так, Министерство внутренних дел Японии планирует своевременно предоставлять населению информацию об эвакуации во время землетрясений, цунами и оползней. Поможет в этом аналитика больших данных. Специалисты будут собирать статистические данные о различных природных явлениях. Источниками информации станут «Твиттер» и «Фейсбук». Например, оставленный комментарий с координатами места чрезвычайного происшествия, разрушений поможет в работе спасателей. Анализируя посты и комментарии, специалисты будут четко понимать, в каких точках необходимо максимальное присутствие специалистов МЧС. Фотографии с геометками, оставленные в социальных сетях, только упростят работу экстренных служб. Первые испытания системы пройдут весной 2016 г.

В Австралии анализ больших данных уже работает, но пока только на устранение последствий ЧС. Правительство этой страны использует онлайн-приложение, позволяющее агрегировать информацию из различных источников, в том числе – социальных сетей. Посты, комментарии к ним, прикрепленные фотографии с геометками с помощью решения некоммерческого фонда Ushahidi, Inc. позволяет задействовать топографические данные, карты, фотографии со спутника с указанием времени. Спасатели, используя возможности анализа больших данных, понимали точные координаты разрушений, каким кварталам нанесен максимальный урон, какая конкретная помощь требуется населению, зоны риска и состояние дорог.

Помогают большие данные и в спокойное время. В июле 2014 г. испанская столица решила улучшить электронные сервисы, которые предоставляются жителям Мадрида и позволяют населению общаться с чиновниками. В проекте, оцененном в ?14,7 млн, за основу приняты инструменты по анализу больших данных.

Администрация Мадрида будет оценивать уровень предоставляемых услуг (благоустройство, освещение, вывоз мусора и т.д.) и, исходя из получаемого коэффициента эффективности, расплачиваться с подрядчиками. Специально для проекта разработано более 300 KPI. Сервис получил название Madrid iNTeligente (MiNT) – «Умный Мадрид». Его задача – получение и обработка данных, которые присылают пользователи мобильных устройств. Например, если горожанин раньше коммунальщиков увидит, что ливневая канализация не справляется с основными функциями, он сможет отправить фотографию через сервис и получить оперативный ответ: «Когда проблема будет устранена?» Однако в администрации Мадрида не намерены ждать, когда жители сами расскажут о проблемах, а будут, с помощью MiNT, собирать данные с камер видеонаблюдения, различных датчиков и т.д. и анализировать их. Мегаполисы Израиля, Испании, Греции и Португалии могут быть следующими городами, в которых будет реализован аналогичный сервис.

Большие данные помогли сформировать программы развития здравоохранения в Канаде. Из различных источников были собраны сведения за 17 лет. Это истории болезни пациентов, рецепты, рентгеновские снимки, количество посещений конкретных медучреждений и т.д. В результате анализа этого массива информации удалось выявить целый ряд факторов, оказывающих негативное влияние на здоровье населения.

В той же Канаде большие данные помогли Минздраву создать базу данных препаратов, вызывающих привыкание. Для этого были проанализированы сведения, полученные сотрудниками аптек и медучреждений. Дело в том, что малоизвестные препараты также и малоизучены. Риск от их применения может быть обнаружен не сразу. Благодаря анализу больших данных, удалось снизить наркозависимость на 16%, а общие расходы на конроль отпускаемых по рецепту лекарств - на 10%. Также согласно данным исследования, организованного Infoway, эффективное использование разнородной информации канадским Минздравом помогло резко снизить количество визитов пациентов, нагрузку на больницы и медперсонал. Ежегодно это сэкономит 18,8 млн часов работы врачей и позволит получить экономический эффект в размере $408 млн.

В Службе внутренних доходов (Internal Revenue Service's) США существует научно-исследовательское подразделение. Именно этот департамент IRS работает с большими данными. Отдел проводит эконометрическое моделирование, прогнозирование и исследование соблюдение законности. С помощью анализа разнородной информации ведомство прогнозирует налоговые преступления, кражи личных данных, мошенничество, моделирует финансовые риски и оценивает влияние изменения законодательства на поведение налогоплательщиков.

С помощью анализа больших данных можно мгновенно реагировать на различные законодательные инициативы. Например, пенсионный департамент может использовать информацию как на реакционной основе, так и просчитывать сценарии «что, если». Департамент труда и пенсий Великобритании, используя внутреннюю и внешнюю информацию, составляет прогнозы, описывающие спрос на ресурсы. «Старение» общества, доходы и дефицит ведомства, расходы на различные выплаты, выявление нелегальных получателей пенсии, результаты планируемого повышения пенсионного возраста – в предсказаниях последствий всего этого помогают большие данные.

Все чаще термин «большие данные» в текстах новостей можно встретить рядом с определениями умного города. Обуздать пробки, снизить преступность, оптимизировать уличное освещение, расход воды, работу коммунальных и медицинских служб и т.д. помогает анализ неструктурированной и слабоструктурированной информации. Например, в норвежском Осло, который известен прохладным климатом, приоритетом для местных властей стало энергосбережение. С помощью больших данных уличные службы разработали оптимальное расписание использования искусственного освещения, что позволило сократить затраты городского бюджета в этой сфере на 62%.

До 2018 г. Китай планирует создать 90 умных поселений - умных городов. В основе любого умного города – сбор информации из различных источников, баз данных, метрик, соцсетей, интернета и т.д. Задачей построения умных городов займутся центральное правительство Китая, Министерство жилищного строительства и городского развития сельских районов. «Наступила эпоха больших данных, которые служат ядром новой научно-технической революции и играют весомую роль в строительстве умных городов. Концепция «умного города» является новой тенденцией в строительстве и управлении городами и позволит более безопасно и эффективно развивать городские пространства», - цитирует ИА Синьхуа Чжоу Цзи, директора Инженерной академии Китая.

Суровые российские реалии

Российский госсектор пока не добился значимых результатов в работе с большими данными. Сегодня в России подобными технологиями интересуются в основном коммерческие предприятия: торговые сети, банки, телекоммуникационные компании.

На официальных сайтах Правительства и Президента России термин «Большие данные» встречается не более 10 раз. Это говорит о том, что на федеральном уровне современная технология обработки информации еще не обозначена в числе приоритетных. Однако понимание важности больших данных год от года только растет.

Так, 8 июня 2013 г. в рамках заседания Правительства РФ обсуждалась «дорожная карта» по развитию информационных технологий. В процессе обсуждения удалось выработать список направлений, которые нуждаются в поддержке государства в следующее десятилетие.

«В эти направления могли бы попасть такие технологии, как инфраструктура и приложения для мобильного широкополосного интернета, большие данные, робототехника, новые интерфейсы «Человек-компьютер» и другие. Очень важно для тех людей, которые работают в отрасли, получить сигнал, что будет востребовано в течение следующих 10 лет», - говорит Альберт Ефимов, директор по проектам кластера информационных технологий «Сколково».

Владимир Фортов, президент Российской академии наук, присутствующий на совещании, также наиболее перспективным направлением, подлежащим реализации, назвал работу с большими объемами данных. «Это очень серьезный раздел – это предсказательное моделирование на суперкомпьютерах… В оборонных исследованиях США запрещено приходить к экспериментам, если вы не провели моделирование на супер ЭВМ», - говорит он.

Проекты использования больших данных на федеральном уровне единичны. Например, ЦБ РФ с 1 июля 2014 г. обязал банки сообщать налоговикам об открытии и закрытии вкладов населения, движении по ним денег, изменении реквизитов. Как пишет «Российская газета», «банки представляли налоговикам данные об открытых счетах только юридических лиц и индивидуальных предпринимателей». Полученные данные направляются в Федеральную налоговую службу. Последняя, используя большие данные, получает актуальную информацию о счетах неплательщиков и затем блокирует банковские счета во всех банках сразу, а не поочередно, как это происходило до нововведения.

В Федеральной налоговой службе создается всероссийское хранилище данных. В него внедряют аналитический слой. В ведомстве рассчитывают получать информацию более чем из 1 тыс. источников.

На уровне регионов проектов по использованию технологий больших данных больше, но они малоизвестны. В каждом субъекте Федерации в той или иной степени действуют «ситуационные центры». Лицам, принимающим решения, такие площадки, по мнению Григория Сизоненко, генерального директора компании ИВК, совершенно необходимы.

«Большая аналитика часто бывает неразрывно связана с такими площадками. Если сама идеология построения, общие технические и организационные подходы создания СЦ апробированы, то вменяемых конкурентоспособных решений для оснащения СЦ немного. Это касается и статистических, расчетных пакетов, и средств работы с новостными ресурсами, и средств представления информации для заказчика, и, особенно, средств прогнозирования развития интересующих заказчика процессов», - уверен он.

Использованию больших данных в госсекторе будут способствовать муниципальные и региональные программы, такие как «Безопасный город» и «Умный город». Пока что не все они способны работать с неструктурированной и слабоструктурированной информацией, но в будущем ситуация может кардинально измениться.

Ведь только при комплексном освоении информации – медиа-файлов, текстовых документов, социальных сетей и т.д. возможно построение эффективных городских и региональных информационных систем. Конечные результаты анализа больших данных должны быть доступны оперативно, и, по возможности, максимальному числу пользователей.

Что касается федерального уровня, то первыми, кто воспользуется анализом разнородной информации, станут российские госкомпании и ведомства, подключенные к Системе межведомственного взаимодействия (СМЭВ), которая генерирует огромный информационный трафик. Но для этого необходимо расширить сферу обмена данными между госорганами, не ограничиваясь лишь отдельными запросами.

Пользователи государственных облаков - еще одна категория, которая с успехом сможет использовать большие данные. Спектр рассматриваемой информации будет широк: от сообщений в соцсетях с жалобами на работу ведомств и чиновников до социально-экономических показателей.