Gartner: Hadoop погибнет, не успев расцвести

Бизнес Финансовые результаты Интеграция Бизнес-приложения
мобильная версия
, Текст: Валерия Шмырова

Gartner полагает, что Hadoop никогда не достигнет «плато продуктивности», потому что его облачные аналоги обходятся дешевле, и их можно кастомизировать. Зато «плато» достигнет блокчейн, как и распределенные реестры вообще. На это им понадобится от пяти до десяти лет.


Влияние облака

Дистрибутивы Hadoop устареют еще до того, как эта технология достигнет в своем развитии окончательной зрелости — так называемого «плато продуктивности». Причина — распространение облачных продуктов аналогичного назначения, которые заставляют заказчиков усомниться в целесообразности использования всего сложного набора Hadoop, поскольку в облаке они платят лишь за фактически полученные услуги и могут модифицировать продукт под свои нужды в обработке данных. К такому выводу пришла аналитическая компания Gartner, опубликовавшая исследование под названием «Цикл зрелости технологий управления данными» за 2017 г.

Распространение облачных услуг также привело к появлению новой технологии, которая пока что находится на стадии «технологический триггер» — это SQL-интерфейсы для объектных хранилищ. С их помощью данными в облаке можно управлять, используя синтаксис SQL. Gartner полагает, что SQL-интерфейсы достигнут «плато продуктивности» в срок от двух до пяти лет, поскольку сейчас находятся в фокусе работы большинства облачных вендоров. Эта технология особенно удобна для размещения больших объемов мультиструктурных данных, отмечает Gartner.

Напомним, всего Gartner выделяет пять стадий развития технологии: технологический триггер, пик чрезмерных ожиданий, избавление от иллюзий, преодоление недостатков и плато продуктивности.

Что такое Hadoop

Hadoop — это свободный набор утилит, библиотек и фреймворк для управления данными, написанный на Java и развиваемый сообществом Apache Software Foundation с 2005 г. Содержит средства для создания и выполнения распределенных программ, предназначенных для работы на больших кластерах. Hadoop применяется в поисковых механизмах сайтов с высоким уровнем посещаемости, вроде Yahoo! и Facebook.

Цикл зрелости технологий управления данными Gartner за 2017 г.

Hadoop включает в себя набор библиотек и утилит Hadoop Common, распределенную файловую систему HDFS, систему управления кластером YARN и вычислительную платформу Hadoop MapReduce. Является одной из базовых технологий в сфере больших данных, имеет собственную экосистему.

Ключевые технологии по Gartner

Проанализировав в общей сложности 35 технологий, компания Gartner выделила четыре из них, как ключевые для ИТ-отрасли. В их число вошли решения по обработке потока событий (ESP), в том числе распределенные платформы поточных вычислений (DSCPs) и платформы для обработки потока событий (EPPs). Эти технологии улучшают качество принимаемых решений, сосредотачивая внимание пользователя на тех данных, которые могут легко затеряться.

Также в четверку революционных технологий попали СУБД типа in-memory, которые становятся все более зрелыми и востребованными, несмотря на дороговизну инфраструктуры, необходимой для их поддержки. Рост in-memory СУБД сдерживается невысоким уровнем доступности, однако подогревается существенным ускорением транзакций — от 100 до 1 тыс. раз.

Gartner полагает, что ESP и in-memory СУБД достигнут «плато продуктивности» в течение двух-пяти лет.

Блокчейн и распределенные реестры

Также к четверке ключевых технологий были причислены блокчейн и распределенные реестры. Им Gartner предсказывает достижение «плато продуктивности» в срок от пяти до десяти лет. Их распространение сдерживается тем, что у бизнеса нет опыта работы с подобными технологиями, и их преимущества не всегда ясны. Частные распределенные реестры в целом более успешно преодолевают проблемы и доказывают свою полезность, чем публичные.

Блокчейн, несмотря на ряд проблем с управлением, масштабированием и доверием со стороны корпоративного сектора, вскоре будет внедряться повсеместно, поскольку это путь к росту эффективности бизнеса. Если говорить о более отдаленной перспективе, то он произведет революцию в ряде секторов экономики, полагает Gartner.