Поделиться
Бум вокруг Hadoop: новая рыночная ниша для аутсорсеров
Apache Hadoop, открытая технология работы с «большими данными», всё активнее распространяется в бизнесе, и спрос на специалистов, способных развертывать и строить Hadoop-кластеры, значительно опережает предложение. Компании, нуждающиеся в Hadoop, зачастую не могут нанять эксперта по технологии в штат, благодаря чему на рынке сложилась благодатная почва для аутсорсинга и продажи услуг по обучению персонала.Согласно оценкам IDC, объем мирового рынка ПО и услуг на основе Hadoop в 2011 г. составил $77 млн, увеличившись более чем на 60% по сравнению с предыдущим годом. К 2016 г. его объем достигнет $812,8 млн, уверены в IDC.
Впервые Hadoop заявила о себе в поисковых системах. В 2008 г. компания Yahoo выпустила первое крупное призводительное приложение на её основе, положив начало популярности анализа «больших данных». В 2009 г. свой дистрибутив Hadoop выпустила компания Clouderа, за ней к развитию Hadoop подключились Hortonworks и MapR, расширив доступность технологии.
По мере того, как Hadoop проникает в различные индустрии — от издательского дела до сельского хозяйства — компании всё острее чувствуют нехватку квалифицированных кадров в своих ИТ-отделах, пишет канадское издание IT Business. ИТ-директора вынуждены обращаться к поставщикам технологий за услугами аутсорсинга, включающими развертывание и обслуживание кластеров на основе Hadoop, а также за консультациями и обучением персонала.
«Нехватка специалистов — это преуменьшение, - говорит Джеффри Вебер (Geoffrey Weber), ИТ-директор издательской компании Shutterfly, одной из активных пользователей Hadoop. - Если смотреть на вещи реально, мне кажется, для компании такого размера, как наша, просто невозможно выйти на рынок труда и нанять "ветеранов" Hadoop».
Shutterfly, издательская онлайн-платформа, вряд ли может назвать себя малым бизнесом: выручка компании за 2011 г. превысила $473 млн. Однако, специалистов по Hadoop настолько мало, что компания вынуждена сражаться за них с Facebook и LinkedIn.
«Если вы эксперт по Hadoop и были в изначальном составе команды, занимавшейся его разработкой, ваши навыки и опыт практически уникальны. Вы можете выбрать любую компанию, в которой хотите работать, и назвать любую сумму, которую хотите получать, - считает Вебер. - Для нас очень сложно приобрести специалиста такого уровня».
По словам Вебера, применение Hadoop отдельно взятой компанией обычно начинается как неформальный эксперимент. К примеру, один из сотрудников может заинтересоваться Hadoop, скачать дистрибутив из сети и самостоятельно построить небольшой кластер. Использование же Hadoop в коммерческих проектах требует дополнительных человеческих ресурсов, которые практически невозможно заполучить в свои руки.
На помощь приходит аутсорсинг, который, в первую очередь, предоставляют сами поставщики Hadoop — Apache Foundation, Hortonworks, Cloudera и другие. Клиенты заключают контракт с вендорами Hadoop на обслуживание своих кластеров на период, который требуется для того, чтобы поставить проект на ноги. Тем временем, компания проводит обучение внутреннего ИТ-персонала работе с Hadoop — усилиями поставщика или же сторонних компаний, специализирующихся на тренингах и консалтинге.
«В настоящий момент Hadoop только превращается из научно-исследовательского проекта в мейнстримовую корпоративную технологию, - поясняет Тимоти Диэп (Timothy Diep), менеджер по бизнес-развитию DCKAP - одной из компаний, предоставляющих обучение и консалтинговые услуги по Hadoop. - Люди, которые понимают, как Hadoop устроена изнутри, ценятся очень высоко».
По словам Диэпа, клиенты его компании, в основном, заказывают организацию обучения по трём основным наборам навыков: аналитик по большим данным, инженер алгоритмов Hadoop и специалист по управлению данными. Сотрудников обучают не только работе с Hadoop, но и навыкам в области SAS (Statistic Analysis System — система анализа статистики от SAS Institute), SPSS (Statistical Package for the Social Sciences — статистический пакет для социальных наук от компании IBM) и языка программирования R.
Дистрибьюторы Hadoop также предоставляют услуги обучения. Так, Hortonworks предлагает быстрые курсы администрирования Hadoop и разработки ПО для работы с «большими данными» в рамках своего проекта Hortonworks University. Курс разработчика длится четыре дня, курс администратора — два. Аналогично, MapR Technologies предлагает обучение в области администрирования Hadoop, моделирования данных и разработки ПО.
Компания Cloudera организует учебные курсы, комбинирующие в себе администрирование и разработку ПО. По словам Омера Траймана (Omer Trajman), вице-президента Cloudera по технологическим решениям, за три года компания обучила более 12 000 работников. Курсы, организуемые Cloudera, ежемесячно проходит около 1500 человек.
Короткая ссылка
