Важная тенденция — бум использования «хайповых» технологий в реальных проектах
21.01.2020
«Самое важное изменение, которое мы видим на нашем рынке — изменение структуры расходов на ИТ»
CNews: Давайте начнем с общего вопроса: российский ИТ-рынок, с учетом всех бедствий, свалившихся на него в последние годы — развивается или стагнирует? И если развивается, то лучше или хуже, чем, если бы этих бедствий не произошло?
Российский ИТ-рынок безусловно активно развивается. Самое важное изменение, которое мы видим на нашем рынке — изменение структуры расходов на ИТ. В том числе — в банковской отрасли, в которой у «Неофлекс» большинство проектов. Крупнейшие банки хотят больше делать сами, поэтому налаживают собственную инфраструктуру, увеличивают штат ИТ-специалистов и предпочитают наиболее сложные и крупные проекты вести самостоятельно, покупая на рынке экспертизу и исполнителей. Эта тенденция — общерыночная. Конечно, она больше заметна в крупных банках, но справедлива и для средних игроков. Это связано с тем, что банки вынуждены бороться за клиента и хотят свои ключевые продукты создавать своими руками.
Важная тенденция — бум использования технологий, которые принято считать «хайповыми», в реальных проектах. Например, почти во всех крупных банках используются или разрабатываются решения на базе микросервисной архитектуры, а также ведутся проекты в области больших данных. Эти проекты требуют определенной зрелости производственных процессов, что приводит к использованию DevOps, потому что при реализации каждого проекта приходится продумывать методы организации команды, автоматизации процессов и управление инфраструктурой.
«Данные нужно превращать в реальный актив»
Я согласна с тем, что мало просто накапливать данные, необходимо еще и превращать их в реальный актив. Эта задача беспокоит многих наших клиентов. Есть много хитростей, которые помогают извлекать пользу из больших данных, появляются реальные проекты с реальной ценностью. Собирать данные нужно оперативно и дешево, их необходимо постоянно поддерживать в актуальном состоянии, для чего нами применяются специальные методики Data Injection, Scheme Evolution, Data Governance. Отсутствие такой постоянной актуализации приводит к «заболачиванию» озер данных, к созданию которых, к слову, нужно подходить профессионально. А чтобы получить из данных ценность, используя технологии машинного обучения и искусственного интеллекта, нужно строить, обкатывать определенные модели данных в «песочницах данных». Построение такого Enterprise Data Lake — достаточно сложная задача, требующая экспертизы и опыта, но именно данный подход позволяет сократить time-to-value с нескольких лет для классических хранилищ данных до нескольких месяцев.
При реализации таких проектов мы используем акселератор собственной разработки — Neoflex Datagram, позволяющий быстро и легко создавать аналитические решения на технологиях больших данных. Сбор и трансформация данных, загрузка витрин, расчет показателей — все это можно представить в визуальном режиме с помощью фреймворка, и это гораздо проще и дешевле, чем использовать сложные инструменты, которые применяются в больших данных.
Надо заметить, что мы применяем данные подходы не только в банковской сфере. C одним из наших клиентов, занимающимся медиаисследованиями федерального масштаба, мы строим решение на платформе Hadoop, которое позволит обеспечить обработку данных об аудитории более 250 радиостанций, 300 телеканалов, а также более 4000 ведущих интернет-площадок, что в год составит около 2 петабайт данных. Быстрой разработке прототипа решения поспособствовали подходы Agile и Scrum, благодаря которым быстрее появился первый прототип, а сам процесс развития решения строился таким образом, что результаты появлялись постепенно.
Их пока немного, но мы видим, что это — очень перспективное направление. Опираясь на наш опыт, могу сказать, что большие данные приносят много преимуществ бизнесу, особенно если использовать современные инструменты потоковой обработки информации.
Интересный проект был реализован в прошлом году в банке «Открытие». Совместно с экспертами банка мы создали систему онлайн-мониторинга событий информационной безопасности. Принцип работы простой: происходит захват логов от систем сбора событий и непрерывный анализ на предмет потенциально опасных или аномальных ситуаций. Данные собираются в real-time витрины, после чего запускается процесс реагирования. Речь идет о действительно больших объемах данных: в систему приходит до 60 000 сообщений в секунду, дневной объем около — 1,25 терабайт. Это сложное инженерное решение, при разработке которого мы использовали самые современные инструменты работы с большими данными — Kafka, Spark Streaming, Kudu, Impala.
В НКЦ, «Национальном Клиринговом Центре», было внедрено решение Neoflex Reporting Big Data Edition для формирования регуляторной и налоговой отчетности. НКЦ ежедневно проводит расчеты по результатам работы Московской Биржи. Важно подчеркнуть, что объемы данных велики — через Биржу проходит до 30 млн. операций в сутки, а отчетность должна быть подготовлена в течение 25 минут. Отмечу, что именно современные технологии больших данных позволяют решать такие задачи.
Елена Лукутина:
- Окончила с отличием факультет Вычислительной математики и кибернетики МГУ им М. В. Ломоносова.
- Работает в области автоматизации банковской деятельности с 1995 года.
- В компании «Неофлекс» с момента ее основания отвечает за операционную эффективность и развитие процессов.
- Курирует деятельность департамента управления проектами и ряд других подразделений компании.
Конечно, бизнес имеет право использовать самые разные подходы, и Agile, как один из них, успешно применяется и в вертикальных структурах. Нельзя сказать, что Agile — панацея и однажды останется только он. Но, принцип итерационного движения дает возможность вовлекать в процесс разработки как исполнителя, так и заказчика, и быстро получать первые результаты, что еще и вдохновляет команду на дальнейшее продвижение к конечной цели.
У нас есть заказчики, которые настаивают на Agile, есть те, кто относится к этому с осторожностью, а есть и компании, которые считают, что подобные подходы только вредят, так как это увеличивает стоимость проекта.
«Всем нужна непрерывная доставка»
DevOps — это подход к организации производственных процессов, который является следствием усложнения как требований к разрабатываемым решениям, так и используемых технологий. Без автоматизации процессов разработки и развертывания обойтись уже практически невозможно. Всем необходима непрерывная доставка, автоматизация тестирования, контроль качества кода и другие преимущества DevOps. И большой проект без этого уже не сдвинуть с места. Все хотят получать результат быстро: прототип — через месяц, простой продукт — через два, усложненный — через два с половиной. Это приводит к необходимости параллельной работы: каждый разработанный компонент должен мгновенно собираться в поставку, тестироваться и отправляться на контуры, в которых будет проводиться тестирование. И предъявляет высокие требования к организации и автоматизации процесса. Например, любой дефект кода должен выявляться как можно быстрее; и раньше, когда мы делали большие решения, на это просто уходило существенное время.
В течение последних двух лет мы разрабатывали для компании «ПЭК», занимающейся перевозками грузов, систему, которая позволяет автоматизировать операционную модель логистики. В основе решения лежит стек технологий Big Data и Fast Data: микросервисы написаны с использованием Akka Framework, а задачи потоковой обработки данных реализованы с помощью Spark Streaming. Обмен сообщениями между компонентами решения реализован с помощью Apache Kafka. Система управляет тысячами рейсов и работой сотен складов, прогнозируя перевозки на месяц вперед. Разработка такой системы немыслима без DevOps подходов. Были выстроены процессы управления релизами и автоматизировано развертывание как релиза, так и конкретного изменения, управление проектными артефактами, регрессионное и нагрузочное тестирование. Все это позволило существенно сократить время выноса обновлений до минут, сократить скорость локализации инцидентов, а также наладить прозрачный для всей проектной команды производственный процесс, улучшить коммуникации.
«Микросервисы — это очень красивая идея»
Микросервисы — это и модная тема, и бизнес-необходимость. Все озабочены тем, что клиентам нужно предлагать новые продукты и новые формы взаимодействия, причем делать это нужно очень оперативно. Поэтому банки вынуждены постоянно придумывать новые продукты. И их ИТ-системы должны поддерживать запуск этих продуктов. В монолитных системах старого образца часто было сложно что-то оперативно доработать, требовалась дополнительная разработка, которую еще и приходилось заказывать у внешнего вендора. Все это требовало определенного времени, и банкам не нравилось, что они его теряют. Идея микросервисной архитектуры позволяет разбить бизнес-приложения на компоненты и, выделив бизнес-функциональность в отдельную компоненту, развивать и обновлять ее оперативно и независимо от других. Это действительно очень красивая идея, которая позволяет вносить адаптации в новые продукты достаточно быстро.
За последние несколько лет подоспела и технологическая платформа, появились очень хорошие стабильные системы управления микросервисными приложениями — Kubernetes, RedHat OpenShift и др. Это привело к тому, что мы наблюдаем бум разработки таких приложений.
Конечно. Прежде всего, надо понимать, что мы говорим о сложных приложениях, которые нужно уметь проектировать и разрабатывать. Нужно создать достаточно независимые компоненты, чтобы взаимодействие между ними было минимизировано, иначе обновление микросервисов будет затруднено. Для этого нужно использовать специальные методики, и мы, в частности, используем подход Domain Driven Development, который позволяет выделять под микросервисы бизнес-функциональность.
Другая сложность связана с тем, что без DevOps и автоматизации производственного процесса не обойтись. Если разрабатывать параллельно множество микросервисов, то нужно понимать, в каком состоянии находится каждый из них, каких они версий, куда вынесены и как настроены. Это предполагает четкую фиксацию состояния решения и автоматизацию всех процессов по его изменению. Мы применяем подход Everything as a Code, при котором данные, которые должны быть изменены в приложении — например, код или настройки — должны поступать в виде кода. Это дает возможность зафиксировать изменения, видеть их историю, своевременно проверять и тестировать, чтобы обеспечить максимальное качество.
Еще одна проблема состоит в том, что мониторинг микросервисного приложения, состоящего из множества компонент — это отдельная сложная задача, решение которой нужно продумывать еще на этапе проектирования. А чтобы его сопровождать, нужно использовать новые поколения инструментов, таких как Prometheus, Grafana или Elastic Stack.
И самая главная сложность заключается в том, что на российском рынке пока недостаточно экспертизы, хотя микросервисные решения и популярны. Это приводит к увеличению стоимости разработки и к дополнительным проблемам, связанным с нехваткой кадров.
В «Неофлекс» — есть. Для их подготовки мы организовываем учебные программы, в наших филиалах открываются отдельные центры разработки. В них мы наращиваем экспертизу ИТ-специалистов до того уровня, которого требуют современные решения.
Елена Лукутина:
Например, в банке SBI мы в достаточно короткие сроки (менее, чем за год) разработали в микросервисной архитектуре приложение для ДБО юридических и физических лиц. Уже в течение первых недель мы наладили прикладную разработку и начали показывать заказчику результаты. Этого удалось достичь за счет того, что все инфраструктурные вопросы и вопросы организации производственного процесса мы переложили на разработанную нами в течение двух последних лет платформу Neoflex MSA Platform, которая является набором шаблонов и инструментов для организации работы инфраструктуры и производственного процесса микросервисного приложения. Разворачивая ее и формируя команду, можно быстро начать разработку и сразу получать результат, пропуская сложный и долгий этап установки и наладки всех необходимых компонент, настройки интеграции и автоматизации.
В еще одном банке мы занимаемся не просто разработкой приложений, а построением платформы для разработки микросервисных бизнес-приложений. Эта платформа позволит независимым командам банка вести разработку самостоятельно и управлять этим процессом. Нами уже разработаны пилотные приложения, мы запустим их в ближайшее время.
Все технологии, которые сейчас на слуху, будут постепенно развиваться. Наиболее перспективными нам представляются решения на основе больших данных, искусственного интеллекта, машинного обучения, технологии потоковой обработки данных, обеспечивающей принятие решений в онлайн-режиме. В «Неофлекс» есть специализированное R&D-подразделение, которое практически все время тратит на поиск перспективных для нашего рынка технологий. Его сотрудники изучают созданные на их основе решения, после чего создают собственные прототипы, пытаясь найти то, что будет интересно уже завтра. Мы всегда будем стараться находиться на острие и завтра предлагать то, что сегодня еще не так известно и распространено, но будет приносить ценность бизнесу уже в ближайшем будущем.