ВТБ впервые внедрил Hadoop и PostgreSQL для работы с большими данными

Софт Бизнес Интеграция ИТ в банках ИТ в госсекторе
мобильная версия
, Текст: Денис Воейков

Банк ВТБ впервые обратился к технологии больших данных, использовав для этого открытые программные продукты Hadoop, Apache Spark, Apache Zeppelin и интеграцию с PostgreSQL.


Большие данные в банке ВТБ

Как стало известно CNews, в банке ВТБ завершился пилотный проект по внедрению инструментов больших данных с использование свободного ПО. В организации была развернута система формирования аналитической и управленческой отчетности на открытой платформе Hadoop с применением технологий обработки данных Apache Spark и Apache Zeppelin. В качестве реляционной СУБД была задействована свободная PostgreSQL. Об этом рассказал управляющий директор департамента транзакционного бизнеса банка ВТБ Андрей Новаков. При этом он пояснил, что PostgreSQL непосредственной частью системы не является и в случае необходимости может быть заменена на другую базу данных.

Для банка это стало первым опытом в области больших данных, хотя в целом в группе ВТБ (в частности, в ВТБ 24) уже внедрены проприетарные решения Teradata, SASи Oracle. Новаков считает, что используемый в банке ВТБ стек технологий открытых продуктов экономически более эффективен.

Система получила название ГАУСС (GAUSS) — Global Transaction Business Analytic Unified Source & System, единая аналитическая система-источник для транзакционного бизнеса. «Вендором проекта выступила компания Luxoft», — сообщили в организации. При этом права на систему после внедрения в промышленную эксплуатацию по договору перейдут к банку ВТБ, лицензионные платежи не потребуются.

Банк ВТБ впервые обратился к большим данным

Компания с российскими корнями Luxoft внедряла решения в области больших данных в банках Deutsche Bank, UBS, Nordea.

На нынешний момент ГАУСС используется для построения отчетности, но также рассматривается его применение для оценки различных рисков (кредитных, клиентских, партнерских), выявления мошеннических схем, моделирования целевых коммерческих предложений и пр. В планах его интеграция с аналитической системой Microsoft Business intelligence, которая уже действует в банке и будет адаптирована для ГАУССа.

Проект стартовал в ноябре 2016 г. Ключевой его этап завершился в мае 2017 г., после чего было принято решение о развитии функциональности к сентябрю 2017 г. «Система вскоре начнет получать данные из альтернативных источников, и будут разработаны необходимые аналитические формы для целей моделирования и мониторинга продаж продуктов транзакционного бизнеса», — утверждают в банке.

В организации заверяют, что в рамках проекта была создана модель данных только для одной из линий бизнеса, но она может стать основой для онтологии и модели данных всего банка.

Размер инвестиций в систему в банке не раскрывают.

Подробности проекта

ГАУСС работает на кластерах, состоящих из  множества узлов, где предусмотрено дублирование системы на случай выхода из строя одного из них и осуществляется поддержка нескольких рабочих копий данных. «Hadoop был выбран  для построения системы, так как его работа основана на принципе параллельной обработки данных, — поясняют в банке — это позволяет увеличить скорость формирования отчетности и построения прогнозов. Система отличается особой отказоустойчивостью и возможностью параллельной работы и пользователей, и программистов одновременно».

Система ГАУСС впервые в группе ВТБ была реализована по известному методу гибкой разработки Agile scrum. В банке считают, что при использовании традиционных подходов проект растянулся бы на год, то есть занял бы в два раза больше времени. «Кроме того, уже в ходе проекта были внесены правки и изменения, что существенно повышает качество конечного результата», — отмечают в организации.

За время работы над ГАУССом была проведена аналитическая работа с базами данных банка, в системе уже сформированы массивы информации за 2014-2016 гг. «В итоге на сегодня создаются условия для запроса материалов по неограниченному сочетанию параметров и вариантов», — говорят в банке.

Несколько фактов о банке ВТБ

Банк ВТБ выступает ключевым активом российской финансовой группы ВТБ, объединяющей более 20 кредитных и финансовых компаний, работающих во всех основных сегментах финансового рынка.

По данным ранкинага «Интерфакс-100», по итогам первого квартала 2017 г. банк сохранил за собой второе место в России по величине активов, объем которых составил 9,3 млрд руб.