Поделиться
Банк «Тинькофф Кредитные Системы» внедрил систему EMC Greenplum 4.2 для анализа больших данных в режиме реального времени
Корпорация ЕМС объявила, что банк «Тинькофф Кредитные Системы» завершил внедрение платформы хранения и аналитики сверхбольших объемов данных EMC Greenplum.
Основными критериями, определившими выбор банка, стали: высокая скорость загрузки и обработки данных, масштабируемость решения, возможность полиморфного хранения данных, наличие технологии сжатия, глубокая интеграция с используемыми банком аналитическими продуктами компании SAS Institute.
Соответствие перечисленным выше требованиям было подтверждено результатами полномасштабного тестирования производительности, проведенного специалистами банка в лаборатории EMC в условиях максимально приближенных к реальной ситуации (Proof of Concept).
Основной проект стартовал в декабре 2011 г. и был выполнен за 6 месяцев, с применением методологии итеративной разработки.
Во время внедрения проекта существовавшая в банке инфраструктура в виде стандартной СУБД, работающая на тяжелых серверах SPARC-архитектуры, была заменена системой EMC Greenplum, построенной на базе архитектуры массивно-параллельных вычислений без разделяемых компонентов (MPP, Massive Parallel Processing). В этой архитектуре, которая была разработана специально для создания бизнес-аналитики и аналитической обработки, каждое устройство функционирует как самодостаточная СУБД, которая владеет определенной частью общих данных и управляет ими. Эта система автоматически распределяет данные и распараллеливает рабочие нагрузки запросов на все доступное оборудование, используя принципы Map Reduce.
В результате время решения аналитических задач сократилось минимум в десять раз, а для некоторых – более чем в 100 раз. Использование же в качестве узлов системы серверов «стандартной» архитектуры позволило получить экономически эффективную и неограниченную линейную масштабируемость вычислительных мощностей.
Сложность проекта, помимо развертывания новой инфраструктуры хранения данных, заключалась в необходимости интегрировать новые подходы к загрузке и извлечению данных с используемыми банком аналитическими системами SAS Institute, сохранив при этом целостность и работоспособность действующих бизнес-процессов банка. Для выполнения поставленной задачи была собрана проектная команда из консультантов компании Glowbyte Consulting, взявшей на себя функции системного интегратора, инженеров World IT Systems, отвечавших за настройку и эксплуатацию рабочих окружений и специалистов департамента ИТ банка. Авторский надзор и аудит проектных решений осуществляли представители компаний EMC/Greenplum и SAS Institute. Кураторами проекта выступили CTO и основатель компании EMC Greenplum Люк Лонерган и директор SAS Global Technology Practice Марк Торр.
В ходе проекта был осуществлен комплексный реинжиниринг более 350 процессов загрузки и преобразования данных, разработана библиотека ELT-трансформаций, оптимизированная для работы с Greenplum и SAS, создана инфраструктура прямого доступа бизнес-аналитиков банка к детальному слою данных для проведения data mining исследований без привлечения ресурсов внутреннего ИТ, разработаны процедуры резервного копирования и аварийного восстановления данных.
Таким образом, банк запустил платформу, готовую к загрузке данных в хранилище и обновлению аналитических витрин в режиме реального времени, что для компании, использующей знания о клиентах, как конкурентное преимущество, является приоритетным направлением.
В дальнейшем банк планирует развивать не только инструмент Greenplum , адаптированный для массивно-параллельных вычислений, но также и Hadoop, предназначенный для обработки неструктурированных данных, и платформу Chorus, которая предоставляет возможность совместной работы с корпоративными данными, получаемыми из разных источников.
Короткая ссылка
