Чем заменить западную СУБД? Кейс Национального клирингового центра «Московской биржи»

Постановка задачи

В НКЦ как значимом объекте критической информационной инфраструктуры (ЗОКИИ) третьего уровня значимости понимали, что предстоит переход с используемых импортных решений на российские аналоги в краткие сроки. Был проведен анализ информационных систем, определены наиболее критичные и зависимые из них, расставлены приоритеты. Основными приоритетами стали скорость смены технологий, а также сохранение скорости  обработки сделок.

Если говорить в целом про используемые в НКЦ информационные системы, стоит отметить, что решение, о котором пойдет речь в статье, состоит не только из слоя хранения данных, но и слоя исполнения процедур. В рамках статьи мы  рассказываем про выбор СУБД .

Сергей Третьяков, директор департамента ИТ-эксплуатации НКЦ: «В НКЦ потребовалась оптимизация используемых программных продуктов и оптимизация инфраструктуры для развертывания программного обеспечения. Потребовалась, в том числе, смена СУБД».

Исходя из приоритетов была разработана стратегия, которая позволяла с минимальными рисками двигаться вперед в обозначенные сроки и обеспечить успешное завершение проекта к концу 2024 года.

НКО НКЦ входит в состав группы «Московская биржа», выполняя функции клиринговой организации и центрального контрагента на финансовом рынке. В качестве центрального контрагента НКЦ берет на себя риски по заключаемым участниками в ходе биржевых торгов сделкам, выступая посредником между сторонами.

Основная функция НКЦ – обеспечить поддержание стабильности на обслуживаемых сегментах финансового рынка за счет осуществления современной, отвечающей международным стандартам системы управления рисками и предоставлять участникам такие клиринговые услуги, которые позволяют им эффективно использовать направляемые на рынок средства.

До начала проекта в НКЦ были комплексно описаны риски проекта миграции, определены меры по их минимизации. В фокусе были риски, связанные и с определением возможного круга решений поставщиков.

«Мы понимаем, что одни продукты могли разрабатываться с нуля, а другие начинались как опенсорсные с последующим выходом отдельной форк-ветки и ее развитием, – прокомментировал Сергей Третьяков. – Гамма рассматриваемых НКЦ вариантов складывалась из выбора вендоронезависимых решений, основанных на опенсорсных технологиях, с возможностью локализации и поддержки в России».

Тесты и определение критериев отбора проводились сотрудниками группы. Это было «глобальное» групповое решение, синхронизированное между компаниями. Консенсусом формировались и групповые критерии выбора потенциальных решений.

Далее компании группы переходили к сравнительным тестированиям и обсуждению ИТ-решений в общих коллегиальных органах: насколько зрелые решения сейчас присутствуют на рынке, как они соответствуют потребностям группы в части функциональности, производительности и безопасности.

Тестирование вариантов СУБД в НКЦ шло с середины декабря 2023 года по март 2024 года перебором по их «рангу», после подводились финальные итоги. Тестирование проходило на идентичных стендах с идентичными требованиями и выполнялось одними и теми же специалистами для повторяемости сценариев.

Обеспечение высокого уровня доступности было основным из ключевых технологических требований. Ведь СУБД предназначалась для использования в системах высокой критичности, являющихся основным приоритетом НКЦ.
Сергей Третьяков: «Мы не выбирали какое-то из решений исключительно по технологическим преимуществам, это была совокупность критериев. Нам были важны и себестоимость владения, и качество поддержки, и скорость решения инцидентов, и соответствие требованиям».

По совокупности всех критериев и общим итогам конкурса платформенное решение Digital Q.DataBase от компании «Диасофт» было признано лучшим, а группа «Московская биржа» выбрала «Диасофт» в качестве предпочтительного поставщика СУБД.

Компания «Диасофт» начала работу в области импортозамещения программного обеспечения (ПО) более 10 лет назад. В основе СУБД Digital Q.DataBase – подконтрольный компании форк PostgreSQL, проверенный на отсутствие уязвимостей и оптимизированный для работы в высоконагруженных системах. СУБД Digital Q.DataBase регулярно обновляется по мере развития «ванильной» версии PostgreSQL. Это позволяет использовать все актуальные возможности оригинальной СУБД, включая последние исправления и улучшения, и избежать возможного влияния ее уязвимостей благодаря контролю вендора.

К моменту начала проекта была проведена предподготовка: накопление опыта и пилотирование новых технологий на более простых системах. Только после этого эксперты НКЦ приступили к подготовке основной части проекта.
Наиболее сложной оказалась объективная оценка ресурсов и возможностей. Потребовалось подобрать необходимый состав команды, который бы позволил решать проблемы и вести проект наиболее эффективно. Она насчитывала около 50 человек, отвечающих за техническую часть, управление проектом, разработкой системы и создание документации.
«В несколько шагов было проведено планирование финансовой части проекта – как первичная «серая» оценка, так и уточняющие этапы, позволяющие более качественно получить расчеты по финансовым затратам. Это помогло с точки зрения бюджета выйти с экономией на закрытие», – сообщил Сергей Третьяков.

Срок жизни информационной системы НКЦ превышает 10 лет, и за время ее существования при базировании на импортных технологиях она обросла кастомным функционалом, «отголосками» различных требований и изменений рынка. Анализ помог выявить неиспользуемые элементы и оптимизировать состав переносимых в новую систему компонентов и функций.

Исследование практики работы с PostgreSQL показало, что у данного решения есть ограничения на объем базы данных в оперативной памяти – до 10 Тб, а потом начинается деградация производительности. Эксперты НКЦ проанализировали, до какой глубины по времени хранятся самые длинные позиции, после чего обеспечили оптимизацию базы, чтобы не достигать данных объемов. 

Чтобы план разработки укладывался в нужные сроки, специалисты НКЦ синхронизировали все задачи по разработке и внедрению. Изначально на проект было выделено семнадцать месяцев: с сентября 2023 года по февраль 2025 года, а по факту работы были закончены в конце 2024 года.

Александр Чуркин, начальник управления корпоративной инфраструктуры, департамент ИТ-эксплуатации НКЦ: «Несмотря на то, что мы выбрали каскадный подход к реализации самого проекта, то есть одну поставку в конце года на прод, внутри команды мы разбивали работу на несколько этапов для определения ключевых контрольных точек. Каждый этап включал в себя замену определенного функционала, что позволило эффективно контролировать ход работы и управлять рисками проектов».

Александр Чуркин: «План проекта был построен так, чтобы мы могли бы по очереди тестировать какие-либо элементы системы и их функции. Новую поставку, новый этап с новым функционалом мы пытались тестировать, даже если вся система еще не была готова. На этапе планирования были предусмотрены определенные ключевые модули, которые позволяли бы запускать систему в не полной ее функциональности».

Вторая половина 2024 года была посвящена не только разработке, но и тестированию, подготовке инфраструктуры, обкатке технологий. Ведь данный проект и в целом данное направление имеет жесткие регуляторные требования, а также требования по безопасности.

«Большинство компаний для ускорения вывода продукта на рынок пропускают некоторые этапы, в частности, этапы по оценке безопасности, и в итоге получают на выходе продукт с множеством проблем, – отметил Александр Чуркин. – В нашем случае это было недопустимо, поэтому коллеги из подразделения информационной безопасности вели параллельный проект, который позволил подготовить необходимую экосистему по защите целевой инфраструктуры».

На этапе тестирования продукты разработки проходили проверку согласно требованиям информационной безопасности, то есть не только тестирование бизнес-функций и работоспособности системы, но и тестирование системы на уязвимости, ошибки в коде, различные закладки.

Тестирование, в частности, помогло проектной команде НКЦ своевременно выявить две информационные системы, необходимость интеграции с которыми первоначально упустили аналитики. Для внеплановой доработки были привлечены дополнительные команды группы «Московская биржа», которые внесли нужные изменения на своих системах.

Координация пользовательского тестирования стала самым ответственным этапом в проекте, не считая финального релиза. Потому что разработчики разработали, тестировщики протестировали, а пользователи – их было около 20 человек – должны были к новой системе привыкнуть и провалидировать свои ежедневные бизнес-сценарии. Сами бизнес-сценарии не менялись, потому что не было такой задачи в рамках проекта.

«В чате пользовательского тестирования было около 60 человек. Если бы мы не пошли путем объединения людей в общую группу, мы бы потратили больше времени. А так все включились в оперативном режиме и были готовы друг другу помогать», – рассказал Александр Чуркин.

У бизнес-пользователей была возможность проверить на проде результат, который они получали в новой системе. Но еще был тестовый стенд для эмуляции и обработки бизнес-данных с возможностью миграции продуктивных данных. Таким образом, пользовательское тестирование включало в себя сценарии на реальных данных, чтобы понимать, что новая система работает стабильно, и на таких объемах не захлебывается. Пользователи рапортовали об ошибках, а команда их оперативно исправляла.

Релиз новой информационной системы в НКЦ был довольно сложным, потому что компания одновременно запускала в промышленную эксплуатацию несколько продуктов. Для релиза выделили предпоследние выходные 2024 года. Был подготовлен регламент с почасовым расписанием для порядка 20 ответственных сотрудников. Каждый знал, когда ему во сколько нужно быть онлайн, чтобы осуществить свою задачу.

В первый день проводилось финальное тестирование, и уже в конце дня было принято решение о переключении СУБД на новую. Второй день был в основном посвящен окончанию миграции данных и завершающему техническому тестированию. 

Александр Чуркин: «Первые дни после релиза были довольно напряженными, несмотря на стабильную работу новой системы. Нужно было добить какие-то некритичные задачи, но они выполнялись уже в штатном режиме».

На этом направлении информационных систем НКЦ уже один раз проходил подобный шаг, но тогда не было таких сжатых сроков, и проект не был таким масштабным. В рамках НКЦ это – один из самых масштабных технических проектов.

«Это огромный, по меркам НКЦ, проект с большими технически сложными кусками, которые надо было реализовывать для развития целевой системы. За время проекта даже новички сильно прокачались, потому что хочешь не хочешь, ознакомишься с системой в деталях», – подытожил Александр Чуркин.

Новая система показала выигрыш в быстродействии в среднем 15-20%. Дополнительным преимуществом стала более оптимальная объектная модель внутри базы данных Digital Q.DataBase по отношению к изначальной базе.

Отдельный момент и довольно трудоемкая часть – подготовка документации. В рамках проекта команда из семи человек разработала 19 документов: технические схемы, функциональные требования, описания. А ведь любое изменение на системе подразумевает подготовку документов по ГОСТ серии 34. Для непрерывного и высокопроизводительного релизного цикла это накладывает ограничения на скорость вывода продукта на рынок. Поэтому НКЦ продолжит эксперименты по использованию искусственного интеллекта при составлении документации, хотя от бумажной составляющей эта технология не избавит.

В НКЦ видят следующие перспективы развития новой информационной системы: 

1. Оптимизация загрузчиков данных со стороны торговых клиринговых систем валютного, фондового и срочного рынка. Ведь в рамках настоящего проекта решалась задача оптимизации обработки данных с этих рынков и увеличение запаса по объему количества объектов внутри базы данных.

2. Переход в автоматизированный механизм обработки клиринговых сессий. Когда клиринг происходит не в ручном пошаговом режиме, а автоматически, посредством оркестратора.

3. Подключение системы к центральному бизнес-мониторингу для возможности отслеживания шагов бизнес-процесса – взаимодействия между всеми элементами.