«Банк Санкт-Петербург» избавился от Oracle и почти отказался от услуг интеграторов при работе с данными

За несколько лет «Банк Санкт-Петербург» отказался от Oracle в корпоративном хранилище данных (КХД) и построил платформу управления данными на базе open source решений и собственной разработки. О том, как это происходило, 25 сентября рассказал Глеб Смирнов заместитель CDO, владелец платформы управления данными «Банка Санкт-Петербург», на конференции TAdviser Banks IT Day.

Глеб Смирнов на конференции TAdviser Banks IT Day 25 сентября

КХД, построенное на базе Oracle силами интеграторов, работало с 2015 года, но ещё в 2019 году в банке решили заменить его на новую платформу управления данными (ПУД) на базе Hadoop. Связано это было с тем, в первую очередь, что удовлетворение запросов на работу с данными в КХД на Oracle требовало привлечения интеграторов. Это вызывало временные потери. Кроме того, были проблемы с масштабируемостью.

В итоге в 2020-2022 гг. проведён предпроект по построению платформы и настройке потоков поставки данных от источников в ODS слой (Operational Data Store — область оперативного хранения данных). В тот же период было реализовано построение первых витрин данных и отчетов, а также выделение дата-офиса в самостоятельную структурную единицу, подчиненную CFO.

В 2022-2023 гг. началась миграция основных отчетов с КХД на ПУД, а также миграция пользователей и их обучение. Тогда же в банке произошла организация внутренней разработки, выработка компетенций, масштабирование команды. Витрина данных НОТА ВИЗОР для налогового мониторинга

А по состоянию на 2024 год в связи с тем, что банк имеет дело с регуляторной отчётностью и необходимостью соответствовать требованиям бизнес-критичной системы, был построен полноценный резерв платформы и проведена классификация ПУД по классу критичности ИС «Business Critical System». Сейчас ведётся развитие функционала и консолидация ландшафта данных на платформе, развитие Data Governance и систематизация управления данными, сообщил Глеб Смирнов.

В новой платформе управления данными пока остаётся неимпортозамещённой BI-система, её ещё предстоит заменить.

Платформа управления данными построена на базе Arenadata Hadoop. На старте проекта для построения хранилища и разработки базовых фреймворков был привлечен подрядчик. Но теперь доработкой хранилища и развитием платформы занимается собственная команда разработки.

Внедрение нового решения вместо КХД на Oracle не обошлось без вызовов. В их числе было отсутствие на тот момент в банке экспертизы в обслуживании нового стека, привычка работать с «монолитом», отсутствие понимания необходимой численности команды администрирования. Отсутствовала и экспертиза в разработке. Команда дата-офиса стала первой командой внутренней enterprise-разработки в «Банке Санкт-Петербург».

При формировании команды внутренней разработки предстояла непростая задача — внедрить все процессы командной разработки и развить компетенции у имеющихся сотрудников, а также выстроить производственные процессы. Для повышения компетенций команды первым делом отправили на внешнее обучение коллектив дата-офиса и администраторов. Также построили GitFlow и систему автотестов. Последнее позволило сократить время на дебаг при разработке и уменьшить количество ошибок.

В результате развития собственной разработки банк существенно снизил зависимость от интеграторов. Теперь соотношение внутренней разработки на платформе к внешней разработке составляет 80 к 20, привёл данные Глеб Смирнов.

Дальнейшие планы развития процессов управления данными включают переход от централизации управления данными к федерализации. Уход от централизованного владения данными и разработкой позволит повысить производительность бизнеса и даст прирост количеству дата-продуктов и их монетизации, рассчитывают в «Банке Санкт-Петербург».