Ак Барс Банк построил корпоративное хранилище данных на базе решения Data Ocean Nova вендора Data Sapience
Ак Барс Банк внедрил корпоративное хранилище данных на базе Lakehouse-платформы Data Ocean Nova отечественного вендора Data Sapience. Основные интеграционные работы и замещение устаревшего (legacy) хранилища банк выполнил силами собственной команды, подготовленной по программам обучения Data Sapience при экспертной поддержке вендора.
Ранее в Ак Барс Банке существовало хранилище данных на базе MS SQL Server в качестве операционного слоя (ODS) и на базе Greenplum в качестве функции отдельного детального слоя (DDS). Эксплуатация разрозненной системы выявила большое количество недостатков: разный тип оборудования, нецелевые импортные компоненты, размытие экспертизы команды, ограничения производительности, отсутствие ряда важных функциональных характеристик, дублирование данных и, как следствие, высокую стоимость владения.
В рамках импортозамещения и развития банк искал решение нового поколения, спроектированное по принципам Lakehouse-платформы и удовлетворяющее эксплуатационным, техническим, функциональным и экономическим требованиям. По результатам пилотного проекта, в рамках которого был отработан полный цикл загрузки, обработки и доставки данных до потребителей, для промышленного внедрения была выбрана платформа Data Ocean Nova от Data Sapience. По завершении испытаний было принято решение о целевом внедрении системы.
За 12 месяцев команда банка собственными силами выполнила разработку схемы данных и архитектуры, а затем и построение нового хранилища на новой платформе. Был организован операционный слой данных (ODS): куда ряд источников в режиме реального времени передает транзакционные журналы для преобразования и загрузки. Формируемый на основе операционного слоя данных (ODS) детальный слой хранилища (DDS) насчитывает более двухсот логических сущностей, покрывает основные области данных банка и работает в регламентном режиме. Внедрение платформы позволило улучшить предсказуемость работы сервисов и прозрачность, связность и качество данных в детальном слое хранилища (DSS), а также производных витрин данных относительно устаревших (legacy) систем.
Платформа Data Ocean Nova использует объектное хранилище S3 в качестве подсистемы хранения и работает в режиме высокой доступности: она развернута на двух контурах с синхронизацией данных между S3-кластерами в режиме реального времени, при этом резервный контур доступен пользователям для работы с консистентной достоверной копией данных в режиме чтения. В настоящее время суммарный объем полезных сжатых данных составляет 60 Тб, при этом система спроектирована под потенциал роста до 110 Тб с высоким коэффициентом отказоустойчивости и с учетом планов роста объемов бизнеса. В хранилище интегрированы 63 внутренних источника данных.
До конца года банк планирует ввести в эксплуатацию производство 35 форм обязательной отчетности, область витрин данных для управления маркетинговыми коммуникациями и отчетность по мотивации персонала. Также Ак Барс Банк намерен повышать доступность сервисов данных в хранилище с применением решения потоковой онлайн-интеграции Data Ocean SDI.
«Одно из преимуществ платформы — консолидация функции и данных аналитического хранилища в единой системе вместо нескольких разрозненных. Решение развернуто на типовом оборудовании общедоступного (commodity) класса. Эти два фактора определяют невысокую стоимость владения и улучшенную доступность сервисов данных. Отдельно отмечу вариативность вычислительных технологий Data Ocean Nova — наличие Spark, Trino и Impala — и возможности дальнейшего расширения инструментария без пересмотра архитектуры. Это позволяет закрывать все задачи современного аналитического ландшафта данных: загрузку и трансформацию данных, построение аналитических слоев и пользовательский доступ для произвольных запросов (ad-hoc), в том числе федеративный», — говорит Иван Зипухо, начальник управления технологий сбора и хранения данных, Ак Барс Банк.
«Внедрение платформы данных Data Ocean Nova в Ак Барс Банке — хороший пример того, как зрелое решение на базе современного технологического стека вместе с мотивированностью и профессионализмом внутренней команды внедрения и разработки Ак Барс Банка способны вывести бизнес-процессы и скорость принятия решений на уровень современного цифрового банка. Благодаря своевременной обратной связи от экспертов Ак Барс Банка мы смогли улучшить поддержку и сопроводительную документацию, подняв платформу на качественно новый уровень», — отмечает Евгений Вилков, технический руководитель решения Data Ocean Nova, Data Sapience.
