Хранилище данных для банков
Банковская отрасль характеризуется большим объемом данных, которые необходимы для создания различной отчетности. Развитие банковского бизнеса может быть затруднено без доступа к историческим и текущим данным о клиентах.
Чтобы получить конкурентное преимущество, банки все чаще обращаются к аналитике. По мере роста объема данных развиваются и технологии, которые способны обрабатывать Big Data. Банки производят все больше данных и им необходимо создание единой системы хранения.
Одно из главных преимуществ хранилищ данных заключается в том, что они позволяют получить полную картину состояния организации. Имея все необходимые данные в одном месте, компании могут принимать более обоснованные решения о том, куда направить свои ресурсы.
Модель банковского хранилища данных ориентирована на бизнес и предназначена для поддержки различных бизнес-потребностей - от нормативной и ежедневной/еженедельной/декадной/ежемесячной оперативной и управленческой отчетности до очень сложного специального анализа и моделирования.
Хранилище данных позволяет создать структуру для отчетности и расширенной аналитики, применимые для каждого банка. Однако КХД в большинстве случаев не могут рассматриваться как коробочные продукты, поэтому возникает необходимость в разработке хранилищ для конкретных предприятий на базе уникальных моделей данных.
Источники данных
Банки собирают данные из множества систем-источников, включая:
- Транзакционные системы: Данные из основных банковских систем, транзакции через банкоматы, транзакции по кредитным картам и платформы онлайн-банкинга.
- Операционные системы: Информация из систем управления взаимоотношениями с клиентами (CRM), систем обработки кредитов и операций филиалов.
- Внешние источники данных: Рыночные данные, кредитные бюро, регулирующие органы и сторонние финансовые службы.
Основные слои КХД
Банковское хранилище данных призвано обеспечить эффективную поддержку сложных аналитических запросов, нормативной отчетности, управления рисками и процессов принятия решений. Хотя количество слоев может варьироваться в зависимости от размера банка, нормативной среды и потребностей бизнеса, типичная архитектура DWH банка включает несколько ключевых слоев хранилища:
1. ODS (Operational Data Store) – область хранения оперативных данных. Данные в этом слое такие же, как и в системах-источниках. Таким образом, данные, которые есть в этом слое являют собой копию источников. В этих схемах лежат сырые данные без обработки и приведения к единому формату, но с соблюдением правила консистентности. Задачи данного слоя:
- Сформировать набор сущностей источника и разложить данные сущностям
- Предоставить стандартный интерфейс доступа к данным вне зависимости от особенностей
2. STG (Staging) – область обработки данных. Прежде чем данные будут интегрированы в DWH, они сначала попадают в область обработки, где подвергаются первичной очистке и преобразованию. В слой STG данные загружаются из ODS с помощью oracle процедуры. Эта область служит буфером, который:
- Временно хранит необработанные данные, импортированные из различных источников.
- Облегчает процессы извлечения, преобразования и загрузки (ETL) для очистки, нормализации и консолидации данных.
3. DDS (Data Detail Store) – область детальных данных. В данном слое собирается консолидированная модель детальных данных. Задачи данного слоя:
- Хранить детальную историю изменений
- Консолидировать данные между источниками
- Предоставлять стандартный интерфейс доступа к сущностям
4. Слой PRE_DM (Previous Data Mart) содержит данные в формате, удобном для расчета нескольких витрин DM, так же используется для разделения тяжелых расчётов на более мелкие части или, при необходимости, хранения истории расчётов за небольшой промежуток времени.
5. Data Marts - это витрины данных. Они предназначены для конечных пользователей – аналитиков и других сотрудников банка. Витрины Data Mart представляют собой срез данных или аналитический отчёт хранилища, массив тематической, узконаправленной информации ориентированный на пользователей одной рабочей группы или департамента. В банковском хранилище данных используется большое разнообразие различных типов источников и витрин данных, чаще всего они разделяются по видам систем, забирающих или предоставляющих данные, например, Vabank, 1С, Collection. Data Marts ориентированы на конкретные бизнес-области и предоставляющие пользователям доступ к данным, соответствующим потребностям их отделов, например:
- Управление рисками: Специализируется на хранении и управлении данными, связанными с рисками, для анализа кредитного, рыночного и операционного рисков.
- Анализ клиентов: Содержит данные о клиентах для поддержки сегментации клиентов, анализа их поведения и персонализированных маркетинговых мероприятий.
- Система данных финансовой отчетности: Предназначен для финансовых данных и используется для создания нормативных отчетов, финансовой отчетности и анализа эффективности.
Задачи Data Marts:
- Формировать данные в контексте бизнес-потребностей
- Оптимизировать доступ на чтение
Модель хранилища данных
Модель хранилища данных подбирается под конкретную организацию. Для структурирования данных может использоваться различные модели. Используется два метода моделирования данных ("звезда" и "снежинка"), которые создают связи между данными в таблицы фактов (представляющие измеримые события, такие как транзакции) и таблицы измерений (описывающие атрибуты данных). Логика конечной витрины строится соединениями таблиц.
Таблицы, которые можно использовать для построения витрины:
- Тип обращения
- Статус рассмотрения обращения
- Канал обращения
- Макропродукт
- Договор
- Решение по обращению
- Клиент
- Структурная единица банка
- Другие справочники
Хранилище данных банка - это сложная экосистема, созданная для поддержки сложных потребностей управления и анализа финансовых данных. Организуя данные из разрозненных источников в целостную, доступную структуру, DWH позволяет банкам совершенствовать свою деятельность, лучше понимать своих клиентов, эффективно управлять рисками и соблюдать нормативные требования.
Примеры использования хранилищ данных в финансовой отрасли
В большинстве финансовых учреждений хранилища данных используются одинаково. Ниже перечислены некоторые способы использования хранилищ данных в финансовой отрасли:
- Управление данными о клиентах
- Улучшение прогнозной аналитики
- Минимизация рисков
Способность хранилища данных быстро централизовать данные из различных источников ускоряет аналитическую работу, позволяя эффективно извлекать важные сведения и оперативно принимать решения для минимизации рисков.
Преимущества хранения данных для финансовой сферы
Бесперебойное управление данными и их анализ имеют решающее значение для процветания и успеха финансовых компаний. Хранилище данных помогает сделать это возможным, обеспечивая следующие преимущества:
- Упрощенная и упорядоченная отчетность
- Улучшенная аналитика и принятие решений
- Упрощенная интеграция данных
- Сохранение исторических данных
- Повышение производительности и точности
Хранилища данных необходимы для управления сложными финансовыми данными, а централизованная информация крайне важна для финансовых целей. Надежное хранилище данных позволяет легко сохранять, получать доступ и извлекать извлеченные данные в любой момент, когда они вам нужны - для прогнозирования или принятия стратегических решений.
Продукт Эксперт-BI
Продукт Эксперт-BI, запросить доступ к демо-стенду on-line
