Децентрализованная сеть данных с Apache Kafka в сфере финансовых услуг
В этой статье представлены примеры использования data mesh финансовыми организациями для обмена событиями в режиме реального времени с потоковой передачей данных между независимыми подразделениями бизнеса.
Цифровая трансформация мира требует от организаций большей гибкости и быстрого выхода продуктов на рынок. Data mesh-децентрализация разделяет приложения и подразделения на независимые продукты. Обмен данными в режиме реального времени с потоковой передачей помогает предоставлять информацию в нужном контексте нужному приложению в нужное время. В этой статье описывается исследование из сектора финансовых услуг, где в разных странах была создана сеть для обмена слабо связанными данными и их стандартизированного управления в масштабах предприятия.
Data Mesh: необходимость потоковой передачи данных в реальном времени
Если бы было модное слово часа, это, несомненно, было бы «data mesh»! Эта новая архитектурная парадигма открывает доступ к аналитическим и транзакционным данным в любом масштабе и обеспечивает быстрый доступ к постоянно растущему количеству распределенных наборов данных предметной области для различных сценариев использования. Data mesh устраняет наиболее распространенные недостатки традиционной архитектуры централизованного озера или платформы данных. Сердце такой децентрализованной инфраструктуры должно работать в режиме реального времени, быть надежным и масштабируемым:
Цифровая трансформация в сфере финансовых услуг
Новая корпоративная реальность в секторе финансовых услуг: инновации или разрушение!
Несколько инициатив, которые я видел в банках по всему миру с использованием потоковой передачи данных в реальном времени:
- Legacy-модернизация, например, разгрузка мэйнфреймов и замена их на Apache Kafka.
- Модернизация промежуточного ПО с помощью масштабируемых открытых инфраструктур, заменяющих платформы ETL, ESB и iPaaS.
- Репликация данных гибридного облака для аварийного восстановления, миграции или других сценариев.
- Транзакции и аналитика в режиме реального времени в любом масштабе.
- Обнаружение мошеннических схем в режиме реального времени с помощью Kafka и Flink для предотвращения негативных ситуаций.
- Облачные базовые банковские услуги для поддержки современных бизнес-процессов.
- Инновации в области цифровых платежей с Apache Kafka в качестве центра данных для криптовалюты, DeFi, NFT и Metaverse (выходя за рамки их наиболее популярного применения).
Давайте рассмотрим реальный пример на практике.
Raiffeisen Bank International: банковская трансформация в 12 странах
Райффайзен Банк Интернешнл (РБИ) масштабирует событийно-ориентированную архитектуру всей системы в рамках общебанковской программы трансформации. Это включает в себя создание эталонной архитектуры и повторное использование технологий и концепций в двенадцати странах.
Штаб-квартира универсального банка находится в Вене, Австрия. Они имеют многолетний опыт (и, следовательно, legacy-инфраструктуру) в розничной, корпоративной, рыночной, а также в инвестиционно-банковской деятельности.
Давайте рассмотрим путь цифровой трансформации Райффайзен Банка.
Построение сети данных, не зная об этом
У Райффайзен Банка, работающего в двенадцати странах, есть все очевидные проблемы и требования к обмену данными между приложениями, платформами и правительствами.
Райффайзен Банк построил децентрализованную архитектуру предприятия с data mesh, в которой обмен данными в режиме реального времени стал фундаментом к цифровому преобразованию. Они даже не знали об этом, потому что такого термина тогда не существовало. Но есть веские причины для использования потоковой передачи данных в качестве концентратора данных:
Корпоративная архитектура RBI Data Mesh с потоковой передачей данных
Эталонная архитектура основывается на потоковой передаче данных. Это работающие в режиме реального времени, масштабируемые и независимые домены и приложения. Существуют открытые банковские API для обмена запросами и ответами:
Три основных принципа корпоративной архитектуры обеспечивают гибкую, масштабируемую и готовую к будущему инфраструктуру в разных странах:
- API: внутренние API, стандартизированные на основе предметного дизайна.
- Групповая интеграция: живая; подключена к 11 странам; доступно 320 API, количество которых постоянно увеличивается.
- EDA: управляемая событиями развернутая архитектура; групповой уровень работает с первоначальными сценариями использования.
Сочетание потоковой передачи данных с Apache Kafka и запросов с REST/HTTP широко распространено в корпоративных архитектурах. При этом все больше применяется прямой обмен потоковыми данными для их совместного использования между бизнес-подразделениями или организациями.
Разделение с помощью децентрализованной потоковой передачи данных в качестве уровня интеграции
Вся IT-платформа и стек технологий созданы для повторного использования в группе:
Эталонная архитектура Райффайзен Банка обладает всеми характеристиками, определяющими data mesh:
- Слабая связь между приложениями, базами данных и бизнес-подразделениями с предметным дизайном.
- Независимые микросервисы и продукты данных (например, базовые банковские платформы или индивидуальная аналитика отдельных стран).
- Обмен в режиме реального времени через децентрализованную платформу потоковой передачи данных (полностью управляемая в облаке, где это возможно; каждая страна вправе выбрать удобный вариант использования).
- Контакты API для всего предприятия (= схемы в мире Kafka).
Управление данными в регулируемой банковской деятельности через data mesh
Финансовые услуги являются регулируемым рынком во всем мире. PCI, GDPR и другие требования соответствия являются обязательными, независимо от того, строите ли вы монолитные или децентрализованные сети данных.
Райффайзенбанк Интернэшнл с самого начали создавал сеть данных, основываясь на правилах управления данными, конфиденциальности и правовых нормах:
Вот основные принципы стратегии управления данными Райффайзен Банка:
- Центральный уровень интеграции для обмена данными между независимыми группами в режиме реального времени для транзакционных и аналитических рабочих нагрузок.
- Облачная стратегия (в тех случаях, когда это применимо) с полностью управляемым объединенным облаком для потоковой передачи данных.
- Стандартизированная таксономия событий для всей группы и контракты API с реестром схем.
- Общегрупповое управление с владельцами событийных продуктов по всей группе.
- Платформа как сервис самообслуживания для внутренних клиентов в рамках разных групп.
Сочетание этих парадигм и правил обеспечивает независимую обработку данных и инновационный подход, сохраняя при этом соответствие требованиям и позволяя обмениваться данными между различными группами.
Заключение
Независимые приложения, домены и организации создают отдельные продукты данных с помощью data mesh. Обмен данными в реальном времени между этими подразделениями со стандартизированными и слабо связанными событиями является решающим фактором успеха. Каждый нижестоящий потребитель получает данные по мере необходимости: в реальном времени, почти в реальном времени, в пакетном режиме или по запросу.
Пример из практики Raiffeisen Bank International показал, как создать мощную и гибкую сеть, используя облачную потоковую передачу данных на базе Apache Kafka. Хотя этот пример взят из сферы финансовых услуг, принципы и архитектура применимы к любой вертикали. Бизнес-объекты и интерфейсы могут выглядеть иначе, но ключевые проблемы и подход к их решению применимы во всех областях.
Как построить data mesh? Используете ли вы пакетные технологии, такие как инструменты ETL и озера данных, или полагаетесь на потоковую передачу данных в реальном времени для обмена данными и интеграций? Оставьте свой ответ в комментариях.
