CDC от источника до хранилища: как в банке Синара построили CDC с применением продуктов Arenadata (конференция Smartdata 2024)

Материал с конференции Smartdata 2024

Change Data Capture от популярных источников (Oracle, PostreSQL) с применением Debezium, построенном на Kafka Connect, трансформациями в Apache NiFi и сохранением в начальный слой хранилища Greenplum.

Почему именно CDC, а не прямые выгрузки? Обсудим сложности при внедрении, связанные с информационной безопасностью и нагрузкой на транспортные системы, варианты решений по трансформациям и доставке данных до хранилища, варианты разбора данных на хранилище до stage-слоя.

Будет интересно архитекторам хранилищ данных, разработчикам интеграционных решений. Демонстрация — на продуктах Arenadata: ADS — Kafka, Kafka Connect, NiFi и ADB — Arenadata Database.

скачать презентацию (.pdf)

Спикер Иван Клименко Arenadata

Приглашенный эксперт Фархад Замалетдинов Банк Синара

← Предыдущая статья

Что такое Apache Parquet и зачем он нужен

Следующая статья →

Data Vault 2.0. В каких случаях внедрять, разбор основных проблем применения методологии при построении DWH на Greenplum (конференция Smartdata 2024)