Debezium для Data Engineer
Курс ориентирован на практическое применение Debezium в роли Data Engineer для построения потоковых CDC-пайплайнов. Он показывает, как интегрировать базы данных с Kafka и аналитическими системами, обеспечивая непрерывную синхронизацию данных.
Разбираются архитектура CDC-пайплайна, форматы изменений, управление схемами через Schema Registry и обработка транзакций. Особое внимание уделяется надежности — exactly-once, идемпотентности и обработке дубликатов.
Курс помогает выстроить стабильную streaming-инфраструктуру, которая масштабируется и выдерживает реальные нагрузки.
- Введение в CDC и Debezium: контекст и цели
- Основные термины и определения CDC
- Контекст применения CDC: сценарии, преимущества и ограничения
- Теоретические основы CDC: задержка, пропускная способность, латентность и согласованность
- Архитектура CDC-пайплайна: слои, роли и потоки данных
- Kafka как платформа для CDC: принципы, требования и ключевые концепции
- Debezium: концепции, архитектура и роли компонентов
- Архитектура Debezium-коннекторов: модульность, жизненный цикл и развёртывание
- Поддерживаемые источники данных и особенности коннекторов Debezium
- Развёртывание Debezium: варианты (Kubernetes, Docker, облако)
- Управление схемами и сериализация: Schema Registry, Avro и JSON
- Эволюция схем и совместимость: стратегии backward/forward и streaming compatibility
- Форматы изменений Debezium: before/after, operation, timestamps
- Истории изменений и топики Debezium: нейминг, партиционирование и ретенция
- Транзакции, консистентность и границы изменений
- Идемпотентность и Exactly-Once в CDC пайплайне
- Интеграция Debezium с потоковыми системами: Kafka Streams, ksqlDB, Flink, Spark
- Обработка DDL и DML изменений: поддержка и ограничения Debezium
- Архитектурные паттерны CDC: snapshot-first, streaming, hybrid, multi-source
- Архитектура пайплайнов для аналитики: Data Lake, Data Warehouse, Data Marts
- Мониторинг, observability и управление качеством данных
- Безопасность, аудит и соответствие: управление доступом и рисками
- Риски, ограничения и типичные ошибки в проектах CDC
- Тестирование CDC: подходы, стратегии и CI/CD
- Эксплуатация и операционная модель CDC: runbooks, DR и аварийное восстановление
- Развитие и зрелость практик CDC: maturity model и дорожная карта
- Кейс-стади: практические сценарии внедрения Debezium
- План внедрения CDC проекта: дорожная карта, KPI и управление изменениями
- Будущее Debezium и CDC: направления развития и инновации
