Медленно изменяющиеся измерения (SCD) в витринах данных
Медленно изменяющиеся измерения (Slowly Changing Dimensions, SCD) являются ключевым механизмом управления историей данных в аналитических витринах. Они позволяют сохранять изменения бизнес-сущностей во времени, обеспечивая корректную интерпретацию показателей, аудит изменений и поддержку аналитики, чувствительной к временным контекстам.
В этом разделе рассматриваются основные типы SCD (Type 1, Type 2, Type 3 и гибридные подходы), принципы выбора модели и их влияние на архитектуру витрин данных. Особое внимание уделяется вопросам версионирования, effective dating, управлению историей и интеграции с процессами загрузки данных через ETL/ELT и CDC.
- Введение в медленно изменяющиеся измерения и витрины данных
- Терминология и базовые понятия SCD
- Архитектурная роль SCD в витринах данных
- Типы SCD: обзор и выбор подхода
- Временная модель и датирование: effective dating и интервалы валидности
- Целостность данных, версии и аудит изменений в размерных таблицах
- Влияние SCD на проектирование витрин: звезда, снежинка и денормализация
- Формулы расчета версий, текущих записей и истории
- Модели данных: Dimensional Modeling против Data Vault в контексте SCD
- Change Data Capture: принципы, источники изменений и частоты
- ETL против ELT для SCD: архитектурные решения
- Обработка изменений: пакетная и потоковая обработка изменений
- Архитектурные паттерны SCD: чистые Type 1, Type 2, Type 3, Type 6 и гибриды
- Интеграционные паттерны: CDC-инфраструктура, Debezium, Kafka, Flink
- Метаданные и управление словарями: lineage, glossary, metadata registries
- Стандарты и протоколы: DAMA-DMBOK, EDM Council, Open Metadata
- Технологии и платформы: выбор технологий для SCD в витрине
- Реализация SCD: примеры в Snowflake, BigQuery, Redshift, PostgreSQL
- Реализация Type 1, Type 2, Type 3 и Type 6: практические подходы
- Управление историей: политики хранения, архивирование и pruning
- Тестирование качества данных и тесты SCD: стратегии и примеры
- Мониторинг и операционная модель: SLA, freshness и lineage мониторинг
- Безопасность и приватность: PII, маскирование и контроль доступа
- Аудит и соответствие: контракт данных и репликация аудита
- Эволюция витрины: миграции схем, версияция и капитальные изменения
- Практические кейсы по отраслям: финансы, розница, телеком, здравоохранение
- Риски, ограничения и типичные ошибки в SCD
- Стратегия зрелости SCD: дорожная карта и бизнес-ценность
- План внедрения SCD: шаги, роли, участие бизнеса и IT
- Практика развёртывания в продакшн: runbooks, операционная поддержка и документация
