Dagster для Data Engineer
Курс посвящён использованию Dagster для разработки и эксплуатации сложных data pipeline в корпоративной среде. Он показывает, как выстраивать управляемые процессы обработки данных с учётом зависимостей, ресурсов и требований к надежности и воспроизводимости.
В рамках курса рассматриваются архитектура Dagster, модели выполнения, работа с ресурсами и IO, а также интеграция с аналитическими платформами (DWH, Lakehouse, dbt, Spark). Особое внимание уделяется тестированию, управлению качеством данных, observability и построению масштабируемых пайплайнов.
Дополнительно раскрываются вопросы эксплуатации: CI/CD, безопасность, масштабирование и управление изменениями. Такой подход позволяет использовать Dagster как основу современной data platform.
- Введение: контекст цифровой трансформации и роль Dagster
- Основы Dagster: термины, концепции и сценарии применения
- Архитектура Dagster: принципы и ключевые компоненты
- Модели выполнения: режимы, ресурсы и исполнители
- Конфигурации: параметризация пайплайнов и персистентность
- Типизация данных и проверки совместимости
- IO менеджеры: обмен данными между этапами
- Солиды и активы: моделирование вычислительных единиц
- Планирование и оркестрация: pipelines, schedules и sensors
- Контракты данных и тестирование качества
- Метаданные, lineage и наблюдаемость
- Развертывание и организация кода: workspace, repository, modes
- Инфраструктура вычислений: локальная среда, Kubernetes, Celery и облако
- Контейнеризация и окружения исполнения
- Безопасность и управление доступом: секреты, RBAC, шифрование
- CI/CD для Dagster и автоматизация развёртывания
- Эксплуатация: мониторинг, резервное копирование и доступность
- Масштабирование и устойчивость пайплайнов
- Архитектурные паттерны для Data Platform и Data Mesh
- Интеграции с аналитическими платформами: Snowflake, BigQuery, Redshift, Databricks
- Интеграции с инструментами обработки: dbt, Spark, Python-код
- Наблюдаемость и аналитика Dagster: метрики, dashboards и алерты
- Риски, ограничения и типовые ошибки при внедрении
- Миграции и эволюция DAG: версионирование и обратная совместимость
- Развитие зрелости: дорожная карта для Data Platform на Dagster
- Практические кейсы и сценарии внедрения
- Управление данными, схемами и governance: контракты, каталог, политики
- Перспективы и будущее Dagster: направления развития и сообщество
