Dagster с нуля: оркестрация data pipeline
Курс даёт базовое понимание Dagster как инструмента оркестрации ETL/ELT процессов и управления зависимостями задач. Он объясняет, как проектировать пайплайны, управлять их выполнением и автоматизировать обработку данных.
В рамках курса разбираются основные концепции Dagster (jobs, ops, assets), конфигурация пайплайнов, управление ресурсами и обработка ошибок. Особое внимание уделяется тестированию, идемпотентности и воспроизводимости процессов.
- Dagster: вводные концепции оркестрации данных
- Оркестрация данных в современном стеке: задачи и цели
- Архитектура Dagster: ключевые компоненты и их взаимодействие
- Терминология Dagster: Jobs, Ops, Assets, Resources, IO Managers
- Проектирование ETL и ELT в Dagster: принципы и паттерны
- Модели зависимостей и граф задач в Dagster
- Хранилища данных и источники: интеграции через Dagster
- Конфигурации и режимы выполнения: настройка параметров пайплайна
- Управление ресурсами: подключение к БД, API, файловым системам
- Менеджеры ввода-вывода и промежуточные данные
- Идемпотентность и воспроизводимость пайплайнов
- Планирование и автоматизация: расписания, сенсоры, триггеры
- Тестирование Dagster-пайплайнов: стратегии и практики
- Контракты данных: типы, схемы и валидация
- Интеграции и экосистема Dagster: данные, мониторинг, инфраструктура
- Архитектурные паттерны пайплайнов: модульность, повторное использование
- Управление обработками ошибок: ретраи, тайм-ауты, деградация
- Логирование, мониторинг и наблюдаемость Dagster
- Безопасность, конфиденциальность и соответствие требованиям
- Контейнеризация, развёртывание и инфраструктура как код
- Dagster с нуля: CI/CD для Dagster: сборка, тесты, выпуск
- Масштабирование пайплайнов: параллелизм, распределение задач
- Оптимизация производительности и расхода ресурсов
- Архитектура данных для дата-областей и lakehouse
- Практические кейсы: загрузка данных в хранилище, обработка логов, парсинг событий
- Типичные ошибки и риски при внедрении Dagster
- Эволюция пайплайнов: миграции, версия и совместимость
- Оценка ценности и ROI внедрения Dagster
- План внедрения Dagster в корпорацию: этапы, роли, требования
- Развитие команды: грамотная эксплуатационная культура и зрелость
