Apache Airflow: оркестрация дата-пайплайнов и управление зависимостями
- Архитектурные сравнения с альтернативами: когда выбирать Airflow vs Prefect или Luigi
- CI/CD для DAG: управление версиями, развёртывание и тестовая среда
- DAG как единица планирования: дизайн, семантика и лучшие практики
- Архитектура Airflow: ключевые компоненты и их взаимодействие
- Архитектура данных и управление зависимостями данных: lineage и качество данных
- Архитектура секретов и политики доступа: управление секретами на уровне окружения
- Безопасность и доступ: RBAC, аутентификация, аудит и соответствие требованиям
- Введение: цели курса и роль Airflow в современной архитектуре данных
- Исполнители: LocalExecutor, CeleryExecutor и KubernetesExecutor
- Кейсы применения: финансы и банки, телеком, розничная торговля, здравоохранение
- Коннекторы и интеграции: работа с внешними системами и сервисами
- Контейнеризация и развёртывание: Docker Compose и Kubernetes кластеры Airflow
- Контроль качества данных на стадии оркестрации: проверки, валидаторы и тестовые наборы
- Логи, мониторинг и наблюдаемость: сбор метрик, трассировка и алерты
- Макросы и шаблоны: динамическая конфигурация задач и параметризация
- Метаданные Airflow: база данных, миграции и консистентность
- Миграции и обновления Airflow: минимизация сбоев и планирование обновлений
- Обеспечение устойчивости и отказоустойчивости: резервное копирование, DR, обновления
- Операторы и хуки: расширение возможностей работы с источниками и приемниками
- Организация команд и роли: роли в дата-архитектуре и эксплуатации
- Паттерны проектирования для сложных пайплайнов: модульность, повторное использование
- Переменные и секреты: управление параметрами и безопасностью
- Планировщик Airflow: как принимает решения и управляет зависимостями
- Практики внедрения и методики преподавания: как обучать команды, модули и сертификации
- Развертывание Airflow в облаке: MWAA, Google Cloud Composer и варианты
- Развитие и экосистема Airflow: дорожная карта, вклад в open source, плагины
- Разработка устойчивых пайплайнов: идемпотентность, ретраи, backoff и обработка ошибок
- Риски эксплуатации Airflow: сложности DAG, конфигурационные дрейфы, безопасность
- Сенсоры, триггеры и события: реактивная оркестрация данных
- Терминология Airflow: DAG, задача, оператор, сенсор, XCom, макросы
- Тестирование DAGs и качество пайплайнов: юнит и интеграционные тесты
- Управление зависимостями между задачами: графы, зависимости и расписания
- Управление конфигурациями и окружениями в больших кластерах: политики, naming, окружения
- Управление повторными запусками, ретраями и SLA: надежность пайплайнов