Учебный курс по Apache Airflow и NiFi
В данном разделе вы можете ознакомиться с обучающим курсом по Apache Airflow.
План курса
- Оркестрация пайплайнов и введение в Apache Airflow: разбираемся с Cron, узнаем историю появления, основные понятия и архитектуру Airflow
- Установка Airflow и первый DAG: пошаговый запуск Airflow, разбираем Web UI, пишем и запускаем первый DAG с использованием Jinja шаблонов
- Глубокое погружение в Airflow: узнаем о переменных, очередях, хуках и других инструментах, разбираем особенности планирования запусков, используем обмен данными внутри тасок
- Airflow в production: как Airflow используют с k8s, доставка кода, разница между 1.x и 2.x версиями, альтернативные оркестраторы