Учебный курс по Apache Airflow и NiFi
Сравнение Airflow и NiFi
- Apache NiFi vs. Apache Airflow
- Apache NiFi vs Airflow: Обзор и сравнение
- Много книг по Apache Airflow и Apache NiFi у нас на сайте в разделе Скачать
Apache Airflow
- Все, что вам нужно знать об Airflow DAGs, ч.1 — Основы и расписания
- Все, что вам нужно знать об Airflow DAGs, ч.2 — Операторы и Датчики
- Все, что вам нужно знать об Airflow DAGs, ч.3 — Проектирование DAG
План курса
- Оркестрация пайплайнов и введение в Apache Airflow: разбираемся с Cron, узнаем историю появления, основные понятия и архитектуру Airflow
- Установка Airflow и первый DAG: пошаговый запуск Airflow, разбираем Web UI, пишем и запускаем первый DAG с использованием Jinja шаблонов
- Глубокое погружение в Airflow: узнаем о переменных, очередях, хуках и других инструментах, разбираем особенности планирования запусков, используем обмен данными внутри тасок
- Airflow в production: как Airflow используют с k8s, доставка кода, разница между 1.x и 2.x версиями, альтернативные оркестраторы
Apache NiFi
- Учебное пособие по Apache NiFi Tutorial (Guide, Инструкция)
- Apache NiFi: что это такое и краткий обзор возможностей
- Оптимизируем NiFi Flow. Настройка Load Balancing, подходы к Scheduling и выбор метода merge
- Загрузка stage слоя DWH. Часть 1
- Загрузка stage слоя DWH. Часть 2
- Как ускорить потоковую обработку: лучшие практики для администратора кластера Apache NiFi
- Как мы пытались прогрузить 15к файлов планов-графиков производства с Apache NIFI и что из этого вышло