Учебный курс по Apache Airflow и NiFi
Сравнение Airflow и NiFi
- Apache NiFi vs. Apache Airflow
- Apache NiFi vs Airflow: Обзор и сравнение
- Много книг по Apache Airflow и Apache NiFi у нас на сайте в разделе Скачать
Apache Airflow
- Все, что вам нужно знать об Airflow DAGs, ч.1 — Основы и расписания
- Все, что вам нужно знать об Airflow DAGs, ч.2 — Операторы и Датчики
- Все, что вам нужно знать об Airflow DAGs, ч.3 — Проектирование DAG
- Создание витрины данных для телеком-оператора средствами Apache Airflow
- Использование открытого исходного кода для интеграции данных и автоматической синхронизации данных
- Apache Airflow: преимущества и недостатки
- Плагин Airflow для ClickHouse
- Как интегрировать Greenplum с Apache Airflow
План курса
- Оркестрация пайплайнов и введение в Apache Airflow: разбираемся с Cron, узнаем историю появления, основные понятия и архитектуру Airflow
- Установка Airflow и первый DAG: пошаговый запуск Airflow, разбираем Web UI, пишем и запускаем первый DAG с использованием Jinja шаблонов
- Глубокое погружение в Airflow: узнаем о переменных, очередях, хуках и других инструментах, разбираем особенности планирования запусков, используем обмен данными внутри тасок
- Airflow в production: как Airflow используют с k8s, доставка кода, разница между 1.x и 2.x версиями, альтернативные оркестраторы
-
Apache Airflow Best Practices
Практическое руководство по организации рабочего процесса обработки данных с помощью Apache Airflow -
The Ultimate Guide to Apache Airflow® DAGs
E-book от ребят из Astronomer про Apache Airflow. 135 страниц концентрированной информации "без воды". Рекомендую! Заходит как справочник в самый раз -
Apache Airflow® Best Practices: ETL & ELT Pipelines
44 страницы исчерпывающего руководства по одному из самых распространенных сценариев использования в data engineering на ведущем open-source оркестраторе!Что вы узнаете из руководства:
- bar_chart Сравнение ETL vs. ELT для вашей архитектурной стратегии - какой подход выбрать и почему.
- bulb Лучшие практики написания DAG в Airflow - как создавать эффективные и поддерживаемые пайплайны.
- zap️ Ключевые функции для улучшения ваших ETL & ELT пайплайнов - поднимите свои процессы обработки данных на новый уровень.
Станьте экспертом в оркестрации данных с этим подробным руководством!
Apache NiFi
- Учебное пособие по Apache NiFi Tutorial (Guide, Инструкция)
- Apache NiFi: что это такое и краткий обзор возможностей
- Оптимизируем NiFi Flow. Настройка Load Balancing, подходы к Scheduling и выбор метода merge
- Загрузка stage слоя DWH. Часть 1
- Загрузка stage слоя DWH. Часть 2
- Как мы пытались прогрузить 15к файлов планов-графиков производства с Apache NIFI и что из этого вышло