Учебный курс по Apache Airflow и NiFi
Сравнение Airflow и NiFi
- Apache NiFi vs. Apache Airflow
- Apache NiFi vs Airflow: Обзор и сравнение
- Много книг по Apache Airflow и Apache NiFi у нас на сайте в разделе Скачать
Apache Airflow
- Все, что вам нужно знать об Airflow DAGs, ч.1 — Основы и расписания
- Все, что вам нужно знать об Airflow DAGs, ч.2 — Операторы и Датчики
- Все, что вам нужно знать об Airflow DAGs, ч.3 — Проектирование DAG
- Создание витрины данных для телеком-оператора средствами Apache Airflow
- Использование открытого исходного кода для интеграции данных и автоматической синхронизации данных
- Apache Airflow: преимущества и недостатки
- Плагин Airflow для ClickHouse
- Как интегрировать Greenplum с Apache Airflow
- Как мы организуем 2000+ моделей DBT в Apache Airflow
- Настройка пайплайна с использованием Airflow и PostgreSQL
- Ассеты в оркестраторах данных: концепция и реализация в Airflow
- Разработка и внедрение производственных ML-пайплайнов на Apache Airflow
- Архитектура конвейеров данных: полное руководство по выбору и реализации
- YAML вместо Python_ LowCode-разработка DAG в Apache AirFlow с DAG Factory
- Асинхронная модель исполнения в Apache Airflow: триггеры, отсроченные операторы и эффективное управление ресурсами
- Отсроченные операторы и триггеры в Apache Airflow: архитектура, асинхронная модель и практики внедрения
- Введение: цели, задачи и границы исследования контекста в Apache Airflow
- Мониторинг Apache NiFi 2.0 на базе Reporting Tasks: архитектура, телеметрия, S2S и интеграции
- Уведомления и алертинг в Apache Airflow: теория, архитектура и производственная практика
- Систематический обзор процессоров‑слушателей Apache NiFi 2.0: архитектура приёма, протоколы, производительность, безопасность и масштабирование
- Пулы и приоритеты задач в Apache AirFlow
- Airflow 3.1.0: человеко‑центрированные рабочие процессы, HITL‑архитектура и развитие экосистемы
- Перенос ETL-пайплайна Airflow в облачную инфраструктуру AWS
- Архитектура и развёртывание ETL‑пайплайна на Airflow в AWS: концепции, инфраструктура и эксплуатационные практики
- Airflow 3.1.1: архитектура и новшества
- Apache Airflow: теоретические основы, архитектура и практическая реализация ETL-пайплайнов в локальной среде с Docker и облачными интеграциями
План курса
- Оркестрация пайплайнов и введение в Apache Airflow: разбираемся с Cron, узнаем историю появления, основные понятия и архитектуру Airflow
- Установка Airflow и первый DAG: пошаговый запуск Airflow, разбираем Web UI, пишем и запускаем первый DAG с использованием Jinja шаблонов
- Глубокое погружение в Airflow: узнаем о переменных, очередях, хуках и других инструментах, разбираем особенности планирования запусков, используем обмен данными внутри тасок
- Airflow в production: как Airflow используют с k8s, доставка кода, разница между 1.x и 2.x версиями, альтернативные оркестраторы
-
Apache Airflow Best Practices
Практическое руководство по организации рабочего процесса обработки данных с помощью Apache Airflow. Книгу вышлем по запросу, пишите! -
The Ultimate Guide to Apache Airflow® DAGs
E-book от ребят из Astronomer про Apache Airflow. 135 страниц концентрированной информации "без воды". Рекомендую! Заходит как справочник в самый раз. Книгу вышлем по запросу, пишите! -
Apache Airflow® Best Practices: ETL & ELT Pipelines
44 страницы исчерпывающего руководства по одному из самых распространенных сценариев использования в data engineering на ведущем open-source оркестраторе!Что вы узнаете из руководства:
- bar_chart Сравнение ETL vs. ELT для вашей архитектурной стратегии - какой подход выбрать и почему.
- bulb Лучшие практики написания DAG в Airflow - как создавать эффективные и поддерживаемые пайплайны.
- zap️ Ключевые функции для улучшения ваших ETL & ELT пайплайнов - поднимите свои процессы обработки данных на новый уровень.
Станьте экспертом в оркестрации данных с этим подробным руководством!
Apache NiFi
- Учебное пособие по Apache NiFi Tutorial (Guide, Инструкция)
- Apache NiFi: что это такое и краткий обзор возможностей
- Оптимизируем NiFi Flow. Настройка Load Balancing, подходы к Scheduling и выбор метода merge
- Загрузка stage слоя DWH. Часть 1
- Загрузка stage слоя DWH. Часть 2
- Как мы пытались прогрузить 15к файлов планов-графиков производства с Apache NIFI и что из этого вышло
Airflow для управления цепочками взаимосвязанных задач.
За многие годы Airflow стал де-факто стандартом в области управления цепочками взаимосвязанных задач.
Хотя сам инструмент позиционируется как полноценное решение для построения пайплайнов данных, мною он всегда рассматривался только как оркестратор (дирижер, раздающий задачи). Решать эти задачи мною призывались специализированные инструменты:
— Processing: curl, jq, awk, sed
— File storage: S3, MinIO
— Transformations: dbt + DBMS (Clickhouse, Snowflake, ...)
— Alerts: Slack, Telegram
Пример: перед нами задача — регулярно получать выгрузки из REST-сервиса для аналитики в Clickhouse.
Вся соль DAG в том, какими инструментами и набором шагов мы решим эту задачу. Сравните
Подход #1:
— 20 разных endpoints (справочники, факты)
— DAG с PythonOperator на каждый endpoint, request с обработкой ответа
— Вставка результата (JSON) в MongoDB как документ
— Создание целевых таблиц в Clickhouse (SQL = CREATE TABLE ...)
— Предобработка данных (типы, название колонок, порядок), возможно в pandas
— Вставка в целевые таблицы (INSERT loop = медленно)
И подход #2:
— Однострочный bash-скрипт с параметрами curl ${ENDPOINT} | jq | s3 copy ${S3_BUCKET_PATH} -
— Конфиг в yaml с параметрами для 20 endpoints
— Генерация DAG по шаблону BashOperator на основе yaml config
— Запись результатов в стиле Extract - Load в S3
— Чтение из Clickhouse с использованием S3 table engine (с чтением схемы schema inference)
В качестве критериев для сравнения используйте:
— Простота конфигурации и гибкость (endpoint: добавить, убрать, применить фильтр, записать в другой S3 bucket, выполнить полный пересчет)
— Быстрота (скорость работы, устойчивость к росту объема данных)
— Принцип EL = все трансформации в DWH (никаких трансформаций вне DWH)
— Устойчивость к изменениям и проблемам (какие точки отказа? сколько их?)
— Поддержка Schema Evolution (меняются атрибуты, типы данных в выгрузке - будет ли ошибка? требуются ли ручные действия?)