Администрирование Apache Flink
Этот курс раскрывает Apache Flink с точки зрения эксплуатации потоковых систем и управления вычислительными ресурсами. Он показывает, как поддерживать стабильную работу streaming-приложений в условиях высокой нагрузки и требований к задержкам.
Вы изучите архитектуру кластера Flink, управление состоянием, чекпойнты и гарантии exactly-once. Особое внимание уделяется мониторингу задач, настройке производительности, обработке времени и масштабированию потоков.
Курс ориентирован на построение надежных потоковых платформ и помогает эффективно управлять real-time обработкой данных.
- Введение в Apache Flink и контекст потоковых вычислений
- Терминология и базовые концепции Flink
- Архитектура кластера Flink: JobManager, TaskManager и их взаимодействие
- Роль ресурсов в Flink: слоты, контейнеризация и планирование задач
- Развертывание и режимы эксплуатации: Standalone, YARN, Kubernetes
- Архитектурные паттерны управления ресурсами и балансировки нагрузки
- Управление конфигурацией кластера и параметрами среды
- Хранилище состояния: state backend, RocksDB и управление состоянием
- Управление временем и окнами: watermarks, обработка времени, оконные операции
- Чекпойнты и сохраненные точки: устойчивость и восстановление
- Точность и согласованность: exactly-once, транзакции и устойчивость потоков
- Источники и приемники данных: интеграции с Kafka, Kinesis, RabbitMQ и др.
- Интеграция с внешними системами: базы данных, HDFS, Elasticsearch, Redis
- Архитектура конвейеров и DAG-уровень обработки: паттерны построения потоков
- Мониторинг и телеметрия: метрики, Prometheus, Grafana, алертинг
- Логирование, трассировка и диагностика распределённых задач
- Безопасность и управление доступом: аутентификация, авторизация, шифрование
- Управление конфигурациями и жизненным циклом окружения: параметры, профили и окружения
- DevOps и CI/CD для Flink: тестирование, сборка образов, релизы
- Производительность и тюнинг Flink-приложений: оптимизация DAG, параллелизма и сетевых буферов
- Управление состоянием и длительностью сохранения: TTL, очистка и архивирование
- Масштабирование и зрелость операционной практики: горизонтальное масштабирование и автошкалирование
- Риски, ограничения и типичные ошибки эксплуатации Flink
- Практические кейсы внедрения: финансовые потоки, онлайн-аналитика, мониторинг
- Архитектура для многопользовательских сред и изоляции ресурсов
- Планирование обновлений и миграций: версии, сохраненные точки и совместимость
- Архитектура будущих интеграций и модернизаций: новые коннекторы и паттерны
- Методы тестирования Flink-платформы: unit, integration, end-to-end и нагрузочное тестирование
