Администрирование Apache Kafka
Курс посвящён управлению кластером Kafka как ключевого компонента streaming-инфраструктуры. Он объясняет, как обеспечить отказоустойчивость, масштабируемость и стабильную доставку данных в системах обработки событий.
Внутри — архитектура брокеров, репликация, управление топиками, настройка параметров и балансировка нагрузки. Отдельный акцент сделан на мониторинге, производительности, безопасности и планировании пропускной способности.
Курс даёт практические навыки эксплуатации Kafka в production и помогает строить устойчивые потоковые системы.
- Введение и контекст: роль Kafka в современной архитектуре потоковых данных
- Терминология и базовые понятия: брокеры, разделы, репликация, лидеры
- Архитектура Apache Kafka: компоненты, взаимодействие и границы ответственности
- Модель данных Kafka: записи, ключи, разделы, смещения и порядок публикации
- Клиенты Kafka: продюсеры, потребители и группы потребителей
- Репликация, отказоустойчívость и гарантии: принципы и сценарии
- Консистентность, Exactly-Once и транзакции: механизмы и ограничения
- Управление хранением журналов: retention, cleanup-политики, сегменты и компрессия
- Управление топиками и разделами: создание, модификация и перераспределение
- ISR, лидерство и контроллер кластера: операции управления
- Планирование параметров репликации: replication.factor, min.insync.replicas
- Балансировка лидеров и маршрутизация нагрузки: стратегии и автоматизация
- Масштабирование и архитектурные паттерны больших кластеров
- Междатная репликация и DR: MirrorMaker 2.0 и альтернативы
- Архитектура KRaft vs Zookeeper: эволюция кластера и миграционные сценарии
- Безопасность в Apache Kafka: аутентификация, шифрование и авторизация
- Аутентификация и протоколы SASL: SCRAM, GSSAPI, OAUTHBEARER
- Управление доступом: ACL, политики и ролевой доступ
- Сетевые принципы безопасности: TLS и mTLS между компонентами
- Развертывание Kafka: облако, локальные дата-центры, Kubernetes
- Жизненный цикл кластера: обновления, откаты, Rolling Restart и миграции
- Мониторинг и наблюдаемость: метрики, логирование, алерты
- Метрики и аналитика Kafka: задержки, lag, пропускная способность, GC
- Инструменты управления и автоматизации: Cruise Control, Burrow, Kafka Manager
- Тюнинг производительности: настройка параметров, пайплайны и примеры
- Планирование пропускной пропускной способности и ресурсов: расчеты CPU, памяти, дисков
- Тестирование, устойчивость и качество: нагрузочные тесты, chaos-инженерия
- Практические кейсы: сценарии использования и архитектурные решения
- Развитие и зрелость: дорожная карта, maturity model и постоянная оптимизация
