Администрирование Hadoop
Курс посвящён эксплуатации Hadoop-кластера и управлению ключевыми компонентами — HDFS и YARN. Он даёт понимание, как обеспечить стабильную работу платформы хранения и обработки больших данных в условиях высокой нагрузки.
Внутри — настройка ресурсов, управление хранением, оптимизация производительности и обеспечение отказоустойчивости. Также разбираются вопросы безопасности, мониторинга, обновлений и автоматизации инфраструктуры.
Курс помогает выстроить надежную Hadoop-инфраструктуру и поддерживать её на уровне production.
- Введение в Hadoop: цели курса и структура HDFS и YARN
- Термины и базовые концепции Hadoop
- Контекст применения Hadoop в корпоративной архитектуре данных
- Архитектура Hadoop: слои хранения и вычислений
- HDFS: принципы хранения, блочное устройство и репликация
- Высокодоступность HDFS: NameNode HA, JournalNode и Quorum Journal
- YARN: ResourceManager, NodeManager и ApplicationMaster
- Планирование ресурсов: capacity и fair scheduler
- Экосистема Hadoop: MapReduce, Spark, Hive, HBase, Pig, Impala
- Протоколы и API Hadoop: RPC, HDFS API, REST и совместимость
- Безопасность Hadoop: Kerberos, Ranger, Knox и шифрование данных
- Управление данными: репликация, erasure coding и политики хранения
- Конфигурационные файлы кластера: core-site.xml, hdfs-site.xml, yarn-site.xml
- Мониторинг и телеметрия: метрики, дашборды, инструменты
- Производительность HDFS: настройка блоков, размер файлов, параллелизм и кеш
- Оптимизация вычислений в YARN: контейнеры, лимиты и настройка задержек
- Сеть и топология: rack-awareness, сетевые правила, QoS
- Архитектурные решения для доступности и отказоустойчивости: NN HA, ZK, QJM
- Резервное копирование и восстановление: Snapshot и DR-процедуры
- Обновления и миграции: версии, совместимость и минимизация простоя
- Автоматизация и инфраструктура как код: Ambari/Cloudera Manager, Ansible, Terraform
- Интеграции приложений: Hive Metastore, Spark, HBase, Presto/Trino
- Архитектурные паттерны Hadoop: единый кластер vs федеративная архитектура, мульти-арендование
- Практические кейсы: миграции, критические инциденты, производственная оптимизация
- Риски, ограничения и типовые ошибки в администрировании Hadoop
- Развитие кластера: путь зрелости, показатели и дорожная карта
- Управление данными и качество данных: политики доступа, соответствие требованиям
- Обеспечение доступности сервисов и тестирование аварийных сценариев
- Документация, runbooks и эксплуатационные стандарты
- Будущее Hadoop: тренды, сравнение с альтернативами и рекомендации по выбору
