Администрирование Apache Doris
Курс посвящён эксплуатации Apache Doris как OLAP-платформы и охватывает полный цикл управления кластером — от развёртывания до настройки производительности и обеспечения отказоустойчивости. Он ориентирован на специалистов, которые отвечают за стабильную работу аналитической инфраструктуры и обработку больших объёмов данных.
В программе — архитектура FE/BE, управление кластером, настройка параллелизма, оптимизация SQL-запросов и работа с материализованными представлениями. Отдельный блок посвящён мониторингу, метрикам, логированию и управлению ресурсами.
Курс даёт практическое понимание, как поддерживать высокую производительность и надежность аналитической платформы в production-среде.
- Введение в Apache Doris: цели, область применения и базовая терминология
- Контекст Doris в современной аналитической архитектуре
- Архитектура Doris: FE и BE, компоненты и их роли
- Модели данных и концепции аналитики в Doris
- Архитектурные паттерны развёртывания Doris: локальные, облачные и гибридные инфраструктуры
- Инфраструктура и требования к ресурсам
- Развертывание кластера Doris: сценарии, шаги и конфигурации
- Управление конфигурациями и параметрами: принципы и лучшие практики
- Управление кластером: координация FE/BE, политика ролей и доступов
- Процессы обновления и миграции версий Doris
- Ингестиция данных в Doris: источники, методы загрузки и трансформации
- Загрузка и потоковая загрузка: Batch Load и Stream Load
- Подключение к Doris: SQL, JDBC/ODBC, REST и клиентские драйверы
- Источники данных и интеграции: HDFS, S3, Kafka, MySQL, Hive, Iceberg
- Архитектура хранения данных: таблицы, партиционирование, репликация и управление хранением
- Разделение и горизонтальное масштабирование: шардирование и балансировка нагрузки
- Производительность и настройка параллелизма: планировщик задач и исполнение
- Оптимизация запросов: статистика, выбор плана, перераспределение соединений
- Материализованные представления и агрегаты: использование и обслуживание
- Индексирование и эффективный доступ к данным
- Кэширование, буферы и управление памятью
- Безопасность и контроль доступа: аутентификация, авторизация, аудит
- Мониторинг, логирование и наблюдаемость: архитектура телеметрии и инструменты
- Метрики Doris: что измерять и как интерпретировать
- Управление данными и качество данных: валидность, консистентность и дедупликация
- Резервное копирование и восстановление: бэкапы и точки восстановления
- Обеспечение отказоустойчивости и аварийного восстановления: репликация и failover
- Обновления, тестирование и контроль совместимости
- Риск-менеджмент и типовые ошибки эксплуатации
- Практические кейсы и сценарии использования Doris
- Архитектурные решения по эксплуатации Doris в крупных организациях
- Путь зрелости: дорожная карта развития Doris и платформы
- Эксплуатационные чек-листы и операционные процедуры
- Рекомендации по внедрению и управлению изменениями в организации
