Apache Doris с нуля: real-time аналитика и OLAP архитектура
Курс даёт фундаментальное понимание Apache Doris как MPP-OLAP системы для обработки аналитических запросов в реальном времени. Он объясняет архитектуру системы, принципы хранения и выполнения запросов, а также роль Doris в современной data-платформе.
В рамках курса рассматриваются модели данных, загрузка данных, оптимизация выполнения запросов и архитектурные паттерны OLAP. Особое внимание уделяется настройке real-time аналитики, индексации, агрегациям и балансировке нагрузки в кластере.
Дополнительно раскрываются вопросы развертывания, мониторинга, масштабирования и интеграции с другими системами (DWH, Data Lake, BI). Такой подход позволяет с нуля освоить Doris и применять его в production-сценариях.
- Введение в Apache Doris: цели, задачи и ценность для real time аналитики
- Контекст применения Doris и области бизнес-управления
- Термины и базовые концепции Doris
- Архитектура Doris: обзор компонентов и взаимодействий
- Физическое хранение и вычисления: как Doris обрабатывает данные
- Таблицы Doris: ключевые режимы и их влияние на нагрузку
- Табличная модель и проектирование схем под Doris
- Модели данных и проектирование под аналитические сценарии
- Интеграция источников данных: конвейеры, CDC и загрузка изменений
- Загрузка данных в Doris: Stream Load, Broker Load и пакетные загрузки
- Гарантии консистентности и потоковая обработка данных
- Индексация, статистика и оптимизация хранения
- Оптимизация выполнения запросов: планировщик, исполнение и режимы
- Архитектурные паттерны OLAP в Doris: MPP, параллелизм и шардинг
- Ускорение аналитических запросов: агрегации, Rollup и материализованные представления
- Реальное время: настройка и практики near real-time аналитики
- Безопасность и управление доступом: аутентификация, авторизация, аудит
- Развертывание кластера Doris: HA, обновления и резервное копирование
- Контейнеризация и Kubernetes: Doris в облаке и локальных средах
- Мониторинг, операционные метрики и диагностика
- Ресурсы и тюнинг кластера: настройка CPU, памяти и I/O
- Интеграции с BI и аналитическими инструментами: JDBC/ODBC и коннекторы
- Архитектурные подходы к данным и моделирование для Doris: практики
- Практические кейсы: ритейл, телеком, финансы и т.д.
- Риски, ограничения и типичные ошибки внедрения
- Этапы внедрения Doris: пилот, миграция и переход к прод
- Эволюция и масштабирование Doris: горизонтальное масштабирование и балансировка
- Архитектурные паттерны интеграции с озерами данных и хранилищами
- Экономика владения Doris: стоимость владения и ROI
- Подготовка к сертификации и отраслевые стандарты
- Будущее Apache Doris: направления развития и сравнение с конкурентами
