Apache Doris для Data Engineer
Курс посвящён практическому использованию Apache Doris как аналитической базы данных для построения витрин и обработки больших объёмов данных. Он показывает, как организовать загрузку данных, спроектировать таблицы и обеспечить высокую производительность аналитических запросов в real-time сценариях.
В рамках курса разбираются архитектура Doris, модели данных, распределение и партиционирование, а также различные способы загрузки данных (batch, streaming, API). Особое внимание уделяется оптимизации запросов, материализованным представлениям и построению аналитических витрин.
Дополнительно рассматриваются вопросы эксплуатации: мониторинг, отказоустойчивость, безопасность, интеграция с BI и масштабирование кластера. Такой подход позволяет использовать Doris как основу современной аналитической платформы.
- Введение в Apache Doris: цели, термины и контекст
- Архитектура Apache Doris: FE, BE и сервисы взаимодействия
- Характеристики хранения и движок обработки в Doris
- Стратегия внедрения Doris в корпоративной аналитике
- Выбор инфраструктуры: облако, локальная среда и Kubernetes
- Архитектурные паттерны загрузки данных: пакетная, потоковая, микробатчи
- Источники данных и каналы интеграции: HDFS/S3, Kafka, JDBC, Flink/Spark
- Моделирование данных в Doris: таблицы, типы, схемы
- Распределение данных: ключи распределения, партиционирование, co-location
- Витрины данных: операционные таблицы против аналитических витрин
- Управление схемами и миграциями: эволюция схем и версионирование
- Загрузка данных: Broker Load, Stream Load и API ingestion
- Интеграция реального времени: стриминг, задержки, консистентность
- Оптимизация аналитических запросов: план выполнения, статистика, prune
- Vectorized Execution и другие техники ускорения
- Продвинутые техники агрегаций и материализованных представлений в Apache Doris
- Оптимизация памяти и вычислений: компрессии, Bloom-фильтры, кеш
- Индексы, фильтры и управление фильтруемой нагрузкой
- Безопасность и управление доступом: аутентификация, авторизация, аудит
- Метаданные, каталог и управление данными: схемы, lineage, политика
- Мониторинг и операционная observability: метрики, логи, алерты
- Надежность и доступность: репликация, резервное копирование и DR
- Развертывание Doris: облако, Kubernetes, контейнеризация и CI/CD
- Интеграции с BI и аналитическими инструментами: Tableau, Power BI, Superset
- Практические кейсы: построение realtime витрины на Doris
- Валидация качества данных и тестирование: наборы тестов и проверки
- Риски, ограничения и частые ошибки в эксплуатации Doris
- Развитие архитектуры и зрелость: roadmap и эволюционные шаги
- Миграция с других OLAP-систем: сценарии и подходы
- План проекта и дорожная карта внедрения Doris
- Экономика владения Doris: TCO, ROI и управление затратами
- Практические задания и кейс-стади: подготовка к внедрению и сертификации
