Учебный курс по StarRocks
Современные аналитические платформы требуют высокой производительности, гибкости архитектуры и способности обрабатывать как пакетные, так и потоковые данные. StarRocks представляет собой аналитическую СУБД нового поколения, которая объединяет возможности классических DWH и современных Lakehouse-подходов, обеспечивая высокую скорость выполнения запросов и масштабируемость.
В этом разделе рассматриваются архитектура и ключевые возможности StarRocks: модели хранения данных, партиционирование, индексы и оптимизация запросов. Особое внимание уделяется практическим аспектам — развертыванию и масштабированию кластера, загрузке и экспорту данных, управлению доступом и мониторингу. Такой подход позволяет использовать StarRocks как основу для построения высокопроизводительных аналитических систем и современных data-платформ.
- Введение в StarRocks: архитектура и эволюция платформ данных
- Обзор StarRocks: архитектура, эволюция и ключевые преимущества
- Особенности и преимущества Starrocks
- Унификация как ключевое свойство StarRocks
- Высокая скорость выполнения запросов StarRocks
- Унификация как ключевое свойство Starrocks
- Архитектура Lakehouse (с использованием StarRocks)
- Архитектурные особенности StarRocks
- Объединенная архитектура хранения и вычислений Starrocks
- Архитектура с разделением вычислений и хранения в StarRocks
- Развернуть кластер StarRocks и выбрать подходящую архитектуру (integrated vs decoupled)
- Делать апгрейды и откаты безопасно, понимать риски и порядок действий в StarRocks
- Масштабировать кластер вверх/вниз и настраивать параметры под нагрузку в Starrocks
- Строить корректную модель данных: типы, партиции, бакетинг, индексы в Starrocks
- Настраивать импорт/экспорт: stream load, broker load, routine load, Flink и др. в Starrocks
- Управлять пользователями и правами (RBAC/термины/практика) в Starrocks
- Поднять мониторинг и почтовые алёрты, понимать ключевые метрики в Starrocks
- Проверка требований к развертыванию StarRocks
- Настройка параметров производительности и окружения для StarRocks
- Получение установочных пакетов Starrocks
- Развертывание и настройка Backend (BE) в кластере StarRocks
- Обновление и откат версий в StarRocks
- Понижение версии и откат в StarRocks
- Масштабирование и уменьшение кластера StarRocks
- Настройка параметров кластера StarRocks
- Обзор моделей таблиц StarRocks
- Типы данных в StarRocks
- Партиционирование и распределение данных в StarRocks
- Партиционирование в StarRocks: способы создания и дополнительные
- Индексы в StarRocks
- Заключение и резюме урока: табличная модель StarRocks
- Обзор методов импорта данных в StarRocks
- Возвращаемые значения в StarRocks
- Преобразование данных при импорте в StarRocks
- Оператор INSERT в StarRocks: синтаксис, отказоустойчивость и архитектура
- Управление фрагментацией данных: Compaction, INSERT с FUSE
- Импорт данных через Broker Load: асинхронная обработка
- Детали Broker Load: мониторинг, отмена задач и режимы работы
- Режимы работы Broker Load: с Broker и без Broker
- Импорт данных через Spark Load: использование внешних ресурсов
- Spark Load: мониторинг, ограничения и альтернативы
- Routine Load в StarRocks: импорт данных из Kafka
- Routine Load в StarRocks: управление задачами и работа с JSON
- Второй способ реального импорта: запись через Flink и CDC
- Синхронизация Oracle и MySQL с помощью Kafka Connect и Flink CDC
- Экспорт данных из StarRocks: механизмы и практика
- Резервное копирование и восстановление в StarRocks
- Введение в базовые запросы StarRocks
- Операции JOIN, подзапросы, UNION в StarRocks
- Изменение таблиц в StarRocks: управление структурой, партициями
- Бакетирование, изменение столбцов и Fast Schema Evolution в StarRocks
- Часто используемые функции в StarRocks
- Тестирование производительности в StarRocks
- Использование Bitmap-индексов, TPC-H и TPC-DS в StarRocks
- RBAC и IBAC в StarRocks
- Синтаксис, аутентификация и роли в StarRocks
- Grant, Revoke и активация ролей в StarRocks
- От моделирования до LDAP-аутентификации в StarRocks
- Развертывание компонентов мониторинга: Prometheus и Grafana в StarRocks
- Ключевые метрики и настройка почтовых уведомлений в StarRocks
- Демонстрация настройки и срабатывания оповещений в StarRocks
- Завершение настройки оповещений: отладка, многоуровневые алерты в StarRocks
