Greenplum с нуля: MPP аналитическая база данных
Курс раскрывает Greenplum как распределённую MPP-базу данных для аналитики и построения корпоративных хранилищ. Вы разберётесь, как устроено распределение данных, параллельное выполнение запросов и архитектура кластера.
Рассматриваются основы SQL-аналитики, модели хранения, партиционирование и оптимизация запросов. Также затрагиваются архитектурные подходы к построению DWH и интеграции с внешними источниками данных.
Курс подойдёт для понимания того, как работают современные аналитические базы и как строится масштабируемая SQL-аналитика.
- Основы и терминология Greenplum
- Роль Greenplum в цифровой трансформации данных
- Архитектура Greenplum: концепции MPP и ключевые компоненты
- Топология кластера: мастер-узел, сегментные узлы и интерфейс сетевого взаимодействия
- Метаданные и каталоги Greenplum: pg_catalog, gp_toolkit и схемы
- Распределение данных: DISTRIBUTED BY, hash-распределение и балансировка нагрузки
- Таблицы и хранение: обычные, внешние таблицы, партиционирование
- Физические аспекты хранения: дисковые массивы, журналирование и консистентность
- Планировщик и исполнитель: Dispatcher, Executors и параллелизм
- Оптимизация запросов: статистика, ANALYZE, EXPLAIN, выбор плана
- Аналитические возможности SQL: оконные функции, агрегации и аналитические паттерны
- Архитектурные паттерны загрузки и интеграции: ELT, батч и потоковая обработка
- Интеграция источников данных: HDFS, S3, облачные хранилища, Kerberos
- Загрузка данных: gpload, gpfdist, COPY, внешние таблицы
- Архитектура хранилищ: звезда, снежинка и денормализация в контексте Greenplum
- Управление качеством данных и профилинг
- Безопасность и соответствие: аутентификация, авторизация, аудит, шифрование
- Резервное копирование, восстановление и непрерывность бизнеса
- Мониторинг и операционная модель: gpperfmon, метрики и dashboards
- Управление ресурсами: WLM, очереди и приоритеты
- Масштабирование и эволюция среды: горизонтальное масштабирование, добавление сегментов
- Надёжность и отказоустойчивость: DR-стратегии, репликация
- Развертывание в облаке и гибридные сценарии: приватное облако, Kubernetes и managed-сервисы
- Разработка аналитических пайплайнов: проектирование, тестирование и CI/CD
- Практические кейсы: маркетинговая аналитика и клиентская 360
- Практические кейсы: финансовый анализ и риск-менеджмент на Greenplum
- Практические кейсы: телеком-аналитика и операционная диспозиция
- План внедрения Greenplum: фазы проекта от старта к MVP
- Миграция и модернизация существующих DW: стратегии и подходы
- Риски, ограничения и типичные ошибки в Greenplum: архитектура, хранение и аналитика
- Этапы зрелости архитектуры и дорожная карта развития
- Экосистема инструментов, API и интеграция разработки: JDBC/ODBC, Python, R
- Перспективы и будущее Greenplum: обновления, направления развития
