Администрирование Greenplum
Курс посвящён управлению кластером Greenplum и охватывает все ключевые аспекты эксплуатации MPP-базы данных: от архитектуры и распределения данных до настройки производительности и отказоустойчивости. Он подойдёт тем, кто отвечает за стабильную работу аналитических систем и корпоративных DWH.
В программе — управление сегментами, балансировка нагрузки, настройка параметров кластера, оптимизация SQL-запросов и анализ планов выполнения. Отдельное внимание уделяется мониторингу, резервному копированию, безопасности и управлению ресурсами.
Курс помогает выстроить надежную эксплуатационную модель Greenplum и повысить эффективность аналитической платформы.
- Введение в администрирование Greenplum: цели, термины и область применения
- Архитектура кластера Greenplum: мастер-узел, сегменты, зеркала и сеть interconnect
- Компоненты исполнения запроса: QD, QE, движение данных и взаимодействие узлов
- Механика распределения данных: ключи распределения, хэширование и балансировка нагрузки
- Физическая и логическая организация хранения: сегментные узлы, файловая структура, партиционирование
- Архитектурные паттерны проектирования схем для аналитики
- Работа с внешними источниками данных: внешние таблицы, GPFDIST, руководства по загрузке
- Загрузка и интеграция данных: COPY, gpload, параллельная загрузка и обработка спайков
- Совместимость и протоколы доступа: PostgreSQL-совместимость, JDBC/ODBC, psql
- Конфигурация кластера и управление параметрами: gpconfig, параметры памяти, планирование и обновления
- Управление сегментами и масштабирование: добавление/удаление сегментов, зеркалирование, rebalance
- HA, резервирование и аварийное восстановление: стратегии, автоматизация, тестирование отказов
- Планирование исполнения запросов: распределение данных, стратегии соединений, диспетчеризация
- Мониторинг и телеметрия: gpperfmon, журналирование, метрики, алерты
- Тюнинг выполнения запросов: планы, распределение, движение, фильтрация и ускорители
- Управление статистикой и автоматическое обновление: ANALYZE, STATISTICS, автообновление
- Управление ресурсами и очередями: Workload Management, Resource Queues, профили
- Анализ планов и трассировка запросов: EXPLAIN, EXPLAIN ANALYZE, инструменты профилирования
- Резервное копирование и восстановление: gpcrondump/gprestore, логическое vs физическое резервирование
- Миграции схем и версий данных: миграции, обновления, минимизация простоя
- Масштабирование кластера: горизонтальное расширение, перераспределение данных, переразметка
- Облачные и гибридные сценарии: интеграции с AWS, GCP, Azure, HDFS и S3
- Зрелость архитектуры и процессы эксплуатации: этапы внедрения, стандарты, KPI
- Риски, ограничения и типичные ошибки в администрировании Greenplum
- Практические кейсы и сценарии применения: банковский сектор, телеком, ритейл, наука
- Операционная модель и дисциплина: SRE, SLA/OLA, инцидент-менеджмент
- DevOps и автоматизация для Greenplum: CI/CD, инфраструктура как код, пайплайны
- Контроль качества данных и тестирование: методики тестирования, валидация данных
- Будущее Greenplum: дорожная карта, версии, миграции и жизненный цикл
