Greenplum для Data Engineer
Курс ориентирован на разработку аналитических решений на базе Greenplum: от ETL-процессов до построения витрин данных и оптимизации SQL-запросов. Он показывает, как использовать возможности MPP-системы для обработки больших объёмов данных.
В программе — распределение таблиц, загрузка данных, трансформации, индексация и управление производительностью. Особое внимание уделяется архитектуре витрин, качеству данных и интеграции с orchestration-инструментами.
Курс помогает перейти от теории к практике и научиться строить эффективные аналитические модели на Greenplum.
- Введение в Greenplum и роль Data Engineer
- Архитектура MPP-системы Greenplum: принципы и компоненты
- Основы терминологии Greenplum: сегменты, сегментные сервера, мастеры
- Контекст применения Greenplum в современных корпоративных данных
- Этапы жизненного цикла проекта данных на Greenplum
- Модели данных в Greenplum: от нормализации к денормализации
- Требования к ETL-процессам: цель, SLA, качество данных
- Моделирование витрин данных: факты, измерения, показатели KPI
- Стратегии распределения таблиц и хранение данных
- Таблицы в Greenplum: распределение, партиционирование и секционирование
- Внешние таблицы и интеграция с хранилищами: S3, HDFS, Azure
- ETL-каналы: загрузка и выгрузка данных
- Трансформации в ETL: SQL, PL/pgSQL, Python UDF и раскладки
- Оптимизация выполнения запросов: план, статистика, настройка planner
- Распределенная агрегация и параллелизм в Greenplum
- Индексация и другие механизмы ускорения запросов в Greenplum
- Архитектурные паттерны ETL и Data Warehouse под Greenplum
- Архитектура безопасности, аутентификация и управление доступом
- Контроль версий схем, миграции и развёртывание изменений
- Эксплуатационная модель: бэкапы, recovery, DR-планы
- Мониторинг, профилирование, телеметрия и управление производительностью
- Оркестрация ETL-процессов: Airflow, Prefect, Dagster
- Архитектура качества данных: профилирование, линтинги, тестирование данных
- Управление данными: политика хранений, архивы, удаление и компактификация
- Масштабирование Greenplum: горизонтальное и вертикальное развитие
- Риски, ограничения и типовые ошибки при реализации на Greenplum
- Практические кейсы загрузки и витрин: продаж, телеком, финансы
- Производительность SQL: паттерны и примеры оптимизации запросов
- Тестирование и обеспечение качества данных в Greenplum
- Развитие зрелости Data Platform: дорожная карта и KPI зрелости
- Внедрение и управление изменениями: роли, процессы, управленческая практика




