Учебный курс по Greenplum
Greenplum – open-source продукт, массивно-параллельная реляционная СУБД для хранилищ данных с гибкой горизонтальной масштабируемостью и столбцовым хранением данных на основе PostgreSQL. Благодаря своим архитектурным особенностям и мощному оптимизатору запросов, Гринплам отличается особой надежностью и высокой скоростью обработки SQL-запросов над большими объемами данных, поэтому эта MPP-СУБД широко применяется для аналитики Big Data в промышленных масштабах.
Обзор Greenplum
- Как устроена Greenplum?
- Архитектура Greenplum
- GreenPlum. Обзорная информация
- Кому подойдет СУБД Greenplum? Чем Greenplum отличается от Clickhouse
- Введение в Greenplum
- Введение в архитектуру Greenplum
- Что такое БД Greenplum? Введение в БД для работы с Big Data
- Greenplum от A до Я — начнем с архитектуры
- Хотите узнать о Greenplum подробнее?
- «Ящик Пандоры», или из чего состоит планировщик запросов СУБД Greenplum
- Почему VMware Greenplum - это та самая векторная база данных, которая Вам нужна для анализа информации?
- Эксплуатация и администрирование хранилища данных на основе Greenplum
Оптимизация работы в Greenplum
- Лучшие практики касательно Greenplum
- Зеркалирование и отказоустойчивость Greenplum
- Оптимизация хранения данных в Greenplum
- Рекомендуемые задачи по поддержке и мониторингу системы
- Как повысить производительность БД: полезные и, главное, действенные советы!
- Построение DWH на основе Greenplum
- 5 стадий принятия необходимости изучения «плана запроса» или почему может долго выполняться запрос
- Повышаем BI производительность Greenplum с помощью Heimdall Data
Работа с Greenplum
- Запуск и остановка Greenplum
- Как получить информацию о структуре БД для документации
- Партиционирование в Greenplum 7: что нового
- Партиционирование в Greenplum
- Greenplum от Vmware – это векторная база, отлично подходящая для аналитики Ваших данных
- Потоковая CDC репликации данных из любой БД в Greenplum с помощью RabbitMQ и Debezium
- 20 команд разделения, доступные в Greenplum 7
- Таблицы Greenplum и компрессия
- Крутые функции даты Greenplum, которые должен знать каждый
- 4+1 вопроса, которыми должен задаться каждый Data-Engineer при управлении таблицами в Greenplum
- Управление таблицами в Greenplum: хранилище данных, ориентированное на строки vs столбцы
- Поговорим об операторах JOIN
- Подключение объектов ECS с помощью Greenplum
- Управление объектами таблиц в Greenplum: хранилище, ориентированное на строки и столбцы
- Агрегированные выражения в Greenplum
- Аналитические, группирующие и хранимые функции в Greenplum
- Кейс оптимизации запросов в Greenplum: как мы ускорили расчёт количества чеков в 9 раз
- Внедрение методологии Data Vault на Greenplum с использованием DBT
- Greenplum как ядро корпоративной платформы данных: опыт построения высоконагруженного хранилища в финансовом секторе
- Безопасное вакуумирование в Greenplum: архитектура, механизмы, мониторинг и кейсы применения
- Мотивация изучения идемпотентности и волатильности функций в Greenplum и PostgreSQL
- Интерконнекты Greenplum: архитектура MPP, сетевые протоколы и автоматизация для масштабируемого межузлового взаимодействия
- Задачи машинного обучения в Greenplum и роль gpMLBot и PostgresML
- Автоматическая очистка системного каталога Greenplum
- Внешние веб-таблицы в Greenplum и 2 способа их создания
- Транзакции и блокировки в Greenplum
Data Science и Greenplum
- Greenplum для Data Science: Анализ Big Data с помощь SQL и Python
- Greenplum для Data Science: Расширенный текстовый анализ и текстовый поиск на Greenplum с помощью GPText
- Greenplum для Data Science: Масштабируемое ML и NLP в базе данных с помощью PL/Python
- Greenplum для Data Science: Развертывание моделей на Greenplum с помощью Python с помощью GreenplumPython
- Прокачайте свои навыки работы с Big Data: расширенные возможности исследования данных с помощью GreenplumPython 1.1.0 + расширенный поиск по эмбеддингам в PostgreSQL и Greenplum
- Анализ Big Data с помощью SQL и Python
- Масштабируем ML и NLP в БД с помощью PL/Python
AI и Greenplum
- Создание эффективного поиска на основе ИИ в Greenplum с помощью pgvector и OpenAI
- Создание мощнейшего поиска данных на основе ИИ в Greenplum с помощью pgvector и OpenAI
- Как ускорить процесс аналитики данных с помощью Greenplum и dbt
Географические данные и Greenplum
- PostGIS – главный помощник при анализе геопространственных данных
- Загрузка геопространственных данных с помощью PostGIS
Настройки Greenplum
- Изменение порта Greenplum, установленного по умолчанию
- Работа с файлами журнала Greenplum Chorus
- Разрешение подключений к базе данных Greenplum
- Проверка активности базы данных в Greenplum
- Параметры настройки Greenplum
Интеграции Greenplum
- Мост подключения Greenplum с Apache NiFi
- Автоматизированная непрерывная репликация Greenplum в Apache Kafka
- Загрузка данных Greenplum в FineReport
- Как подключиться к данным Greenplum из MS Excel на Mac OS X
- Подключение и запрос данных Greenplum в QlikView через ODBC
- Визуализация данных Greenplum в Tableau
- Создание визуализаций Greenplum в Tableau Desktop
- Как интегрировать Greenplum с Apache Airflow
- Автоматизированная непрерывная репликация Greenplum в MySQL
- Автоматизированная непрерывная репликация Greenplum в PostgreSQL
- Внедрение хранилища данных на основе Greenplum
Миграция
- От MySQL к Greenplum: уроки и выводы, сделанные в процессе миграции от одной БД к другой
- От MySQL до Greenplum: уроки и выводы, извлеченные в процессе реализации задачи по миграции ETL-конвейера
- FAQ по Greenplum
-
FAQ по Greenplum 2
- Проблема пустой таблицы и спиллов: как не попасть в ловушку
- Оптимизация GROUP BY: когда CTE помогает
- Статистика — твой лучший друг в PL/pgSQL
- Рекурсивные запросы и shared-nothing: как избежать катастрофы
- Опасность non-equi join: как Nested Loop убивает производительность
- Left Join и перекос (skew): спасаем запрос через union all
- Правильное измерение размера таблиц: cross join спасает
- Сиквенсы в ETL: кэш или смерть
- Последовательности в Greenplum: как некэшированный sequence может убить хранилище
- Удаление дублей: GP-style через ctid + gp_segment_id
- Философия Greenplum и Rubik’s cube: проектируй как собери кубик
- Объединение Apache Kafka с Greenplum
- Greenplum DB в Тинькофф
- Разделение вычислений и хранения в Greenplum: опыт использования S3 и проекта Yezzey
СУБД Greenplum представляет собой несколько взаимосвязанных экземпляров базы данных PostgreSQL, объединенных в кластер по принципу массивно-параллельной архитектуры (Massive Parallel Processing, MPP) без разделения ресурсов (Shared Nothing). При этом каждый узел кластера, взаимодействующий с другими для выполнения вычислительных операций, имеет собственную память, операционную систему и жесткие диски.
Благодаря надежности, масштабируемости и высокой скорости обработки данных, наиболее востребованными сценариями применения Гринплам в Big Data считаются следующие:
- системы предиктивной аналитики и регулярной отчетности по большим объемам данных;
- построение озер (Data Lake) и корпоративных хранилищ данных (КХД);
- разработка аналитических моделей по множеству разнообразных данных, например, для прогнозирования оттока клиентов (Churn Rate).
Если вам необходимо использовать версию Greenplum с технической поддержкой на территории России - предлагаем приобрести сборку Arenadata
Arenadata DB (ADB) — аналитическая, распределённая СУБД с открытым исходным кодом, использующая концепцию MPP (massively parallel processing), построенная на базе СУБД Greenplum.
Она реализована на кластере из множества серверов и предназначена для хранения и обработки больших объёмов данных — до десятков петабайт.
На курсе я поделюсь знаниями в области хранилищ данных, которые собирал на протяжении 10 лет. Мы разберём основы устройства DWH и углубимся в GreenPlum — поломаем и починим его. Поговорим об архитектуре и способах хранения данных, оптимизации запросов.
После курса вы сможете:
- устанавливать и конфигурировать GreenPlum;
- разбираться в архитектуре хранения данных и доказывать свою точку зрения об эффективности их хранения коллегам;
- анализировать и оптимизировать сложные аналитические запросы, выбирая оптимальный план выполнения;
- создавать и восстанавливать резервные копии, расширять кластер GreenPlum.
Курс будет особенно полезен администраторам БД и Linux-систем, архитекторам систем, дата-инженерам, а также разработчикам и аналитикам, которые хотят работать с DWH.
Блок 1. Знакомство с GreenPlum
Лекция 0. Знакомство
Лекция 1. Что такое DWH
Лекция 2. Знакомство с GreenPlum
Практика. Подготовка к установке GreenPlum
Практика. Установка GreenPlum
Самостоятельное задание
Самостоятельное задание
Лекция 3. Знакомство с каталогом данных GreenPlum
Практика. Знакомство с каталогом данных GreenPlum
Самостоятельное задание
Лекция 4. Конфигурирование GreenPlum
Практика. Конфигурирование GreenPlum
Самостоятельное задание
Лекция 5. Настройка ресурсных групп в GreenPlum
Практика. Управление ресурсными группами в GreenPlum
Самостоятельное задание
Блок 2. Особенности хранения данных в GreenPlum
Лекция 6. Хранение данных в GreenPlum
Практика. Создание таблиц
Практика. Сравнение степени сжатия
Самостоятельное задание
Практикум
Лекция 7. Запросы
Практика. Оптимизация запросов
Самостоятельное задание
Лекция 8. Планы запросов
Практика. План запроса
Самостоятельное задание
Лекция 9. Индексы
Практика. Индексы
Самостоятельное задание
Практикум
Блок 3. Администрирование GreenPlum
Лекция 10. Отказоустойчивость
Практика. Настрока отказоустойчивости
Практика. Возврат сегментов в работу
Самостоятельное задание
Лекция 11. Импорт и экспорт данных
Практика. Настройка экспорта и импорта данных
Самостоятельное задание
Лекция 12. Резервное копирование и восстановление
Практика. Резервное копирование и восстановление
Самостоятельное задание
Лекция 13. Мониторинг
Блок 4. Настройка окружения GreenPlum
Лекция 14. Настройка пула соединения с GreenPlum
Практика. Настройка пула соединения с GreenPlum
Самостоятельное задание
Лекция 15. Обзор расширения GreenPlum
Практика. Использования расширения GreenPlum
Самостоятельное задание
Итоговый тест
