Учебный курс по Greenplum
Greenplum – open-source продукт, массивно-параллельная реляционная СУБД для хранилищ данных с гибкой горизонтальной масштабируемостью и столбцовым хранением данных на основе PostgreSQL. Благодаря своим архитектурным особенностям и мощному оптимизатору запросов, Гринплам отличается особой надежностью и высокой скоростью обработки SQL-запросов над большими объемами данных, поэтому эта MPP-СУБД широко применяется для аналитики Big Data в промышленных масштабах.
Обзор Greenplum
- Как устроена Greenplum?
- Архитектура Greenplum
- GreenPlum. Обзорная информация
- Кому подойдет СУБД Greenplum? Чем Greenplum отличается от Clickhouse
- Введение в Greenplum
- Введение в архитектуру Greenplum
- Что такое БД Greenplum? Введение в БД для работы с Big Data
- Greenplum от A до Я — начнем с архитектуры
- Хотите узнать о Greenplum подробнее?
- «Ящик Пандоры», или из чего состоит планировщик запросов СУБД Greenplum
- Почему VMware Greenplum - это та самая векторная база данных, которая Вам нужна для анализа информации?
Оптимизация работы в Greenplum
- Лучшие практики касательно Greenplum
- Зеркалирование и отказоустойчивость Greenplum
- Оптимизация хранения данных в Greenplum
- Рекомендуемые задачи по поддержке и мониторингу системы
- Как повысить производительность БД: полезные и, главное, действенные советы!
- Построение DWH на основе Greenplum
- 5 стадий принятия необходимости изучения «плана запроса» или почему может долго выполняться запрос
- Повышаем BI производительность Greenplum с помощью Heimdall Data
Работа с Greenplum
- Запуск и остановка Greenplum
- Как получить информацию о структуре БД для документации
- Greenplum от Vmware – это векторная база, отлично подходящая для аналитики Ваших данных
- Потоковая CDC репликации данных из любой БД в Greenplum с помощью RabbitMQ и Debezium
- 20 команд разделения, доступные в Greenplum 7
- Партиционирование в Greenplum 7: что нового
- Партиционирование в Greenplum
- Прокачайте свои навыки работы с Big Data: расширенные возможности исследования данных с помощью GreenplumPython 1.1.0 + расширенный поиск по эмбеддингам в PostgreSQL и Greenplum
- Greenplum для Data Science: Анализ Big Data с помощь SQL и Python
- Greenplum для Data Science: Расширенный текстовый анализ и текстовый поиск на Greenplum с помощью GPText
- Greenplum для Data Science: Масштабируемое ML и NLP в базе данных с помощью PL/Python
- Greenplum для Data Science: Развертывание моделей на Greenplum с помощью Python с помощью GreenplumPython
- Таблицы Greenplum и компрессия
- Крутые функции даты Greenplum, которые должен знать каждый
- Анализ Big Data с помощью SQL и Python
- Создание эффективного поиска на основе ИИ в Greenplum с помощью pgvector и OpenAI
- Создание мощнейшего поиска данных на основе ИИ в Greenplum с помощью pgvector и OpenAI
- Как ускорить процесс аналитики данных с помощью Greenplum и dbt
- Масштабируем ML и NLP в БД с помощью PL/Python
- 4+1 вопроса, которыми должен задаться каждый Data-Engineer при управлении таблицами в Greenplum
- Управление таблицами в Greenplum: хранилище данных, ориентированное на строки vs столбцы
- Поговорим об операторах JOIN
- Подключение объектов ECS с помощью Greenplum
- Управление объектами таблиц в Greenplum: хранилище, ориентированное на строки и столбцы
- PostGIS – главный помощник при анализе геопространственных данных
- Загрузка геопространственных данных с помощью PostGIS
Миграция
- От MySQL к Greenplum: уроки и выводы, сделанные в процессе миграции от одной БД к другой
- От MySQL до Greenplum: уроки и выводы, извлеченные в процессе реализации задачи по миграции ETL-конвейера
СУБД Greenplum представляет собой несколько взаимосвязанных экземпляров базы данных PostgreSQL, объединенных в кластер по принципу массивно-параллельной архитектуры (Massive Parallel Processing, MPP) без разделения ресурсов (Shared Nothing). При этом каждый узел кластера, взаимодействующий с другими для выполнения вычислительных операций, имеет собственную память, операционную систему и жесткие диски.
Благодаря надежности, масштабируемости и высокой скорости обработки данных, наиболее востребованными сценариями применения Гринплам в Big Data считаются следующие:
- системы предиктивной аналитики и регулярной отчетности по большим объемам данных;
- построение озер (Data Lake) и корпоративных хранилищ данных (КХД);
- разработка аналитических моделей по множеству разнообразных данных, например, для прогнозирования оттока клиентов (Churn Rate).
Если вам необходимо использовать версию Greenplum с технической поддержкой на территории России - предлагаем приобрести сборку Arenadata
Arenadata DB (ADB) — аналитическая, распределённая СУБД с открытым исходным кодом, использующая концепцию MPP (massively parallel processing), построенная на базе СУБД Greenplum.
Она реализована на кластере из множества серверов и предназначена для хранения и обработки больших объёмов данных — до десятков петабайт.
На курсе я поделюсь знаниями в области хранилищ данных, которые собирал на протяжении 10 лет. Мы разберём основы устройства DWH и углубимся в GreenPlum — поломаем и починим его. Поговорим об архитектуре и способах хранения данных, оптимизации запросов.
После курса вы сможете:
- устанавливать и конфигурировать GreenPlum;
- разбираться в архитектуре хранения данных и доказывать свою точку зрения об эффективности их хранения коллегам;
- анализировать и оптимизировать сложные аналитические запросы, выбирая оптимальный план выполнения;
- создавать и восстанавливать резервные копии, расширять кластер GreenPlum.
Курс будет особенно полезен администраторам БД и Linux-систем, архитекторам систем, дата-инженерам, а также разработчикам и аналитикам, которые хотят работать с DWH.
Блок 1. Знакомство с GreenPlum
Лекция 0. Знакомство
Лекция 1. Что такое DWH
Лекция 2. Знакомство с GreenPlum
Практика. Подготовка к установке GreenPlum
Практика. Установка GreenPlum
Самостоятельное задание
Самостоятельное задание
Лекция 3. Знакомство с каталогом данных GreenPlum
Практика. Знакомство с каталогом данных GreenPlum
Самостоятельное задание
Лекция 4. Конфигурирование GreenPlum
Практика. Конфигурирование GreenPlum
Самостоятельное задание
Лекция 5. Настройка ресурсных групп в GreenPlum
Практика. Управление ресурсными группами в GreenPlum
Самостоятельное задание
Блок 2. Особенности хранения данных в GreenPlum
Лекция 6. Хранение данных в GreenPlum
Практика. Создание таблиц
Практика. Сравнение степени сжатия
Самостоятельное задание
Практикум
Лекция 7. Запросы
Практика. Оптимизация запросов
Самостоятельное задание
Лекция 8. Планы запросов
Практика. План запроса
Самостоятельное задание
Лекция 9. Индексы
Практика. Индексы
Самостоятельное задание
Практикум
Блок 3. Администрирование GreenPlum
Лекция 10. Отказоустойчивость
Практика. Настрока отказоустойчивости
Практика. Возврат сегментов в работу
Самостоятельное задание
Лекция 11. Импорт и экспорт данных
Практика. Настройка экспорта и импорта данных
Самостоятельное задание
Лекция 12. Резервное копирование и восстановление
Практика. Резервное копирование и восстановление
Самостоятельное задание
Лекция 13. Мониторинг
Блок 4. Настройка окружения GreenPlum
Лекция 14. Настройка пула соединения с GreenPlum
Практика. Настройка пула соединения с GreenPlum
Самостоятельное задание
Лекция 15. Обзор расширения GreenPlum
Практика. Использования расширения GreenPlum
Самостоятельное задание
Итоговый тест
