Кому подойдет СУБД Greenplum? Чем Greenplum отличается от Clickhouse

Greenplum – массово-параллельная реляционная СУБД, которая работает на PostgreSQL. Greenplum позволяет распределить данные по нодам и разделять по ним процессы обработки. Это даёт возможность быстрее обрабатывать большое количество данных.

Массово-параллельные СУБД обычно используются для предиктивной аналитики, отчетности по большим объемам данных, построения озер данных и корпоративных хранилищ данных, разработки аналитических моделей по множеству разнообразных данных.

Кластер Greenplum включает следующие компоненты:

Мастер — это нода кластера Greenplum, управляющая всеми остальными нодами.

Резервный мастер— это реплика мастер-ноды Greenplum. Используется для создания отказоустойчивого решения. Защита от потери данных на мастер-ноде.

Сервер-сегменты — экземпляр PostgreSQL,поднятый на сервере. На одном сервере может быть несколько сегментов Greenplum. Сегменты в СУБД объединяются по принципу «без разделения ресурсов», то есть без использования общих устройств и памяти.

Основные элементы архитектуры Greenplum:

1. Подключение пользователя к БД

Метод: Пользователи подключаются к базе данных Greenplum через стандартные API-интерфейсы, такие как JDBC (Java Database Connectivity) и ODBC (Open Database Connectivity).

Значение: Это обеспечивает удобство и универсальность в доступе к базе данных из различных приложений и программных сред.

2. Обработка запросов на мастер-узле

Аутентификация: Мастер-узел первым принимает соединение, аутентифицирует пользователя и обеспечивает безопасность транзакций.

Оптимизация запросов: Входящие SQL-запросы оптимизируются на мастер-узле. Запросы анализируются, оптимизируются и разбиваются на подзапросы, которые могут быть выполнены параллельно.

3. Выполнение запросов на серверах-сегментах

Распределение работы: Подзапросы отправляются с мастер-узла на серверы-сегменты. Каждый сегмент представляет собой отдельный экземпляр PostgreSQL, который работает независимо и обрабатывает часть данных.

Параллельная обработка: Сегменты выполняют вычисления параллельно, что значительно ускоряет обработку запросов благодаря архитектуре MPP.

4. Сбор результатов

Возврат данных: После выполнения вычислений каждый сегмент отправляет свои результаты обратно на мастер-узел.

Агрегация результатов: Мастер-узел агрегирует результаты от всех сегментов, формируя окончательный ответ на запрос, который затем предоставляется пользователю.

5. Интерконнекты (сетевые соединения)

Коммуникация: Сегменты Greenplum общаются друг с другом через интерконнекты — высокоскоростные сетевые соединения, обычно на основе технологии Gigabit Ethernet или более быстрых.

Назначение: Интерконнекты обеспечивают быструю и надежную передачу данных между сегментами и мастером, что критически важно для параллельной обработки данных.

В каких случаях подойдет СУБД Greenplum

Большие хранилища данных

Традиционные СУБД хорошо справляются с оперативными задачами и быстрой генерацией отчетов. Однако с увеличением объемов данных они могут столкнуться с ограничениями по производительности, и здесь на помощь приходит Greenplum с его массово-параллельной архитектурой, позволяющей эффективно обрабатывать тяжелые аналитические запросы на многотерабайтных массивах данных. Greenplum идеально подходит для хранилищ с объемом данных свыше 1 ТБ, обеспечивая оптимальное соотношение стоимости и производительности.

Масштабирование

DWH, построенные на Greenplum, часто используются компаниями с большим количеством источников данных, которые постоянно растут и требуют длительного хранения. СУБД позволяет легко добавлять новые серверы и сегменты, обеспечивая гибкость и масштабируемость без ограничений в количестве. Даже в случае отказа одного из узлов, остальные узлы способны справиться с увеличением нагрузки, ускоряя работу всей системы.

Сохранность и точность данных

Greenplum обеспечивает высокую надежность данных благодаря наличию резервного мастера и зеркалированию каждого сегмента. СУБД полностью соответствует принципам ACID, что критически важно для операций, где требуется точность данных, таких как финансовые операции.

ACID:

Атомарность (Atomicity) - транзакция должна быть неделимой, либо все операции в транзакции выполняются успешно, либо ни одна из них не выполняется.
Согласованность (Consistency) - после выполнения транзакции база данных должна находиться в согласованном состоянии: все правила и ограничения, установленные для базы данных, должны быть соблюдены.
Изолированность (Isolation) - каждая транзакция должна выполняться независимо от других транзакций.
Надежность (Durability) - результаты успешно выполненной транзакции должны быть сохранены и не могут быть отменены.

СУБД подойдет для реализации операций, в которых важна точность и структурность данных, например, для финансовых операций.

Предиктивная аналитика

Greenplum особенно ценится в сферах, где требуется предиктивный анализ, таких как банковский сектор, здравоохранение и крупный ритейл. Система позволяет сохранять и обрабатывать исторические данные для глубокого анализа и прогнозирования будущих событий, что может использоваться в директ-маркетинге, управлении рисками и выявлении мошенничества.

Проекты Big Data

Greenplum подходит для новых задач в области Big Data, когда требуется активная работа со всеми доступными структурированными и полуструктурированными данными. Система позволяет хранить огромные объемы информации и обеспечивает доступ к данным из различных источников для большого числа пользователей без необходимости интенсивной предварительной обработки данных.

Чем Greenplum отличается от Clickhouse

ClickHouse — это высокопроизводительная колоночная база данных для онлайн аналитической обработки (OLAP). ClickHouse выделяется своей скоростью и эффективностью, благодаря которым она находит широкое применение при проектировании современных хранилищ данных.

Основные характеристики ClickHouse:

1. Колоночное хранение данных

ClickHouse использует колоночное хранение данных, что позволяет ему быстро обрабатывать запросы, включающие агрегацию больших объемов данных. Это значительно увеличивает скорость чтения данных, так как только необходимые столбцы загружаются из хранилища при выполнении запроса. СУБД способна обрабатывать до 1 млрд строк в секунду на одном сервере и до 2ТБ в секунду на кластере из 400 узлов.

2. Высокая производительность и масштабируемость

Система оптимизирована для работы на кластерах из сотен серверов, обеспечивая горизонтальное масштабирование. ClickHouse может обрабатывать более миллиарда строк и множество терабайт данных в реальном времени с минимальным задержками.

3. Эффективное сжатие данных

ClickHouse применяет различные алгоритмы сжатия для уменьшения объема хранимой информации, что повышает скорость запросов и снижает затраты на хранение данных. Поддерживает специализированные кодеки (Delta, DoubleDelta, GCD, Gorilla, T64) - программные инструменты для кодирования и декодирования данных, которые позволяют еще больше уменьшить объемы данных.

4. Распределенная архитектура

ClickHouse позволяет распределенно обрабатывать запросы и данные, используя возможности нескольких узлов, что обеспечивает высокую отказоустойчивость и возможность масштабирования без простоев. ClickHouse поддерживает горизонтальное масштабирование: распределенную обработку запроса за счет механизма шардирования.

5. SQL поддержка

ClickHouse поддерживает SQL для запросов, делая его доступным для аналитиков и разработчиков, знакомых с SQL. Поддержка SQL также включает в себя расширенные функции, такие как оконные функции и массивы.

6. Не поддерживает ACID-требования и точечные операции обновления и удаления данных (UPDATE и DELETE)

В ClickHouse нет транзакций, то есть возможностей провести несколько операций с БД одновременно, так как СУБД ориентирована на считывание данных.

Примеры использования ClickHouse:

ClickHouse:

Встроенных функций нет, кроме массового удаления и изменения данных для соответствия GDPR. В новые версии включён функционал Kerberos-авторизации для Kafka и Kerberos-авторизации доступа к HDFS, созданный Arenadata.

Greenplum:

Есть пользователи, группы, разрешения и наследование, поддержка шифрования данных и SSL-протокола.

Greenplum подходит для обработки больших объемов данных:

Построения Data Lake и больших проектов DWH
Предиктивной аналитики и прогнозирования
Скоринга событий
Аналитики Big Data в реальном времени
Углубленного анализа специализированных запросов Ad-hoc

ClickHouse подходит для работы с данными в реальном времени:

Построения корпоративных хранилищ данных
Бизнес-аналитики данных в реальном времени
Обработки простых Ad-hoc запросов и работы с быстрыми витринами данных
Быстрых full scan операций по проверке всей БД с последующей выдачей запроса на внешний ресурс
Сложных агрегаций при работе с широкими денормализованными таблицами фактов

← Предыдущая статья

Kafka Connect на примере Debezium PostgresConnector

Следующая статья →

Методология построения DWH