Что такое БД Greenplum? Введение в БД для работы с Big Data
Greenplum - это MPP база данных SQL, построенная на базе PostgreSQL. Она способна без каких-либо проблем масштабироваться до объемов данных в несколько петабайт и позволяет получить доступ к кластеру мощных серверов, которые будут работать вместе в едином SQL-интерфейсе, где Вы сможете просматривать все необходимые Вам данные. В этой статье мы поговорим о том, что такое Greenplum, расскажем архитектуре данного решения, его преимуществах и основных вариантах использования, а также о том, как начать работу с ним.
Что такое Greenplum?
Greenplum - это MPP база данных с открытым исходным кодом, не зависящая от аппаратного обеспечения и предназначенная для аналитики. Данная БД, основанная на PostgreSQL была разработана компанией Pivotal, которая впоследствии была приобретена VMware. Ее архитектура была специально разработана для управления крупными хранилищами данных и рабочими нагрузками бизнес-аналитики, предоставляя возможность распределять данные по множеству серверов.
Эта многофункциональная база данных обеспечивает мощную и быструю аналитику данных, объем которых может достигать петабайтов.
Архитектура Greenplum в двух словах
Greenplum использует MPP структуру базы данных.
Преимущества Greenplum
Высокая производительность, оптимизация запросов, open source, полиморфное хранение данных и т.д.
Для чего предназначена Greenplum
Greenplum –самая лучшая база данных, предназначенная для аналитики данных, машинного обучения и ИИ решений
Архитектура Greenplum
Для того, чтобы получить представление об архитектуре Greenplum, давайте сначала рассмотрим, что такое MPP база данных.
Что такое MPP БД?
При работе с большими объемами сложных данных, или Big Data, велика вероятность того, что Ваша главная машина рано или поздно начнет испытывать трудности с обработкой всех данных, необходимых для получения аналитических результатов. Для обеспечения более быстрой обработки данных и получения более быстрых результатов многие организации рассматривают возможность внедрения MPP БД.
MPP - система использует архитектуру «разделяй-не разделяй» для параллельной обработки сразу нескольких операций. В ней используется несколько различных вычислительных блоков, которые работают независимо друг от друга, используя собственную выделенную память и ресурсы, поэтому рабочая нагрузка распределяется между несколькими устройствами, а не только одним. Как правило, MPP-система состоит из одного ведущего узла и одного или нескольких вычислительных узлов. Ведущий узел, называемый в Greenplum «мастером», сообщает всем остальным узлам, называемым в Greenplum сегментами, что делать, и объединяет их ответы для создания окончательного ответа.
Базы данных MPP масштабируются горизонтально за счет добавления дополнительных вычислительных ресурсов (узлов), а не за счет модернизации все более дорогих отдельных серверов (вертикальное масштабирование).
Архитектурная структура Greenplum
Основанная на архитектуре PostgreSQL, Greenplum по сути использует сразу несколько экземпляров баз данных PostgreSQL одновременно в одном кластере Greenplum. Пользователи PostgreSQL могут быстро освоиться с этим типом базы данных, поскольку многие функции, конфигурации и функциональность Greenplum аналогичны PostgreSQL.
Однако в Greenplum реализовано множество функций, недоступных в PostgreSQL, таких как параллельная загрузка данных, управление ресурсами, усовершенствование системы хранения и расширенная оптимизация запросов.
Как и PostgreSQL, Greenplum использует один главный сервер или хост, который является точкой входа в базу данных, принимая соединения и SQL-запросы. Однако если PostgreSQL использует резервные узлы для географического распределения своих развертываний, то Greenplum использует сегментные узлы, которые хранят и обрабатывают данные. Сегменты Greenplum независимы, каждый из них хранит часть данных, но обрабатывает большую часть запросов. Вы можете использовать всего два сегментных узла и масштабировать их до неограниченной емкости. Если включено зеркалирование, необходимо увеличить количество сегментных узлов как минимум на два.
Как же все это координируется? Greenplum interconnect - это сетевой уровень архитектуры, который управляет сегментами Greenplum и сетевой инфраструктурой главного хоста.
Преимущества Greenplum
Вот некоторые ключевые преимущества Greenplum, которые помогут Вам повысить производительность аналитических процессов:
- Высокая производительность
Компания Greenplum разработала уникальный конвейер обработки данных, который позволяет эффективно передавать данные с диска на процессор, не полагаясь на то, что данные помещаются в оперативную память. Это обеспечивает развертываниям Greenplum огромный прирост производительности по сравнению с системами in-memory, которым требуется достаточно много памяти для хранения данных, или системами на базе не-RDBMS, которые являются процессорами in-memory и выделяют оперативную память для каждого одновременного запроса.
- Оптимизация запросов
Greenplum - это оптимизатор запросов на основе затрат, предназначенный для масштабных рабочих нагрузок с большими данными. Опираясь на производительность, о которой мы говорили выше, Greenplum масштабирует интерактивную аналитику и аналитику в пакетном режиме до петабайтных масштабов без снижения производительности запросов. Это позволяет Greenplum распределять нагрузку между различными сегментами и параллельно использовать все ресурсы системы для обработки запроса.
Кроме того, благодаря улучшению рабочих нагрузок OLTP (Online Transactional Processing) в Greenplum 6 производительность одиночных запросов выросла более чем на 3,5c по сравнению с Greenplum 5. В обновленной версии Greenplum устранил значительную конкуренцию блокировок, поэтому использование центрального процессора может превышать 90 %, что повышает производительность запросов за счет улучшения аппаратной производительности центрального узла.
- Open Source
Greenplum - это проект хранилища данных с открытым исходным кодом, основанный на ядре PostgreSQL, позволяющий пользователям воспользоваться всеми преимуществами десятилетий экспертных разработок, стоящих за PostgreSQL, а также целенаправленной настройкой Greenplum для приложений, работающих с большими данными. Greenplum может работать на любом Linux-сервере, как в облаке, так и в локальной сети, кроме того, данная БД может работать в абсолютно любой среде.
Хотя Greenplum поддерживается основной командой разработчиков с правами на коммит в основном репозитории, они охотно приглашают новых участников, имеющих опыт работы с базой данных, чтобы помочь сформировать будущее Greenplum. Узнать больше о том, как принять участие в проекте, можно на специальной странице на GitHub.
- Полиморфное хранение данных
Полиморфное хранение данных Greenplum позволяет контролировать конфигурацию хранения таблиц и разделов, а также выполнять и сжимать файлы в них в любое время. Это позволит Вам создавать таблицы в зависимости от способа доступа к конкретным данным и, в свою очередь, использовать иерархию хранения, ориентированную на строки или столбцы.
Когда вы создаете таблицу в Greenplum, вы можете управлять ее ориентацией, выбирая данные, ориентированные на столбцы или на строки. Данные, ориентированные на столбцы, обычно лучше подходят для полного сканирования, а данные, ориентированные на строки - для небольшого сканирования или поиска.
Greenplum даже позволяет своим пользователям создавать специфические для домена типы данных и функции. Благодаря использованию полуструктурированных типов данных, к которым относятся XML, HStore и JSON, Вы можете хранить и анализировать как структурированные, так и неструктурированные данные в базе данных.
Основные варианты использования
Greenplum представляет собой мощное сочетание баз данных с массивно-параллельной обработкой и с передовой аналитикой данных, что позволяет создать основу для принятия бизнес-решений на основе данных, полученных с помощью искусственного интеллекта и машинного обучения. Давайте рассмотрим основные варианты использования Greenplum:
- Аналитика
Расширенная аналитика, предоставляемая Greenplum, используется во многих отраслях, включая финансы, производство, автомобилестроение, правительство, энергетику, образование, розничную торговлю и т. д. для решения широкого спектра проблем. Исключительные аналитические возможности Greenplum, отмеченные Pivotal: анализ множества типов данных, использование существующих знаний SQL и обучение большего количества моделей за меньшее время благодаря использованию архитектуры MPP.
Кроме того, Greenplum позволяет выполнять аналитику непосредственно в базе данных, а не экспортировать и обрабатывать данные во внешнем аналитическом движке. Поскольку база данных предназначена для корпоративных рабочих нагрузок, это дает возможность исследовать большие массивы данных, а также обеспечивает высокую производительность, достигаемую за счет распараллеливания аналитики на всех хостах доступного сегмента. С помощью Greenplum можно также использовать широкий спектр мощных аналитических инструментов, включая MADlib, R язык, SAS, а также язык разметки предсказательных моделей (PMML).
Например, компания, занимающаяся Интернет-маркетингом с миллиардным оборотом использует расширенную аналитику Greenplum для профилирования аудитории для того , чтобы понять, кто именно ее аудитория, что она покупает, какие сети и устройства использует и где она географически расположена. Эта информация поможет ей оптимизировать свое предложение.
- Машинное обучение
Greenplum - отличная база данных для машинного обучения - изучения компьютерных алгоритмов, которые автоматически совершенствуются благодаря своему собственному опыту. Apache MADlib – это библиотека машинного обучения с открытым исходным кодом на базе SQL, которая работает в базе данных Greenplum, а также в PostgreSQL. Такая комбинация позволяет в разы повысить масштабируемость и точность прогнозирования Вашего развертывания системы машинного обучения Greenplum. Возможности преобразования данных и разработки функций также доступны через MADlib для машинного обучения, включая описательную и выводную статистику, повороты, сеансирование и кодирование категориальных переменных.
Например, государственная компания по борьбе с мошенничеством использует возможности машинного обучения Greenplum вместе с GemFire для обнаружения мошенничества с целью предотвращения кражи личных данных, ежегодно обнаруживая и удерживая до 5 млрд долларов и обрабатывая 8 млн записей в день.
- ИИ
ИИ хотя и похож на машинное обучение, но все же относится к более широкой идее, заключающейся в том, что машины могут выполнять задачи с умом. Greenplum - отличная база данных для приложений, стремящихся имитировать человеческие способности с помощью умных машин. Способность Greenplum обрабатывать большие объемы данных с высокой скоростью делает эту базу данных мощным инструментом для интеллектуальных приложений, которым требуется интеллектуальное взаимодействие на основе неограниченного числа уникальных сценариев.
Например, телекоммуникационная компания использует возможности искусственного интеллекта базы данных Greenplum для своей системы IoT интеллектуальных датчиков для анализа событий, используемых для технического обслуживания, обеспечения безопасности и повышения эффективности работы.
Кто же использует Greenplum сегодня? Среди клиентов Greenplum - American Express, Walmart, Asurian, Bank of America и многие другие компании, работающие на рынках банковских услуг, СМИ, страхования, здравоохранения, автомобилестроения и розничной торговли.
Начало работы с Greenlum
Как уже упоминалось в этом посте, Greenplum - это база данных с открытым исходным кодом, поэтому рабочую версию можно скачать и использовать совершенно бесплатно. Небольшое, но активное сообщество Greenplum всегда радо приветствовать новых участников.
Многие организации, использующие Greenplum, ищут дополнительную поддержку и инструменты, чтобы помочь своим DBA управлять развертываниями. Вот два основных варианта управления базой данных и поддержки, доступные для Greenplum:
- ScaleGrid для Greenplum — Open- Source версия
ScaleGrid для Greenplum -это полностью управляемое решение для версии Greenplum с открытым исходным кодом, запущенное в мае 2020 года. Мультиоблачная платформа позволяет развертывать и управлять облачными платформами AWS, Azure или Google Cloud (скоро появится), а также локальными средами VMware. ScaleGrid предоставляет пользователям Greenplum расширенные инструменты управления, необходимые для развертывания в один клик, автоматизации резервного копирования и динамического масштабирования с возможностью сохранения полных прав администратора суперпользователя над своими развертываниями с открытым исходным кодом.
- Pivotal Greenplum — коммерческая версия
Pivotal Greenplum от VMware Tanzu - создателя базы данных с открытым исходным кодом, предлагающего коммерческую версию базы данных, позволяющую развернуть и управлять Greenplum в облаке и на локальном уровне. Pivotal Greenplum обладает множеством преимуществ, таких как возможность максимально увеличить время безотказной работы, защитить целостность данных, а также легко обрабатывать потоковые данные и облачные данные.
И ScaleGrid, и Pivotal Greenplum предлагают расширенные пакеты поддержки, способные помочь Вашим администраторам БД оптимизировать развертывание Greenplum.