Выбираем OLAP хранилище данных: ClickHouse
Рассмотрим наиболее популярные (а также не очень популярные) OLAP-хранилища. Главная цель данной статьи состоит в том, чтобы эмпирическим путем выявить сильные и слабые стороны каждого OLAP-хранилища, а также научить Вас безошибочно определять наиболее оптимальные варианты исходя из каждого конкретного случая.
Что такое OLAP хранилище данных?
Что такое онлайн - аналитическая обработка?
Онлайн - аналитическая обработка (OLAP) - это технология, которую можно использовать для анализа бизнес-данных с разных точек зрения. В OLAP сценариях наборы данных могут быть просто огромными – речь идет о миллиардах или даже триллионах строк. Данные организованы в таблицах, содержащих множество столбцов. Для ответа на каждый конкретный запрос используются только некоторые из них. Результаты запросов возвращаются за миллисекунды или секунды. По сути, OLAP-хранилище относится к хранилищам, оптимизированным для аналитических рабочих нагрузок.
Предлагаю Вашему вниманию списку OLAP –хранилищ данных, о которых мы поговорим в рамках обзора:
- ClickHouse – наш главный герой
- StarRocks
- Apache Druid
- Snowflake
- Azure Synapse Analytics
- SQL Server With Columnstore Indexes
- AWS Redshift
- Google Cloud Platform (GCP) BigQuery
Обзор
- Разработчик — ClickHouse, Inc.
- Язык программирования — C++
- Тип — колоночно-ориентированная СУБД
Итак, ClickHouse - это высокопроизводительная, колоночно-ориентированная система управления базами данных на базе SQL, предназначенная для аналитической обработки данных в режиме онлайн. Данная СУБД доступна как в виде программного обеспечения с открытым исходным кодом, так и в виде облачного предложения.
В колоночно-ориентированных СУБД, таких как ClickHouse, данные хранятся в столбцах, причем значения одних и тех же столбцов хранятся вместе, благодаря чему подобные базы данных луче всего подходятдля сценариев OLAP (поскольку они как минимум в 100 раз быстрее обрабатывают большинство запросов).
Для максимально быстрой обработки каждого аналитического запроса ClickHouse использует все доступные системные ресурсы на полную мощность. Это стало возможным благодаря уникальному сочетанию аналитических возможностей и внимания к мельчайшим деталям.
Архитектура хранилища & поддержка полуструктурированных данных
1. Формат хранения:
ClickHouse использует формат хранения данных, ориентированный на столбцы, что обеспечивает заметный прирост производительности при выполнении аналитических запросов.
2. Разделение вычислений и хранения данных
ClickHouse поддерживает разделение вычислений и хранения данных. Это означает то, что вычислительные ресурсы и ресурсы хранения управляются независимо друг от друга, что обеспечивает лучшую масштабируемость, экономическую эффективность и гибкость системы. При необходимости можно масштабировать ресурсы хранения и вычислительные ресурсы, оптимизируя производительность и затраты.
ClickHouse обеспечивает поддержку использования S3 в качестве хранилища данных для реализации механизма MergeTree с помощью S3BackedMergeTree. Данный табличный механизм позволяет использовать все преимущества масштабируемости и стоимости S3 по максимуму, сохраняя при этом производительность вставки и запросов механизма MergeTree.
Реализация и управление архитектурой разделения вычислений и хранилища сложнее, чем при стандартном развертывании ClickHouse
3. Поддержка полуструктурированных данных:
Начиная с версии 22.3 ClickHouse поддерживает тип данных JSON. Эта опция обеспечивает ClickHouse большую гибкость при работе с полуструктурированными \, а также с другими сложными объектами.
Развертывание и ценообразование
1. модель развертывания:
ClickHouse может быть развернут разными способами в зависимости от Ваших требований:
- Развертывание на одном узле: ClickHouse можно развернуть в виде одного экземпляра. Этот вариант проще и позволяет снизить затраты, что делает его привлекательным для большинства случаев использования. При наличии достаточных ресурсов ClickHouse может обрабатывать миллиарды записей на одном сервере.
- Развертывание в кластере: ClickHouse также можно развернуть в виде кластера. Для этого необходимо установить сервер ClickHouse на все машины кластера, настроить конфигурацию кластера в конфигурационных файлах, создать локальные таблицы на каждом экземпляре и создать распределенную таблицу. Распределенная таблица - это своего рода «представление» локальных таблиц в кластере ClickHouse. Запрос SELECT из распределенной таблицы выполняется с использованием ресурсов всех шардов кластера.
- Развертывание в облаке: ClickHouse может быть развернут на облачных платформах, таких как AWS, Azure и Google Cloud Platform.
Реализация и управление кластерной архитектурой сложнее, чем в случае стандартного развертывания ClickHouse. Несмотря на то, что ClickHouse позволяет разделить хранение и вычисления, все же мы настоятельно рекомендуем использовать ClickHouse Cloud, который позволяет использовать ClickHouse в такой архитектуре без конфигурации с помощью табличного механизма SharedMergeTree.
2. Полностью управляемый сервис:
Варианты полностью управляемых услуг для Clickhouse:
- DoubleCloud: DoubleCloud предлагает полностью управляемую услугу для ClickHouse, обеспечивающую резервное копирование, мониторинг, настройку шардинга, реплик и обновлений и т.д. DoubleCloud также поддерживает ClickHouse поверх S3, поэтому старые данные автоматически переносятся и хранятся в S3 вместе с EBS. Вы можете развернуть Managed Clickhouse в своем аккаунте AWS или Google Cloud.
- ClickHouse Cloud: ClickHouse Cloud предлагает несколько типов услуг, включая Development, Production и Dedicated. Каждый тип услуг предназначен для конкретных случаев использования и предлагает различные варианты хранения, памяти, вычислений, сохранения резервных копий и поддержки.
- Elest.io: Elest.io также предлагает несколько управляемых услуг для ClickHouse, обеспечивающих бесперебойное развертывание и обслуживание экземпляра ClickHouse профессиональной команды поддержки.
Безусловно, все эти сервисы решают большинство задач по управлению данными, однако очень важно точно идентифицировать свои специфические требования и выбрать тот сервис, который лучше всего соответствует Вашим ожиданиям.
3. Масштабируемость:
ClickHouse обладае исключительной масштабируемостью. Для выполнения даже одного запроса не только на одном сервере, но и на всех ядрах процессора и дисках кластера данная СУБД может задействовать все доступные ядра процессора и диски. ClickHouse Cloud предлагает еще более расширенные возможности масштабирования. Основные способы, с помощью которых ClickHouse Cloud достигает подобной масштабируемости:
- Вертикальное и горизонтальное масштабирование: Сервисы ClickHouse Cloud можно масштабировать как по вертикали (путем перехода на более крупные реплики), так и по горизонтали (путем добавления реплик того же размера). Вертикальное масштабирование обычно является идеальным вариантом при выполнении запросов, которым требуется большой объем памяти для сложных операций вставки/чтения, а горизонтальное масштабирование незаменимо при распараллеливании операций.
- Автоматическое масштабирование: ClickHouse Cloud масштабирует сервисы на основе использования процессора и памяти. Он постоянно отслеживает историческое использование службы: если соответствующие параметры выше или ниже определенных пороговых значений, он соответствующим образом масштабирует службу в соответствии с потребностями.
Внедрение и управление масштабируемой архитектурой может быть достаточно сложным. Очень важно хорошо понимать свои специфические требования, ведь именно на их основе Вы будете выбирать стратегию масштабирования, подходящую именно Вам.
4. Стоимость использования:
ClickHouse – open-source решение. Лицензионные сборы, связанные с ClickHouse, отсутствуют. Однако, если Вы развернете ClickHouse на облачных платформах или воспользуетесь управляемыми услугами, Вам придется потратить некоторые средства на разработку и поддержание инфраструктуры.
Управление
1. Сообщество /Поддержка:
У ClickHouse – мощное и активное сообщество, готовое оказать поддержку всем пользователям и клиентам ClickHouse Cloud. Пользователи могут получить доступ к Slack –каналу сообщества а также к другим полезным ресурсам, а клиенты облачной подписки - к специализированным службам поддержки.
2. Документация
На официальном сайте Clickhouse размещена исчерпывающая документация СУБД. Она включает в себя руководство по быстрому запуску продукта, инструкции по установке, различные руководства, а также подробный справочник по SQL. Кроме того, у компании есть свой репозиторий на GitHub.
3. Простота управления СУБД
Возможны варианты как самостоятельного управления, так и с полного управления. Самостоятельное управление подразумевает наличие определенного опыта и навыков.
4. Обучение
Важно отметить, что освоение Clickhouse может потребовать значительных затрат времени и сил, особенно для тех, кто впервые сталкивается с системами управления базами данных.
5. Поддержка SQL
ClickHouse поддерживает SQL – запросы.
Интеграция
1. Поддерживаемые источники данных:
ClickHouse поддерживает широкий спектр источников данных. Вот некоторые из них:
- Amazon MSK: Интеграция с Amazon Managed Streaming для Apache Kafka.
- Amazon S3: Импортируйте, экспортируйте и преобразуйте данные S3 с помощью встроенных в ClickHouse функций S3.
- Cassandra: Позволяет ClickHouse использовать Cassandra в качестве источника словарей.
- DeltaLake: Обеспечивает интеграцию с таблицами Delta Lake в Amazon S3 только для чтения.
- Хранилище Google Cloud: Импортируйте, экспортируйте и преобразовываете данные GCS с помощью встроенных в ClickHouse функций S3.
- HDFS: Обеспечивает интеграцию с экосистемой Apache Hadoop, позволяя управлять данными на HDFS через ClickHouse.
- Hive: Движок Hive позволяет выполнять SELECT-запросы к таблицам HDFS Hive.
- JDBC: Позволяет ClickHouse подключаться к внешним базам данных через движок JDBC. Это особенно удобно, когда нет встроенного интеграционного механизма, табличной функции или внешнего словаря для внешнего источника данных, но есть JDBC-драйвер для источника данных.
- Kafka: Интеграция с Apache Kafka, платформой распределенной потоковой передачи событий с открытым исходным кодом.
Дополнительная информация касательно поддерживаемых источников данных доступна здесь: https://clickhouse.com/docs/en/integrations
2. Интеграция с облачными сервисами
ClickHouse предлагает несколько интеграций с Google Cloud, Azure и AWS, обеспечивающих бесперебойную работу по управлению и анализу данных. Вот некоторые из основных интеграций:
GCP Cloud:
- Хранилище Google Cloud: ClickHouse может импортировать, экспортировать и преобразовывать данные GCS.
- ClickHouse Cloud на GCP: ClickHouse Cloud доступен на платформе Google Cloud. Благодаря этому пользователи могут создавать приложения в режиме реального времени, не привлекая разработчиков.
Microsoft Azure:
- Хранилище Azure Blob: RudderStack обеспечивает обратное ETL-подключение, позволяющее легко отправлять данные из хранилища данных ClickHouse в Azure Blob Storage.
- Azure Synapse Analytics: Pipes позволяет автоматически загружать данные ClickHouse в Azure Synapse Analytics.
- Пакет Bitnami для ClickHouse: Пакет Bitnami для ClickHouse доступен на Microsoft Azure Marketplace. Этот пакет предоставляет обновленную, безопасную и полностью готовую к работе виртуальную машину для ClickHouse.
AWS Cloud:
- Amazon MSK: Интеграция с Amazon Managed Streaming для Apache Kafka.
- Amazon S3: Импортируйте, экспортируйте и преобразовывайте данные S3 с помощью встроенных в ClickHouse функций S3.
- Кластер ClickHouse на AWS: Данное решение позволяет развернуть кластер ClickHouse в облаке AWS.
- ClickHouse Cloud на AWS: Самая быстрая и мощная аналитическая база данных ClickHouse теперь доступна в качестве сервиса на AWS.
3. Поддержка SDK
ClickHouse поддерживает несколько SDK и клиентских библиотек для различных языков программирования. Вот некоторые из них:
- Go: Клиент Go использует свой собственный интерфейс для подключения к ClickHouse.
- Java: клиент Java и драйвер JDBC.
- Python: Несколько библиотек Python, таких как infi.clickhouse_orm, clickhouse-driver и clickhouse-client.
- PHP: Библиотеки, подобные smi2/phpclickhouse, 8bitov/clickhouse-php-client, bozerkins/clickhouse-client, simpod/clickhouse-client, seva-code/php-click-house-client.
- NodeJs: Библиотеки, такие как clickhouse (NodeJs), node-clickhouse, nestjs-clickhouse, clickhouse-client, node-clickhouse-orm, clickhouse-ts.
- Ruby: Библиотеки типа ClickHouse (Ruby) и clickhouse-activerecord.
- Rust: Библиотеки, подобные clickhouse.rs и clickhouse-rs.
- C#: Библиотеки, такие как Octonica.ClickHouseClient, ClickHouse.Ado и ClickHouse.Client.
Обратите внимание на то, что ClickHouse Inc не поддерживает эти библиотеки.
4. Поддерживаемые инструменты визуализации данных:
ClickHouse поддерживает широкий спектр инструментов визуализации данных. Вот некоторые из них:
- Explo: BI-инструмент, позволяющий самостоятельно исследовать данные и создавать красивые интерактивные дашборды.
- Grafana: Open-source для мониторинга и наблюдаемости данных.
- Tableau: Интерактивное ПО для визуализации данных.
- Looker: BI ПО, а также платформа для анализа Big Data.
- Metabase: Open-source BI – инструмент.
- Superset: Интерактивная платформа для исследования данных.
- Deepnote: Совершенно новый тип онлайн-блокнота для работы с данными.
- Draxlr: Простая BI платформа.
- Rocket BI: Облачная BI платформа.
- Zing Data: Инструмент визуализации данных.
Некоторые из этих инструментов подключаются к ClickHouse «из коробки», в то время как другие требуют установки коннектора.
Производительность
1. Операции вставки
ClickHouse оптимизирован для высокоскоростных операций вставки, особенно для колоночно-ориентированных хранилищ. СУБД поддерживает массовые вставки и параллельную обработку. Как правило, данные записываются в таблицы MergeTree частями, а фоновые процессы оптимизируют их хранение. Рекомендовано добавлять данные достаточно большими партиями, например по 100 000 строк за раз, а также группировать их по ключу партиционирования перед непосредственной загрузкой в ClickHouse. Вот некоторые ключевые моменты, касающиеся операций вставки в ClickHouse:
- Синтаксис: ClickHouse использует оператор INSERT INTO для вставки данных в таблицу. Вы можете указать список столбцов для вставки, используя синтаксис (c1, c2, c3). Данные могут быть переданы в INSERT в любом формате, поддерживаемом ClickHouse.
- Производительность: ClickHouse сортирует входные данные по первичному ключу и разбивает их на партиции по месяцам. Если Вы вставляете данные за разные месяцы, это может значительно снизить производительность запроса INSERT. Чтобы избежать этого, добавляйте данные большими партиями, например по 100 000 строк за раз.
- Асинхронные вставка: ClickHouse поддерживает асинхронную вставку, что позволяет вставлять данные в таблицу, не дожидаясь их записи на диск. Это может повысить производительность операций массовой вставки за счет сокращения времени, затрачиваемого на ожидание записи данных на диск.
2. Операции обновления
СУБД в первую очередь оптимизирована для рабочих нагрузок, связанных с чтением; обновления могут быть менее производительными, но при этом изменять или удалять существующие данные можно. Эти операции обозначаются как «мутации» и выполняются с помощью команды ALTER TABLE. Вот некоторые ключевые моменты, касающиеся операций обновления в ClickHouse:
- Обновление данных: Для обновления строк в таблице используйте команду ALTER TABLE...UPDATE.
- Удаление данных: Для удаления данных используйте команду ALTER TABLE...DELETE.
- Легковесные удаления: Еще один вариант удаления строк – это использование команды DELETE FROM, которая также называется легковесным удалением. Удаленные строки сразу помечаются как удаленные и автоматически отфильтровываются из всех последующих запросов, поэтому Вам не нужно ждать объединения частей или использовать ключевое слово FINAL. Очистка данных осуществляется асинхронно в фоновом режиме.
3. Операции объединения
Операции JOIN в ClickHouse могут быть медленными, если они не оптимизированы должным образом. Вот некоторые ключевые моменты, касающиеся таких операций в ClickHouse:
- Типы Join: ClickHouse поддерживает все стандартные SQL типы JOIN: INNER JOIN, LEFT OUTER JOIN, RIGHT OUTER JOIN, FULL OUTER JOIN, CROSS JOIN1. Более того, СУБД поддерживает и другие типы, такие как SEMI JOIN, ANTI JOIN, ANY JOIN, ASOF JOIN.
- Производительность: При выполнении JOIN оптимизации порядка выполнения по отношению к другим этапам запроса не происходит. Объединение выполняется перед фильтрацией в WHERE. Каждый раз, когда выполняется запрос с одним и тем же JOIN, подзапрос выполняется заново, поскольку результат не кэшируется.
- Оптимизация: ClickHouse поддерживает два основных типа объединений: Nested-Loop Join и Merge-Scan Join. Выбор правильной стратегии объединения имеет решающее значение для оптимизации производительности запросов в ClickHouse.
- Большие таблицы: Объединение больших таблиц в ClickHouse может привести к нехватке памяти или снижению производительности.
4. Агрегирование данных
ClickHouse позволяет генерировать аналитические отчеты в режиме реального времени. СУБД особенно известна своей высокой производительностью при выполнении агрегированных запросов. Вот некоторые ключевые моменты, касающиеся производительности ClickHouse при агрегировании данных:
- Параллельная обработка: Хранилища данных ClickHouse собирают агрегированные данные с помощью параллельной обработки, а затем объединяют их для получения окончательных результатов.
- Ключи GROUP BY: Количество ключей GROUP BY может повлиять на производительность. Например, запрос с несколькими десятками значений GROUP BY использует меньше памяти и выполняется быстрее, чем запрос с большим количеством значений GROUP BY.
- Сложность функции агрегации: Сложность агрегатной функции, используемой в запросе, также может повлиять на производительность.
- Количество потоков выполнения: Количество потоков выполнения также может повлиять на производительность.
Помните о том, что производительность может зависеть от каждого конкретного случая использования, объема данных и конфигурации системы. Для получения наиболее точной и актуальной информации всегда обращайтесь к официальной документации.
5. Поддержка материализованных представлений
ClickHouse поддерживает материализованные представления, которые хранятся в виде таблиц с данными, вычисленными по запросу SELECT. Данные в материализованных представлениях обновляются автоматически при изменении данных в базовых таблицах.
6. Индексирование
Индексирование ClickHouse - это мощнейшая функция, которая может значительно повысить производительность запросов. Вот подробный обзор того, как работает индексирование в рамках нашей СУБД:
- Типы индексов: ClickHouse поддерживает несколько типов индексов, включая индексы по первичному ключу, вторичные и полнотекстовые индексы. Все они реализуются с помощью таких структур данных, как B+-деревья, радикс - деревья и хэш-таблицы.
- Разреженный индекс: В отличие от традиционных реляционных систем управления базами данных, ClickHouse строит и использует разреженный первичный индекс таблицы. Это означает то, что вместо индексации каждой строки ClickHouse индексирует каждую 8192-ю строку при использовании настроек по умолчанию.
- Индексы пропуска данных: ClickHouse предоставляет особый тип индексов, которые могут значительно повысить скорость обработки запросов. Эти структуры позволяют ClickHouse пропускать чтение значительных фрагментов данных, которые гарантированно не имеют совпадающих значений.
- Лучшие практики по индексированию данных: Существуют лучшие практики индексирования данных в ClickHouse, например, выбор первичного ключа. Однако, как бы тщательно ни был настроен первичный ключ, неизбежно возникнут запросы, которые не смогут эффективно его использовать.
7. Потоковая передача данных
ClickHouse поддерживает встроенную интеграцию с Apache Kafka для получения данных в режиме реального времени. СУБД также поддерживает и другие интеграции для ввода данных, такие как Amazon Managed Streaming для Apache Kafka, Amazon S3, Google Cloud Storage и другие.
Сильные стороны Clickhouse
- Высокая производительность запросов: Столбцовая структура хранения данных ClickHouse в сочетании с передовыми методами оптимизации запросов обеспечивают быструю обработку сложных аналитических запросов.
- Масштабируемость: ClickHouse рассчитан на работу с большими объемами данных и может быть масштабирован горизонтально или вертикально по мере необходимости.
- Сжатие данных: Благодаря хранению данных в столбцах и использованию передовых алгоритмов сжатия ClickHouse оптимизирует хранение данных.
- Распределенная обработка: Для более эффективной обработки огромных массивов данных и повышения производительности запросов ClickHouse поддерживает возможность распределенной обработки данных на нескольких узлах.
Слабые стороны Clickhouse
- Нетрадиционные способы индексирования данных: Разреженный индекс делает ClickHouse не слишком эффективным для выполнения точечных запросов, извлекающих отдельные строки по их ключам.
- Сложности обучения: ClickHouse - СУБД не из простых, на изучение материала новичкам потребуется потратить достаточно много времени и сил.
- Ограниченные возможности изменения данных: ClickHouse не предназначен для изменения или удаления уже вставленных данных с высокой скоростью и низкой задержкой. Для очистки или изменения данных, например, в соответствии с требованиями GDPR, доступны пакетные удаления и пакетные обновления.
- Ограниченная поддержка сложных типов данных.
В каких случаях Clickhouse эффективен
ClickHouse лучше всего подходит для анализа данных в режиме реального времени, аналитики Big Data, баз данных временных рядов и хранилищ данных. Она также идеально подходит для случаев, когда требуется быстрое агрегирование больших наборов данных. Кроме того, ClickHouse предоставляет надежную инфраструктуру для обучения и оценки моделей машинного обучения.
В каких случаях Clickhouse неэффективен
ClickHouse не следует использовать в качестве полноценной замены реляционной базы данных, поскольку она не рассчитана на эффективную обработку обновлений и удалений строк. Кроме того, данная СУБД крайне неэффективна для обработки точечных запросов, извлекающих отдельные строки по их ключам.
В целом, ClickHouse - это высокопроизводительная, колоночно-ориентированная СУБД, предназначенная для выполнения OLAP задач. Ее сильные стороны - масштабируемая архитектура, эффективное хранение и поддержка полуструктурированных данных. ClickHouse отлично справляется с аналитикой в режиме реального времени и с большими данными, обеспечивая надежную интеграцию с различными источниками данных и инструментами работы с ними.
Несмотря на сложный процесс обучение и ограничения в традиционном индексировании, ClickHouse идеально подходит для сценариев, требующих быстрой агрегации больших массивов данных. Однако ее не рекомендуется использовать для частых модификаций данных или в качестве полноценной замены реляционной базы данных.
