Учебный курс по ClickHouse
ClickHouse - столбцовая система управления базами данных (СУБД) для онлайн обработки аналитических запросов (OLAP).
Разный порядок хранения данных лучше подходит для разных сценариев работы. Сценарий работы с данными - это то, какие производятся запросы, как часто и в каком соотношении; сколько читается данных на запросы каждого вида - строк, столбцов, байт; как соотносятся чтения и обновления данных; какой рабочий размер данных и насколько локально он используется; используются ли транзакции и с какой изолированностью; какие требования к дублированию данных и логической целостности; требования к задержкам на выполнение и пропускной способности запросов каждого вида и т. п.
Чем больше нагрузка на систему, тем более важной становится специализация под сценарий работы, и тем более конкретной становится эта специализация. Не существует системы, одинаково хорошо подходящей под существенно различные сценарии работы. Если система подходит под широкое множество сценариев работы, то при достаточно большой нагрузке, система будет справляться со всеми сценариями работы плохо, или справляться хорошо только с одним из сценариев работы.
Ключевые особенности OLAP сценария работы
- подавляющее большинство запросов - на чтение;
- данные обновляются достаточно большими пачками (> 1000 строк), а не по одной строке, или не обновляются вообще;
- данные добавляются в БД, но не изменяются;
- при чтении, вынимается достаточно большое количество строк из БД, но только небольшое подмножество столбцов;
- таблицы являются «широкими», то есть, содержат большое количество столбцов;
- запросы идут сравнительно редко (обычно не более сотни в секунду на сервер);
- при выполнении простых запросов, допустимы задержки в районе 50 мс;
- значения в столбцах достаточно мелкие - числа и небольшие строки (пример - 60 байт на URL);
- требуется высокая пропускная способность при обработке одного запроса (до миллиардов строк в секунду на один сервер);
- транзакции отсутствуют;
- низкие требования к консистентности данных;
- в запросе одна большая таблица, все таблицы кроме одной маленькие;
- результат выполнения запроса существенно меньше исходных данных - то есть, данные фильтруются или агрегируются; результат выполнения помещается в оперативку на одном сервере.
Легко видеть, что OLAP сценарий работы существенно отличается от других распространённых сценариев работы (например, OLTP или Key-Value сценариев работы). Таким образом, не имеет никакого смысла пытаться использовать OLTP или Key-Value БД для обработки аналитических запросов, если вы хотите получить приличную производительность («выше плинтуса»). Например, если вы попытаетесь использовать для аналитики MongoDB или Redis - вы получите анекдотически низкую производительность по сравнению с OLAP-СУБД.
Причины, по которым столбцовые СУБД лучше подходят для OLAP сценария
Столбцовые СУБД лучше (от 100 раз по скорости обработки большинства запросов) подходят для OLAP сценария работы. Причины в деталях будут разъяснены ниже, а сам факт проще продемонстрировать визуально:
Строковые СУБД
Столбцовые СУБД
Видите разницу?
По вводу-выводу
- Для выполнения аналитического запроса, требуется прочитать небольшое количество столбцов таблицы. В столбцовой БД для этого можно читать только нужные данные. Например, если вам требуется только 5 столбцов из 100, то следует рассчитывать на 20-кратное уменьшение ввода-вывода.
- Так как данные читаются пачками, то их проще сжимать. Данные, лежащие по столбцам также лучше сжимаются. За счёт этого, дополнительно уменьшается объём ввода-вывода.
- За счёт уменьшения ввода-вывода, больше данных влезает в системный кэш.
Например, для запроса «посчитать количество записей для каждой рекламной системы», требуется прочитать один столбец «идентификатор рекламной системы», который занимает 1 байт в несжатом виде. Если большинство переходов было не с рекламных систем, то можно рассчитывать хотя бы на десятикратное сжатие этого столбца. При использовании быстрого алгоритма сжатия, возможно разжатие данных со скоростью более нескольких гигабайт несжатых данных в секунду. То есть, такой запрос может выполняться со скоростью около нескольких миллиардов строк в секунду на одном сервере. На практике, такая скорость действительно достигается.
По вычислениям
Так как для выполнения запроса надо обработать достаточно большое количество строк, становится актуальным диспетчеризовывать все операции не для отдельных строк, а для целых векторов, или реализовать движок выполнения запроса так, чтобы издержки на диспетчеризацию были примерно нулевыми. Если этого не делать, то при любой не слишком плохой дисковой подсистеме, интерпретатор запроса неизбежно упрётся в CPU. Имеет смысл не только хранить данные по столбцам, но и обрабатывать их, по возможности, тоже по столбцам.
Есть два способа это сделать:
- Векторный движок. Все операции пишутся не для отдельных значений, а для векторов. То есть, вызывать операции надо достаточно редко, и издержки на диспетчеризацию становятся пренебрежимо маленькими. Код операции содержит в себе хорошо оптимизированный внутренний цикл.
- Кодогенерация. Для запроса генерируется код, в котором подставлены все косвенные вызовы.
В «обычных» БД этого не делается, так как не имеет смысла при выполнении простых запросов. Хотя есть исключения. Например, в MemSQL кодогенерация используется для уменьшения latency при выполнении SQL запросов. Для сравнения, в аналитических СУБД требуется оптимизация throughput, а не latency.
Стоит заметить, что для эффективности по CPU требуется, чтобы язык запросов был декларативным (SQL, MDX) или хотя бы векторным (J, K). То есть, чтобы запрос содержал циклы только в неявном виде, открывая возможности для оптимизации.
О ClickHouse
- Очень быстрая аналитика больших данных: Arenadata QuickMarts и ClickHouse
- Что не так с ClickHouse: 10 главных недостатков
- Эффективное использование ClickHouse
- Краеугольные камни ClickHouse
- Выбираем OLAP хранилище данных: ClickHouse
- Что такое ClickHouse? Путеводитель для начинающих
- ClickHouse для новичков: введение, основные характеристики и начало работы
Развертывание ClickHouse
- Как запустить ClickHouse своими силами и выиграть джекпот
- Основы ClickHouse для веб разработчика
- Как упростить развертывание ClickHouse с помощью clickhouse - operator: пошаговая инструкция
- Легкое развертывание ClickHouse на Kubernetes: подробная инструкция
Производительность ClickHouse
- Новые кодировки для того, чтобы увеличить производительность ClickHouse
- Как протестировать различные кодеки компрессии
- Дашборд ClickHouse: учебное пособие
- 7 направлений оптимизации ClickHouse, которые помогают в BI
Работа в ClickHouse
- Как в Clickhouse создать таблицу с календарем
- Прокачиваем видеоаналитику с помощью ClickHouse
- chDB - реактивный двигатель для велосипеда
- Заметки про ClickHouse. Tutorial 101 — Большая подборка информации
- Как получить информацию о структуре БД для документации
- Массивно-параллельная обработка запросов и файлов журнала с помощью ClickHouse
- Обработка обновлений в режиме реального времени в ClickHouse
- Clickhouse — шардинг и репликация
- Партицирование в Clickhouse
- Прием данных в Clickhouse
- Пользовательские функции на базе Python в Clickhouse
- Clickhouse — полезные SQL-запросы и самые эффективные методы работы с запросами
- Как мы «переселяли» свою БД Clickhouse в удаленные центры обработки данных
- Оптимизация подключений ClickHouse в Go
- Как настроить резервное копирование ClickHouse: руководство к действию
- CDC для ClickHouse
- Как загрузить данные из Mysql напрямую в Clickhouse
- Работаем с JSON в Clickhouse
- Как с помощью ClickHouse сравнить строки в двух CSV-файлах
- Эффективные методы подсчета уникальных значений в ClickHouse: сравнительный анализ
- ClickHouse: вставка нескольких миллионов записей всего за несколько секунд
Интеграция ClickHouse
- Интеграция ClickHouse и совместимого с S3 объектного хранилища
- Создание визуализации ClickHouse с помощью Altinity и Cube
- Углубляемся в тонкости Apache Parquet с помощью ClickHouse - часть 1
- Углубляемся в тонкости Apache Parquet с помощью ClickHouse - часть 2
- Руководство по работе с движком Kafka в ClickHouse
- Как CDC из MySQL применить в ClickHouse
- Kafka + NiFi + Clickhouse в Docker
- ClickHouse + Kafka =
- Polars и ClickHouse: чтение и запись данных
- Использование AWS S3 для резервного копирования и восстановления данных Clickhouse
FAQ