FAQ по Arenadata QuickMarts (ADQM)
Какие ключевые функциональные возможности предоставляет ADQM?
- Колоночное хранение данных для высокой производительности.
- Использование векторных механизмов обработки.
- Эффективные алгоритмы сжатия (например, Z_Standard) с возможностью выбора типа и уровня компрессии.
- Поддержка конструкций SQL: distinct, group by, order by, having, apply, union / union all, регулярные выражения, подзапросы (FROM, IN, JOIN), скалярные подзапросы, оконные функции.
- Работа с массивами.
- Возможность задавать время хранения данных (TTL).
- Поддержка индексов и вторичных индексов.
- Использование Log-structured Merge-tree (LSM) и фильтров Блума.
- Выполнение запросов на части выборки с получением приближенного результата.
- Поддержка секциирования (partitioning) таблиц.
- Возможность пакетной вставки больших объемов данных.
- Настройка типа и уровня компрессии на уровне отдельных столбцов.
Как ADQM масштабируется?
- Массивно-параллельная архитектура (Shared Nothing MPP) без единой точки отказа.
- Линейное горизонтальное и вертикальное масштабирование.
- Шардирование данных с учетом локальности выполнения запросов.
Как обеспечивается отказоустойчивость ADQM?
- Автоматическая репликация данных на новые сегменты кластера без остановки системы.
- Встроенная нативная отказоустойчивость, поддержка асинхронной репликации.
Какие инструменты управления и мониторинга есть в ADQM?
- Система развертывания и управления кластером.
- Визуальный мониторинг ключевых метрик БД.
- Гибкая система уведомлений по событиям и метрикам.
- Журналирование операций: дата, пользователь, выполненная операция, длительность, ошибки.
Как происходит версионирование ClickHouse и ADQM?
ClickHouse выпускает стабильные версии раз в месяц и LTS-релизы (март и август). Пример именования: 21.10.5.3-stable, 21.8.13.6-lts.
ADQM строится на базе ClickHouse LTS, например, версия 21.8.13.6_arenadata1_b1 соответствует ClickHouse 21.8.13.6-lts.
Когда лучше использовать Arenadata DB, а когда — Arenadata QuickMarts?
Arenadata DB оптимальна для:
- Сложных аналитических запросов с большими объемами данных.
- ETL/ELT-процессов, где важна in-database обработка.
- Объединения больших таблиц по заданному ключу распределения.
- Процедурных аналитических функций (например, с использованием MADLib).
Arenadata QuickMarts лучше применять для:
- Запросов к широким денормализованным таблицам.
- Full-scan операций с фильтрацией.
- Ad-hoc аналитики.
- Работы со структурированными логами и событиями.
Насколько надежно хранение данных в ADQM/ClickHouse?
ClickHouse зарекомендовал себя как надежная система с механизмами репликации. Возможности резервного копирования ограничены по сравнению с традиционными СУБД, но достаточны для большинства задач.
Поддерживает ли ADQM транзакции?
Нет, как и большинство OLAP-систем, ADQM не гарантирует ACID-совместимость. Однако при отсутствии мутаций обеспечивается консистентность чтения. Для вставки данных есть механизмы, обеспечивающие их надежность.
С какими внешними системами интегрируется ADQM?
ADQM поддерживает взаимодействие с:
- Kafka
- RabbitMQ
- MySQL
- MongoDB
- PostgreSQL
- Hadoop (HDFS)
- S3
- HTTP, JDBC
- Внешние исполняемые файлы и скрипты
Аутентификация возможна через LDAP и Kerberos с хранением учетных данных в Microsoft Active Directory.
Как загружать данные в ADQM?
- Из Arenadata DB (Greenplum) — лучшее решение Tkhemali-коннектор.
- При использовании HTTP или ClickHouse-протокола — вставки большими блоками с низкой частотой (не чаще нескольких десятков раз в секунду).
- Kafka и RabbitMQ — встроенные механизмы группировки данных.
Какие есть ограничения на таблицы в ADQM/ClickHouse?
- Максимально рекомендованное количество колонок — 1000.
- Ограничения зависят от оперативной памяти, так как для вставки каждой колонки требуется 2 МБ RAM.
- Для эффективной работы кэша засечек объем оперативной памяти должен быть не менее 0,1% от общего объема данных.
