Arenadata Monitoring Bundle
Комплекс мониторинга платформы Arenadata: архитектура, компоненты, сценарии использования, отличие от "ванильного" мониторинга
Общее описание
Мониторинг для решений Arenadata — это централизованная система сбора, хранения, визуализации и оповещения на основе Prometheus + Grafana, встроенная в Arenadata Platform. Она предназначена для мониторинга всех ключевых компонентов:
- Arenadata DB (ADB)
- Arenadata PostgreSQL (ADPG)
- Arenadata QuickMarts (ADQM)
- Arenadata Harmony MDM
- Arenadata Catalog
- Arenadata Streaming (Kafka + NiFi)
- Arenadata LogSearch
- Arenadata Spark
- Arenadata Cluster Manager (ADCM)
В состав решения входит готовый Monitoring Bundle с десятками дашбордов, exporters, правил агрегации и alert'ов.
Архитектура Arenadata Monitoring
[Node Exporter] ─┐
[PG Exporter] ───┼→ Prometheus → Alertmanager → Email / Telegram / Teams
[Kafka Exporter] ─┘ ↓
Grafana(преднастроенные дашборды)
Основные компоненты
|
Компонент |
Назначение |
|---|---|
|
Prometheus |
TSDB-хранилище метрик, сбор данных с exporters |
|
Node Exporter |
Метрики ОС: CPU, RAM, диски, сеть |
|
Postgres Exporter |
Метрики ADPG: TPS, Locks, Buffers, Replication |
|
ADB Exporter |
Метрики Greenplum: сегменты, queries, disk spill, skew |
|
Kafka Exporter |
Лаг по топикам, producer/consumer metrics |
|
NiFi Exporter |
Flow stats, ошибки, latency |
|
ClickHouse Exporter |
Подключения, throughput, чтения, записи |
|
ADCM Agent Exporter |
Статус кластеров, операции, bundle |
|
Alertmanager |
Правила оповещений |
|
Grafana |
Веб-интерфейс, дашборды |
Готовые дашборды (из Monitoring Bundle)
|
Название Dashboard |
Назначение |
|---|---|
|
PostgreSQL Overview |
TPS, queries, replication lag, buffer hit, deadlocks |
|
ADB Cluster Health |
Сегменты, interconnect, spill, queries, skew |
|
ADQM (ClickHouse) Dashboard |
MergeTree, replicas, inserts, disk usage |
|
Kafka Streams |
Consumer group lag, partition offset, throughput |
|
NiFi Flows |
Errors, backpressure, flowfile stats |
|
ADCM Cluster Operations |
Deployments, health check status, failed operations |
|
Resource Usage (Node Exporter) |
CPU, RAM, disk I/O, load avg |
Развёртывание
Варианты установки:
-
Через ADCM (рекомендуется):
- Установка Monitoring Bundle с ролями prometheus, grafana, alertmanager, exporters
- Настройка с UI или CLI: выбираются компоненты и хосты
- Ручная установка (для BYOL и K8s):
- Установка Prometheus и exporters вручную
- Импорт Grafana dashboards из JSON или репозитория
Пример ADCM-конфигурации:
clusters:
- name: adpg-cluster
services:
- service: monitoring
components:
- name: prometheus
hosts: [mon-node]
- name: grafana
hosts: [mon-node]
- name: node_exporter
hosts: [db-node-1, db-node-2]
- name: pg_exporter
hosts: [db-node-1, db-node-2]
Использование и сценарии
Основные сценарии:
- Ежедневный контроль нагрузок: TPS, диск, память, deadlocks
- Диагностика инцидентов: резкое увеличение lag, падение сегментов
- Настройка SLA и оповещений: lag > 10 сек, CPU > 90%, нет соединения
- Capacity planning: рост нагрузки, необходимость масштабирования
- DevOps: настройка rollback, healthchecks, миграции на лету
Примеры алертов:
- alert: PostgreSQLReplicationLag
expr: pg_replication_lag_bytes > 10000000
for: 1m
labels:
severity: warning
annotations:
summary: "PostgreSQL Replication Lag > 10MB"
Отличия от «ванильного» мониторинга
|
Параметр |
Ванильный подход (Prometheus+Grafana) |
Arenadata Monitoring |
|---|---|---|
|
Установка |
Ручная, нужно настраивать вручную |
Автоматическая через ADCM |
|
Дашборды |
Нужно собирать и дорабатывать |
Из коробки, под каждый продукт |
|
Поддержка exporters |
Требует конфигурации и сборки |
Предустановлены и поддерживаются в Bundle |
|
Интеграция с продуктами |
Не встроено |
Полная интеграция с ADB, ADPG, ADQM, Catalog и др. |
|
Alerting |
Требует настройки вручную |
Встроенные шаблоны алертов |
|
Документация |
Разрозненная, общая по Prometheus |
Подробная документация по каждому компоненту |
Преимущества Arenadata Monitoring
- Управляемость: мониторинг всей платформы из ADCM
- Низкий порог входа: не требует глубоких знаний Prometheus
- Стандартизация: дашборды и алерты одинаковы на всех проектах
- Масштабируемость: работает в multi-node конфигурациях
- Интеграция с ИБ: LogSearch, аудиторский контроль событий
Минусы и ограничения
|
Ограничение |
Комментарий |
|---|---|
|
Поддержка ограниченных exporter |
Требует кастомизации для нестандартных задач |
|
Нет нативного SSO/LDAP в Grafana |
Настраивается вручную или через Grafana.ini |
|
Мониторинг специфики BI/SQL |
Требует включения pg_stat_statements вручную |
Заключение
Arenadata Monitoring — это готовое корпоративное решение для мониторинга всей экосистемы Arenadata. Оно покрывает как СУБД, так и Kafka, Spark, MDM, ETL, BI, а также сам ADCM. Подходит для эксплуатации в продуктивной среде с требованиями к SLA, безопасному хранению и централизованному управлению.
Хотя он не заменяет корпоративную поддержку, Arenadata GitHub — мощный инструмент в руках технической команды.
