Руководство по установке продуктов Arenadata
Общие принципы установки
Все ключевые продукты Arenadata распространяются в виде дистрибутивов, устанавливаемых через ADCM (Arenadata Cluster Manager) либо вручную. Для каждого продукта предусмотрены роли, шаблоны конфигураций и проверенные сценарии развертывания в промышленной среде.
Общие требования к хостам
- ОС: RHEL 7/8, CentOS 7, Arenadata OS
- Память: от 16 ГБ (рекомендуется 32–64 ГБ)
- CPU: от 8 ядер
- Диск: SSD, с выносом WAL/транзакционных логов на отдельные тома (для ADB)
- Сеть: стабильная, 1 Гбит/с и выше
Предварительная подготовка:
- Настройка репозитория Arenadata
- Обновление пакетов и установка зависимостей (Java, Python, SSH, rsync)
- Конфигурация имени хоста, SSH-ключей, /etc/hosts
- Создание сервисных пользователей (например, arenadata, gpadmin)
Установка через ADCM
ADCM — веб-интерфейс и агентная система, которая управляет установкой, настройкой и обновлением компонентов Arenadata на всех хостах кластера.
Этапы:
- Установка ADCM на выделенную машину:
sudo rpm -ivh adcm-<версия>.rpm
- Запуск веб-интерфейса: http://<ip>:8000
-
Создание Inventory:
- Добавление хостов
- Установка агентов ADCM
- Импорт Bundle (наборов ролей и компонентов): ADB, Catalog, Harmony, Streaming
- Назначение ролей на хосты (master, segment, ui, server и т.д.)
- Запуск пошагового сценария установки
- Проверка состояния кластера (веб-интерфейс, CLI, Prometheus)
Установка Arenadata DB (ADB)
- Роли: master, standby, segments, pxf, gpmon
- Предустановленные компоненты: PostgreSQL, Greenplum, PXF, GPTool
-
Настройка:
- Распределение ролей по хостам
- Параметры сети и хранения
- Порты: 5432 (ADB), 5888 (PXF), 8899 (GPTool)
- Тестирование:
- Запуск gpstate, gpcheck, gpstart, gpstop
Установка Arenadata Catalog
- Компоненты: frontend, backend, metadata-storage
- Хранилище: PostgreSQL
- Порты: 8080 (UI), 8081 (API)
-
Конфигурация:
- Добавление источников данных и BI
- Настройка доступа (LDAP, роли, домены)
Установка Harmony MDM
- Компоненты: UI, API, DB, обработчики задач
-
Настройка:
- Доменная модель (определение сущностей и атрибутов)
- Workflow-процессы (согласование, утверждение)
- Коннекторы (REST, JDBC, Kafka)
Установка LogSearch (ELK-стек)
- Состав: Filebeat, Logstash, Elasticsearch, Kibana
-
Поддерживаемые источники логов:
- ADB (pg_log, segments)
- Catalog, Harmony, PXF
- Systemd, ядро, сетевые логи
- Порты: 9200 (Elastic), 5601 (Kibana), 5044 (Logstash input)
Установка Arenadata Streaming Platform
- Компоненты: Kafka, NiFi, Spark, Zookeeper
-
Примеры конфигураций:
- Kafka Topics с ретеншеном, репликацией
- NiFi Flows для потоков CDC, S3, BI
- Spark Jobs в режиме Structured Streaming
Проверка и мониторинг после установки
- Prometheus + Grafana (входит в Monitoring Bundle)
- Метрики компонентов (ADB, Kafka, Hive, NiFi)
- Проверка портов, служб, нагрузки
- ADCM: просмотр логов задач, статусов хостов
В это руководство включены рекомендации и практические инструкции по установке всех основных компонентов Arenadata:
- ADB (Arenadata DB, Greenplum)
- ADPG (Arenadata PostgreSQL)
- ADQM (QuickMarts, ClickHouse)
- Catalog (на базе OpenMetadata)
- Harmony MDM (на базе Гармония MDM)
- Streaming Platform (Kafka, NiFi, Spark)
- LogSearch (ELK-стек)
Для всех продуктов используется единый подход к установке через Arenadata Cluster Manager (ADCM), с поддержкой управления ролями, шаблонами и обновлениями.
Общие подготовительные действия
Системные требования (рекомендуемые)
- ОС: Arenadata OS, CentOS 7, RHEL 7/8
- CPU: от 8 vCPU
- RAM: от 32 ГБ
- Диски: SSD/NVMe, отдельные тома под данные и WAL (ADB)
- Сеть: 1+ Гбит/с, стабильная DNS
Подготовка среды
sudo yum install -y epel-release wget net-tools sshpass rsync python3 java-11-openjdk
- Настроить /etc/hosts и FQDN
- Создать пользователя arenadata (или gpadmin для ADB)
- Проверить доступ по SSH между узлами с авторизацией по ключу
Установка ADCM
Установка пакета
sudo rpm -ivh adcm-<latest>.rpm sudo systemctl enable --now adcm
- Интерфейс: http://<adcm_host>:8000
- Доступ по умолчанию: admin/admin
Создание Inventory
- Добавление хостов
- Установка агентских компонентов
Импорт Bundle для нужного продукта
- Бандлы: .tar.gz архивы с описанием ролей, скриптов, конфигураций
- Примеры: adb-bundle-6.x.tar.gz, adpg-bundle-13.x.tar.gz, adqm-bundle-22.x.tar.gz
Установка продуктов
ADB (Greenplum)
- Роли: master, standby, segment, pxf, gpmon
-
Порядок действий:
- Назначить роли на хосты
- Запустить Install → Init Cluster
- Проверить gpstate, gpstart, gpcheckperf
-
Конфигурация:
- pg_hba.conf, postgresql.conf, seg_prefix
- WAL: отдельный том
- PXF: port=5888, требует JVM
ADPG (PostgreSQL)
- Роли: postgres, replica
-
Поддержка Patroni:
- Для HA: patroni + etcd + haproxy
- Конфигурации:
- max_wal_size, archive_mode, archive_command
- Настройка репликации и WAL-G (если нужен offsite backup)
ADQM (ClickHouse / QuickMarts)
- Роли: server, replica, keeper
-
Шаги:
- Настройка кластерной конфигурации (shards.xml, zookeeper.xml)
- Установка keeper-сервисов (встроенный ZK-совместимый кластер)
- Сопоставление реплик
- Конфигурация:
- users.xml, config.xml, macros.xml
- Tuning параметров MergeTree, TTL, max_bytes_in_join
Catalog
- Компоненты: frontend, backend, metadata-store, airflow
-
Требования:
- PostgreSQL (входит в bundle)
- Java 11+, Python 3.9+
-
Порядок:
- Установка backend/API
- Настройка ingestion через Airflow
- Конфигурация источников: JDBC, Kafka, BI tools
Harmony MDM
- Роли: ui, api, executor, db
-
Шаги:
- Установка PostgreSQL, запуск миграций схем
- Настройка API, запуск обработки задач
- Импорт моделей данных, настройка workflow через UI
- Особенности:
- Поддержка автоматической дедупликации
- Настройка конфигурации через YAML и JSON схемы
Streaming Platform
- Компоненты: kafka, zookeeper, nifi, spark
-
Порядок:
- Zookeeper → Kafka → NiFi → Spark
- Настройка ACL, topics, registry URL
- Импорт NiFi flow через Registry
- Spark:
- Поддержка Structured Streaming
- Слоты executor'ов, checkpoint'ы, мониторы
LogSearch (ELK)
- Компоненты: elasticsearch, logstash, filebeat, kibana
-
Этапы:
- Установка Elastic cluster
- Конфигурация Logstash pipeline с grok-шаблонами
- Настройка Filebeat на всех узлах ADB/ADPG/ADQM
- Визуализация логов в Kibana
Post-install шаги
Проверка доступности
- systemctl status для всех сервисов
- Порты: 5432 (ADB), 9000 (CH), 8080 (Catalog), 5601 (Kibana)
- Тест-запросы: psql, clickhouse-client, curl /api/v1/...
Интеграция с Monitoring
- Импорт Prometheus + Grafana Bundle
- Назначение exporter's roles
- Настройка Alertmanager
Бэкап и Snapshot-инициализация
- Проверка доступа к backup-дискам
- Инициализация pg_basebackup, BACKUP TABLE, Snapshot API (Elastic)
Заключение
Платформа Arenadata устанавливается модульно и централизованно через ADCM. Каждый компонент — от ADB до Harmony MDM и NiFi — настраивается по предсказуемому шаблону, что обеспечивает консистентность развертывания, поддержку HA и лёгкость обновления. Соблюдение рекомендаций из этого руководства позволяет запустить продуктивную аналитическую платформу в течение нескольких часов.
