Arenadata GitHub: структура, содержимое, использование и особенности

Полный технический обзор официального присутствия Arenadata на GitHub и как его использовать

Что такое Arenadata GitHub

Arenadata GitHub — это официальная страница Arenadata в GitHub, где публикуются:

исходные коды некоторых open-source компонентов,
утилиты и шаблоны установки,
сборочные скрипты и контейнеры,
дашборды мониторинга и Prometheus exporters,
патчи и совместимые плагины для Greenplum, PostgreSQL, ClickHouse и др.

Важно: большинство enterprise-продуктов Arenadata остаются проприетарными и не выкладываются в открытый доступ, но инфраструктурные компоненты и расширения доступны на GitHub.

Основные репозитории в Arenadata GitHub

Вот ключевые репозитории (может дополняться):

Репозиторий	Назначение
adcm	Источник Arenadata Cluster Manager (core + CLI-интерфейс)
adpg-extension-pgaudit	Расширение аудита для ADPG
gp-guc	Справочник конфигурационных параметров ADB (Greenplum)
adqm-clickhouse-operator	K8s-оператор для управления кластером ADQM
adbm-adb-exporter	Prometheus Exporter для ADB
arenadata-dashboards	Готовые Grafana Dashboard JSON-файлы для мониторинга продуктов
adcm-packaging	Примеры создания bundle-пакетов для ADCM
nifi-arenadata-processors	Кастомные процессоры NiFi для потоковой обработки
adpg-docker	Docker-контейнеры и образы Arenadata PostgreSQL

Как использовать Arenadata GitHub

1. Установка и сборка

Получить Docker-образы (adpg-docker, adqm-clickhouse-operator)

git clone https://github.com/arenadata/adpg-docker.git
docker build -t adpg:ce .

2. Расширение функциональности

Подключить кастомные NiFi процессоры:

<processor class="ru.arenadata.nifi.custom.JsonFlattener"/>

3. Импортировать Grafana Dashboard

Скачать нужный .json из arenadata-dashboards
Импортировать в Grafana через UI (или API)

4. Создание кастомных ADCM-пакетов

Использовать adcm-packaging как шаблон
Собрать bundle для установки сервиса:

adcm pack create my-service

Плюсы использования Arenadata GitHub

Преимущество	Описание
Прозрачность и расширяемость	Можно изучить архитектуру open-компонентов
Быстрый старт через Docker	Установка PostgreSQL, ClickHouse и др. за минуты
Интеграция с DevOps	Шаблоны для CI/CD, Prometheus, Helm, K8s
Использование вне Enterprise	Подходит даже без подписки, для PoC, CE, Open Source
Комьюнити-подход	Возможность форка, доработки, pull-requests

Минусы и ограничения

Ограничение	Комментарий
Нет доступа к ядрам продуктов	ADB, Harmony, Catalog, Streaming не выкладываются полностью
Отсутствует документация кода	Некоторые проекты без README или с устаревшим описанием
Возможны различия с Enterprise	Компоненты могут быть не 1-в-1 с теми, что в Enterprise
Поддержка комьюнити-режима	Не все репозитории активно поддерживаются или обновляются

Примеры практического использования

Пример 1: Развёртывание ADPG CE

git clone https://github.com/arenadata/adpg-docker
cd adpg-docker
docker build -t adpg-ce .
docker run -d -p 5432:5432 adpg-ce

Пример 2: Импорт Grafana Dashboard

curl -O https://raw.githubusercontent.com/arenadata/arenadata-dashboards/main/adpg/adpg_overview.json
# Импорт через Grafana UI или API

Пример 3: Кастомизация ADCM Bundle

git clone https://github.com/arenadata/adcm-packaging
cd adcm-packaging/examples/postgresql
make bundle

Советы по использованию

Используйте watch/star на нужные проекты, чтобы следить за обновлениями.
Проверяйте issues — часто можно найти решения или тонкости использования.
Fork + кастомизация — удобно адаптировать под DevOps, CI/CD или учебные задачи.
Используйте вместе с Arenadata CE для создания полнофункциональной среды.

Список актуальных репозиториев Arenadata на GitHub

С краткими описаниями, ссылками и рекомендациями по использованию

GitHub-организация: https://github.com/arenadata

Инфраструктура и оркестрация

Репозиторий	Описание
adcm	Исходный код Arenadata Cluster Manager: Python-приложение и web-интерфейс для управления кластерами
adcm-packaging	Примеры создания собственных bundle-пакетов для установки сервисов через ADCM
adcm-dev-tools	Утилиты и CI-скрипты для сборки и тестирования пакетов ADCM
adcm-dev-docs	Документация по разработке кастомных bundle для ADCM

PostgreSQL (ADPG)

Репозиторий	Описание
adpg-docker	Docker-контейнер для запуска Arenadata PostgreSQL в среде CI или Dev
adpg-extension-pgaudit	Расширение для аудита SQL-операций в ADPG, совместимое с pgAudit
adpg-monitoring	Готовые Grafana-дэшборды и Prometheus exporter-конфигурации для мониторинга ADPG

Greenplum / ADB

Репозиторий	Описание
gp-guc	Документация и значения параметров конфигурации (GUC) для Greenplum (ADB)
gp-monitoring	Дашборды, Exporter, правила алертов для ADB

ClickHouse / ADQM

Репозиторий	Описание
adqm-clickhouse-operator	K8s-оператор для управления кластером Arenadata QuickMarts
adqm-monitoring	Мониторинг ClickHouse/ADQM с Prometheus + Grafana

Потоковая обработка / Kafka / NiFi

Репозиторий	Описание
nifi-arenadata-processors	Кастомные процессоры для Apache NiFi, включая CSV, JSON, Kafka расширения

Визуализация и мониторинг

Репозиторий	Описание
arenadata-dashboards	Коллекция JSON-дэшбордов Grafana для всех продуктов Arenadata
arenadata-monitoring-tools	Инструменты и шаблоны конфигурации Prometheus, exporters

Утилиты и сборка

Репозиторий	Описание
arenadata-build-tools	Makefile-шаблоны, инструменты сборки RPM/DEB
arenadata-helm	Helm-чарты для запуска ADPG/ADQM в Kubernetes (в стадии разработки)

Пример CI/CD пайплайна с использованием компонентов из Arenadata GitHub

Рассмотрим пример CI/CD пайплайна для развертывания DWH на базе Arenadata PostgreSQL (ADPG) и NiFi, с использованием GitHub-репозиториев, Docker и GitLab CI.

Стек:

ADPG из adpg-docker
NiFi c кастомными процессорами nifi-arenadata-processors
Метрики через Prometheus Exporter
GitLab CI / Jenkins / GitHub Actions

Структура проекта

/infrastructure/
  - docker-compose.yml
  - adpg/
      - Dockerfile (из adpg-docker)
  - nifi/
      - Dockerfile (custom processor)
  - prometheus/
      - prometheus.yml
  - grafana/
      - dashboards/

.gitlab-ci.yml (пример)

stages:
  - build
  - deploy
  - test

variables:
  DOCKER_DRIVER: overlay2

build_adpg:
  stage: build
  script:
    - cd infrastructure/adpg
    - docker build -t adpg-ci .

build_nifi:
  stage: build
  script:
    - cd infrastructure/nifi
    - docker build -t nifi-custom .

deploy:
  stage: deploy
  script:
    - docker-compose -f infrastructure/docker-compose.yml up -d

test_connection:
  stage: test
  script:
    - sleep 20
    - docker exec adpg psql -U postgres -c 'SELECT 1;'

Что даёт пайплайн:

CI-тестирование корректности запуска DWH
Проверка доступности PostgreSQL, Kafka и NiFi
Возможность собрать dev- или тестовый стенд в любой момент
Возможность сразу подключить Grafana с нужными дашбордами

Плюсы такого подхода

Преимущество	Пояснение
Использование официальных исходников	Уверенность в совместимости
Повторяемость и DevOps	Один pipeline → много окружений
Автоматизация	Простое масштабирование и переносимость
Гибкость	Любой компонент можно заменить или форкнуть

Заключение

GitHub-профиль Arenadata — это полезный источник:

для разработчиков, которые работают с open-source и CE-редакциями,
для DevOps-инженеров, которым нужны шаблоны мониторинга, ADCM,
для аналитиков и BI-архитекторов, которым важно быстрое прототипирование.

Хотя он не заменяет корпоративную поддержку, Arenadata GitHub — мощный инструмент в руках технической команды.

← Предыдущая статья

Эксплуатация Arenadata DB: Техническое руководство

Следующая статья →

Arenadata Monitoring Bundle