Эксплуатация Arenadata DB: Техническое руководство
Arenadata DB (ADB) — это аналитическая MPP-платформа на базе Greenplum с мощными возможностями масштабирования, параллельного выполнения запросов и работы с большими данными. Эффективная эксплуатация ADB включает: мониторинг, обновления, резервное копирование, оптимизацию производительности, безопасность и отказоустойчивость. Это руководство предназначено для администраторов, DevOps-инженеров и архитекторов данных.
Мониторинг и производительность
Основные утилиты
- gpstate — статус сегментов
- gpconfig — просмотр/изменение параметров
- gpexpand — масштабирование
- gpcheckperf, gpcheckcat — проверка производительности и целостности
- gp_toolkit — системные представления
Подключение к сегментам
psql -p 5432 -U gpadmin -h master-host
Основные метрики для мониторинга
- Загруженность сегментов (CPU, disk I/O)
- Время выполнения запросов
- Locks, Deadlocks
- Объём WAL, статус mirror
- Активные подключения (pg_stat_activity)
Интеграция с мониторингом
- Prometheus + ADB Exporter
- Grafana dashboards: Query latency, Segment status, Locks
- LogSearch (ELK): анализ логов postgresql.log, gp_log_filter
Резервное копирование и восстановление
Рекомендованные инструменты
- gpcrondump, gpdbrestore — стандартные утилиты ADB
- pg_basebackup — полное резервное копирование
- WAL архивирование
Пример создания бэкапа
gpcrondump -x mydb -G -u /backups
Восстановление
gpdbrestore -t 20240507 -u /backups
Ротация и хранение
- Хранить не менее 3 полных бэкапов
- Архив WAL на внешний диск или S3
- Использование gpbarman для автоматизации
Масштабирование
Добавление сегментов (gpexpand)
gpexpand -f expand_hosts_file
- Создание новой конфигурации сегментов
- Повторное распределение данных: gpexpand --redistribute
Распределение данных
ALTER TABLE sales SET DISTRIBUTED BY (region);
- Использовать хэш-распределение или репликацию
Оптимизация производительности
План запросов
EXPLAIN ANALYZE SELECT * FROM big_table;
- Следить за Broadcast joins, HashAggregate, Nested Loop
Статистика
ANALYZE tablename;
- Настраивать default_statistics_target, gp_statistics_*
Сжатие и колоночные таблицы
CREATE TABLE t2 (id int, data text) WITH (appendonly=true, orientation=column, compresstype=zlib);
Утилизация ресурсов
- Очереди ресурсов (resource queues):
CREATE RESOURCE QUEUE q1 ACTIVE THRESHOLD 5 COST THRESHOLD 100;
- pg_stat_activity, pg_locks, pg_stat_user_tables
Обновление и патчи
Minor обновления
- Через ADCM: upgrade action
- Предварительно сделать snapshot конфигурации
Проверка совместимости
- Проверить: UDF, внешние источники (PXF), BI-связи
- Запуск: gpstart, gpstop, gpinitupgrade (при major апгрейде)
Тестирование после обновления
- dry-run запуск ETL
- проверка vitals: gpstate, pg_stat_replication, dmesg
Обеспечение безопасности
Роли и доступ
CREATE ROLE dwh_user LOGIN; GRANT SELECT ON SCHEMA reports TO dwh_user;
- Управление доступом через pg_hba.conf
- Шифрование TLS, роль superuser под контроль
Аудит и логирование
- gp_toolkit.gp_log_*, gp_lock_files
- Filebeat + Logstash → Elastic
Уязвимости
- Периодический анализ CVE по используемым компонентам
- Контроль версий Python, Java (для PXF)
Автоматизация и CI/CD
Скрипты развёртывания
psql -U gpadmin -d mydb -f init_schema.sql
Миграции
- Использовать Liquibase, Flyway, bash wrapper'ы
- Интеграция с Jenkins, GitLab CI
Проверка целостности
gpcheckcat -d mydb
- Проверка связности, orphan объектов, системных индексов
Заключение
Эффективная эксплуатация ADB требует комплексного подхода: наблюдаемость, резервное копирование, настройка производительности, безопасность и автоматизация. С помощью встроенных утилит, расширений и интеграций с ADCM, ADB предоставляет надёжную инфраструктуру для продуктивной аналитики на уровне предприятий и высоконагруженных решений.
