Arenadata в облаке (Arenadata Cloud): обзор, архитектура, особенности и отличия от On-Premise
Общее описание
Arenadata Cloud — это вариант развертывания решений Arenadata Platform в публичной, частной или гибридной облачной инфраструктуре. Он включает в себя установку и эксплуатацию таких продуктов, как:
- Arenadata DB (ADB) — MPP-база на Greenplum
- Arenadata QuickMarts (ADQM) — колоночная СУБД на базе ClickHouse
- Arenadata PostgreSQL (ADPG) — промышленный PostgreSQL
- Arenadata Harmony MDM — мастер-данные
- Arenadata Catalog — корпоративный каталог метаданных (OpenMetadata)
- Arenadata Streaming Platform (ADS) — потоковая архитектура Kafka + NiFi
- Arenadata Spark — распределённая обработка Spark-кластеров
- Arenadata LogSearch — логирование и аудит (на базе ELK/Opensearch)
- Arenadata Cluster Manager (ADCM) — оркестрация платформы
Где доступен Arenadata в облаке
Облачные партнёры:
|
Партнёр |
Условия |
Продукты Arenadata |
|---|---|---|
|
VK Cloud |
SaaS |
ADB, ADQM, ADPG, ADS, ADCM |
|
СберОблако |
SaaS/IaaS |
ADB, ADPG, Harmony MDM, Catalog |
|
Yandex Cloud (по запросу) |
BYOL |
ADPG, ADQM (через маркетплейс/развёртку) |
|
Selectel |
BYOL/IaaS |
ADPG, ADQM, ADB |
|
RuVDS, ITGLOBAL, Cloud4Y |
IaaS |
Любые продукты с установкой через ADCM |
BYOL — Bring Your Own License; SaaS — управление Arenadata самой платформой; IaaS — на базе виртуальных машин.
Какие продукты доступны в облачном исполнении
|
Продукт |
Облачный режим |
Особенности |
|---|---|---|
|
ADB (Greenplum) |
SaaS + BYOL |
MPP-анализ, staging, отчётность |
|
ADPG (PostgreSQL) |
SaaS + BYOL |
Транзакционная СУБД для API, микросервисов, DWH |
|
ADQM (ClickHouse) |
SaaS + BYOL |
Быстрые витрины, OLAP-аналитика, логирование |
|
Harmony MDM |
SaaS / Cloud-native |
Управление справочниками, согласование, интеграция с ADPG, BI |
|
Catalog |
SaaS / UI + API |
Метаданные, lineage, glossary, интеграция с Spark, Hive, DB, BI |
|
Streaming (ADS) |
BYOL / K8s-ready |
Kafka + NiFi, ingestion событий, CDC, realtime ETL |
|
LogSearch |
SaaS / ELK/Opensearch |
Аудит, мониторинг, доступность для разработчиков и ИБ |
|
Spark |
K8s, cloud-native |
Машинное обучение, распределённая агрегация, интеграция с Catalog и ADS |
|
ADCM |
SaaS + K8s-ready + VM-based |
Центральный оркестратор всех компонент |
Техническая архитектура
Варианты установки:
- SaaS (Managed) — поддерживается Arenadata/партнёром, развёртывание не требует глубоких знаний, UI + API.
- BYOL в IaaS — установка вручную через ADCM на выделенные виртуалки.
- Kubernetes (Cloud-native) — развёртывание через Helm Charts, подходит для ADQM, ADPG, Harmony.
Инфраструктурные особенности:
|
Компонент |
On-premise |
Cloud (SaaS/IaaS) |
|---|---|---|
|
Мониторинг |
Prometheus, Grafana в стенде |
Централизованный мониторинг + alertmanager |
|
Резервное копирование |
Cron, pgBackRest, clickhouse-backup |
Снапшоты VM / S3 / Cloud-backup |
|
Обновления |
ADCM/manual |
Через портал/REST API (в SaaS) |
|
Безопасность |
LDAP, Kerberos, firewall |
IAM, VPC, TLS-in-transit |
|
Failover |
Patroni / Repmgr |
Автофаиловер встроен (или по заявке) |
Как использовать
Вариант 1: через VK Cloud (или СберОблако)
- Заходите в маркетплейс → выбираете нужную систему (ADQM, ADPG, Harmony)
- Выставляете параметры (число нод, объём, конфигурация)
- Управление через UI или API (в зависимости от уровня доступа)
- Доступ к BI-инструментам, REST-интерфейсам, Kafka или DB напрямую
Вариант 2: BYOL через Selectel или Yandex
- Запускаете ADCM внутри выделенной виртуалки
- Импортируете .tar.gz bundle нужного продукта
- Разворачиваете кластер (ADB, ADQM, ADPG, Streaming)
- Настраиваете monitoring bundle, backup, HA
Преимущества облачного варианта
|
Категория |
Преимущество |
|---|---|
|
Быстрый старт |
Развёртывание за минуты через UI / шаблоны |
|
OPEX, а не CAPEX |
Нет затрат на физическое оборудование |
|
Масштабируемость |
Горизонтальное и вертикальное масштабирование через API или шаблон |
|
Обновления |
Поставляются как сервис (в SaaS) |
|
Интеграции |
Легко встраивается в облачные BI, Kafka, Object Storage |
|
Безопасность |
TLS, VPC, IAM, аудит через LogSearch |
|
DevOps-ready |
Поддержка Helm, Ansible, Terraform, GitOps |
Ограничения и вызовы
|
Ограничение |
Комментарий |
|---|---|
|
Зависимость от облачного провайдера |
Ограничения SLA, блокировки в закрытых контурах |
|
Производительность |
Потенциально ниже из-за виртуализации, сетевых ограничений |
|
Нет физического контроля |
Не подойдёт для клиентов с жёсткими регуляторными ограничениями |
|
Меньшая гибкость в кастомизации |
Некоторые параметры не настраиваются вручную (в SaaS-модели) |
On-Prem vs Cloud: сравнительная таблица
|
Параметр |
On-Premise |
Arenadata в Облаке |
|---|---|---|
|
Время запуска |
От 3–10 дней |
От 10 минут до 2 часов |
|
Уровень доступа |
Полный root-доступ |
Ограничен или API/UI |
|
SLA |
Зависит от ИТ-службы |
Зависит от партнёра |
|
Апдейты и патчи |
Вручную / ADCM |
Автоматически или по расписанию |
|
Интеграция с BI/ETL |
По VPN, прямое подключение |
Прямое или через cloud services |
|
Поддержка отказоустойчивости |
Настраивается вручную (Patroni, Repmgr) |
Встроено (HA-ready образы или Helm) |
Заключение
Arenadata в облаке — это гибкое решение для компаний, которым нужно быстрое развертывание, масштабируемость и отказоустойчивость без избыточной нагрузки на собственную ИТ-инфраструктуру. Решения доступны через крупных провайдеров, интегрируются с BI и Kafka, обеспечивают безопасность и соответствие требованиям российского бизнеса.
