Arenadata Streaming
Arenadata Streaming Platform (ADS) — это платформа потоковой обработки данных от компании Arenadata. Она предназначена для построения real-time архитектур обработки событий, логов, транзакций, телеметрии и многого другого. В её основе лежат интегрированные компоненты: Apache Kafka и Apache NiFi, а также инструменты управления, оркестрации и мониторинга.
Бизнес-применение
Для каких задач подходит Arenadata Streaming
- Обработка событий в реальном времени (clickstream, телеметрия, IoT)
- CDC (Change Data Capture) с БД и систем
- ETL и трансформация данных on-the-fly
- Интеграция разнородных источников (БД, API, файловые системы)
- Потоковая аналитика: мониторинг, алертинг, обогащение потоков данных
Отраслевые сценарии
- Банки и финансы: antifraud, скоринг, расчёты в моменте
- E-commerce и ритейл: персонализация, логистика, маркетинг
- Телеком: биллинг, сигнальный трафик, SLA
- Промышленность и IoT: сбор телеметрии, цифровые двойники
Компоненты платформы
Apache Kafka (arenadata kafka)
- Брокер сообщений с высокой пропускной способностью
- Хранение событий в логах (topic, partition)
- Репликация, партиционирование, гарантия доставки (at least once)
Apache NiFi (arenadata nifi)
- GUI-интерфейс для сборки потоков обработки
- 300+ процессоров для подключения к системам: DB, FTP, Kafka, HTTP
- Поддержка backpressure, retry, гарантий доставки
- Реализация CDC с PostgreSQL, Oracle, MongoDB
Вспомогательные компоненты
- Schema Registry, ZooKeeper, Prometheus Exporters, Grafana
- REST API + UI для NiFi, Kafka Manager (в составе ADS)
Архитектура и интеграции
Архитектура Arenadata Streaming Platform
[Producers] → Kafka → NiFi → [HDFS / S3 / DB / BI]
Интеграции
- Kafka ↔ PostgreSQL / Oracle / MongoDB (CDC)
- Kafka ↔ ADB / ADPG (push/pull ingestion)
- Kafka ↔ ClickHouse (через NiFi или Kafka Connect)
- Kafka ↔ Data Lake (MinIO, HDFS)
- Kafka → BI: Superset, Grafana (через materialized view или JDBC)
Развёртывание и эксплуатация
Развёртывание через ADCM
- Импорт ads-bundle.tar.gz
- Роли: kafka-broker, zookeeper, nifi-node
- Установка и запуск: install, start, init-topology
Конфигурации
- Kafka: server.properties, ACL, retention, partitions
- NiFi: flow.xml.gz, templates, controller services
Мониторинг
- Prometheus Exporters: Kafka, NiFi, Zookeeper, JVM
- Готовые Grafana Dashboard из ADCM Monitoring Bundle
- Алерты: lag, replication factor, NiFi failure rate
Преимущества и ограничения
Преимущества
- Потоковая архитектура в реальном времени (event-driven)
- Низкая задержка и высокая надёжность доставки
- Унифицированный инструмент NiFi для разработчиков ETL
- Поддержка отказоустойчивости и масштабирования
- Интеграция с BI, DWH, Lakehouse, ML-инфраструктурами
Ограничения
- Требует продвинутых знаний Kafka и потоковых моделей
- Управление потоками (flow versioning) требует дисциплины
- Зависимость от JVM и параметров GC в NiFi
- Не является системой хранения — требует интеграции с DWH
Примеры сценариев использования
Пример 1: CDC из PostgreSQL
- NiFi PollDatabaseTable → Kafka Topic → NiFi consumer → ADPG
Пример 2: Обработка IoT-телеметрии
- MQTT → Kafka → NiFi (parsing, filter) → S3 → Superset
Пример 3: Clickstream аналитика
- Web Logs → Kafka → NiFi (обогащение) → ClickHouse
Заключение
Arenadata Streaming Platform — это ядро современных real-time архитектур. Она позволяет собирать, обрабатывать и доставлять события и данные в режиме реального времени, обеспечивая отказоустойчивость, масштабируемость и прозрачность управления потоками. Платформа интегрируется с остальной экосистемой Arenadata и идеально подходит для построения цифровых витрин, CDC-пайплайнов, событийных шины и real-time ETL-инфраструктуры. В документации и продуктах платформа обозначается как arenadata streaming, arenadata streaming kafka, arenadata ads, arenadata kafka, arenadata nifi
