Arenadata Catalog: Интеграции с внешними системами
Зачем нужны интеграции?
Интеграции Arenadata Catalog с внешними источниками позволяют:
- автоматизировать сбор и обновление метаданных,
- построить актуальную и полную цифровую карту активов данных,
- обеспечить сквозную трассировку lineage и согласованность бизнес-глоссариев,
- упростить управление источниками и повысить доверие к данным.
Интеграция с файловыми хранилищами
MinIO / Amazon S3
- Тип интеграции: через S3 API
- Поддерживаемые форматы: CSV, JSON, Parquet, Avro, ORC
-
Используется для:
- Импорта структуры файлов и вложенных папок как активов
- Связи с терминами глоссария (например, transactions_2024.parquet ↔ «Выручка»)
- Отображения информации о размере, владельце, времени создания
Настройка подключения
- Указание S3 endpoint, access/secret ключей
- Настройка bucket и шаблонов путей
- Периодический сбор метаданных по расписанию
HDFS (Hadoop Distributed File System)
- Подключение по WebHDFS или Hadoop API
- Импорт каталогов, файлов, схем
- Привязка к lineage и DQ-контролям
Интеграция с СУБД
PostgreSQL, Greenplum (ADB), Oracle, MySQL, ClickHouse
- Подключение через JDBC-коннекторы
- Импорт таблиц, колонок, схем, индексов, ограничений
- Автоматическая типизация и привязка к глоссарию
- Отображение связей с BI-отчётами и ETL-пайплайнами
Возможности:
- Распознавание ключей, зависимостей
- Импорт описаний (комментариев) из БД
- Версионирование схем и изменение структуры активов
Интеграция с BI-системами
FineBI, Tableau, Qlik, Power BI
- Импорт названий отчётов, визуализаций, полей и связанных источников
- Привязка визуальных элементов к колонкам таблиц и терминам глоссария
- Отображение обратных связей: какие отчёты используют какой актив
Интеграция с ETL/ELT и оркестраторами
Apache Airflow
- Импорт DAG, задач и связей между шагами
- Привязка источников и целей к активам
- Генерация lineage автоматически
Apache NiFi, Spark, DataStage (по roadmap)
- Анализ потоков, входных и выходных данных
- Визуализация трансформаций
REST API и внешние сервисы
-
Catalog предоставляет открытое API:
- загрузка активов
- создание терминов
- назначение связей и тегов
- Поддержка Webhook для push-обновлений от внешних систем
Аутентификация и безопасность
- Интеграция с LDAP и корпоративными AD для авторизации
- Разграничение доступа к источникам по ролям
- Журналирование всех действий через LogSearch или внутренний аудит
Заключение
Интеграции Arenadata Catalog — это основа его ценности как корпоративной платформы знаний о данных. Благодаря связям с хранилищами, СУБД, BI и ETL-средами платформа формирует единый и живой ландшафт метаданных. Это позволяет компаниям повышать качество аналитики, ускорять разработку и снижать риски, связанные с использованием данных.
