Методичка: Полное руководство по работе с Arenadata Catalog
Arenadata Catalog — это специализированная платформа корпоративного класса для управления метаданными, активами данных, бизнес-терминами и визуализацией lineage. Она помогает организациям стандартизировать описание данных, обеспечить контроль за их происхождением, связать технические и бизнес-аспекты аналитики, повысить уровень доверия к данным и внедрить единый подход к Data Governance.
Этот документ — не просто статья, а полноценное пошаговое руководство по ключевым функциям Arenadata Catalog, его настройке и использованию для различных ролей в компании.
Назначение и архитектура платформы
Основные задачи:
- Централизованное описание и классификация данных
- Ведение бизнес-глоссариев и стандартизация терминологии
- Отслеживание происхождения данных (Data Lineage)
- Управление ролями, доступом и ответственностью за активы
- Повышение качества и прозрачности аналитической среды
Архитектурные компоненты:
- Frontend — пользовательский веб-интерфейс для работы с активами и терминами
- Backend/API — обработка логики, запросов, интеграций и ролей
- Metadata Storage — хранилище всех активов, связей и версий
- Интеграционные шлюзы — подключения к БД, BI, ETL, хранилищам
Ключевые сущности и их взаимосвязи
Термины (бизнес-глоссарий)
- Основная единица смысла, понятная бизнесу
- Имеет: название, описание, синонимы, категорию, владельца
- Может быть связан с любым активом в Catalog
- Поддерживает статусы (черновик, опубликован, на утверждении)
Активы (Assets)
Типы:
- Таблицы и колонки (PostgreSQL, Oracle, Hive, ClickHouse)
- Файлы (CSV, Parquet, JSON в S3/MinIO)
- BI-отчёты (FineBI, Tableau, Power BI, Qlik)
- ETL-цепочки (Airflow DAGs, Spark jobs)
- Потоки и модели данных
Связи
- Термин ↔ Актив
- Актив ↔ Актив (lineage, преобразование, потребление)
- Термин ↔ Термин (синонимы, включает, входит в категорию)
Работа с терминами: создание, утверждение, ревизия
Создание нового термина
- Перейти в раздел "Бизнес-глоссарий"
- Нажать "Создать термин"
-
Указать:
- Название
- Описание (деловое значение, единицы измерения, область применимости)
- Синонимы (если есть)
- Категорию (например: Финансы, Продажи)
- Владелец (ответственный сотрудник или подразделение)
- Связать термин с активами (таблицами, колонками, отчётами)
- Отправить на утверждение (если активирована workflow-модель)
Практики:
- Создавайте термины как можно ближе к бизнес-лексике
- Используйте модуль версионирования при редактировании опубликованных терминов
- Используйте комментарии и истории изменений для командной работы
Импорт и описание активов
Варианты загрузки активов:
- Автоматически (через коннекторы JDBC, Hive, REST, S3)
- Полуручно (Excel/CSV с маппингом колонок и типов)
- API (массовая регистрация объектов из внешней системы)
Процесс импорта:
- Добавление источника данных
- Настройка подключения (адрес, логин, параметры безопасности)
- Выбор областей сканирования (схемы, базы, таблицы)
- Назначение владельцев и тегов
- Просмотр и подтверждение структуры
После импорта:
- Активы становятся доступны для связи с терминами
- Можно задать пользовательские поля (например: SLA, критичность, источник)
Data Lineage: построение и визуализация
Источники данных для lineage:
- BI-объекты (используемые поля и источники)
- ETL-инструменты (Airflow DAG, шаги трансформации)
- Связи между таблицами (внешние ключи, подзапросы)
Визуализация:
- Отображение от источника до потребителя (от staging-таблицы до отчёта)
- Возможность разворачивать слои lineage (1 уровень, 2 уровня и т.д.)
- Встроенный визуальный редактор связей (ручная доработка при необходимости)
Применение:
- Анализ влияния (impact analysis)
- Обоснование изменений и миграций
- Документирование архитектуры данных
Роли и управление доступом
Каталог поддерживает гибкую RBAC-модель:
- Администратор — управление системой, правами, настройками
- Куратор данных — утверждение и редактирование терминов
- Редактор активов — ведение описания источников данных
- Наблюдатель — только чтение
Интеграция с LDAP/AD позволяет применять групповые политики и корпоративную авторизацию.
Интеграции и API
Поддерживаемые типы интеграций:
- JDBC к PostgreSQL, ADB, Oracle, Hive
- S3 и MinIO через REST или AWS API
- BI: FineBI, Tableau, Power BI (через коннекторы)
- ETL: Airflow DAG parser, REST webhook
REST API
-
Методы:
- GET /terms, /assets, /lineage
- POST /assets, /terms
- PUT /relationships
- Аутентификация через токены или LDAP
- Примеры использования: автогенерация метаданных, интеграция с CI/CD
Best Practices внедрения
- Начинайте с пилотной зоны (например, отчёты по продажам)
- Выделите владельцев для каждого домена и активов
- Настройте регулярную синхронизацию источников и отчётов
- Создайте карту связей между терминами и таблицами
- Внедрите политику утверждения и версионирования
- Настройте визуальные lineage-дэшборды
