Arenadata Catalog: Типы активов и глоссарий
Обзор: зачем классифицировать активы?
В Arenadata Catalog каждый объект — это актив данных. Система предоставляет расширенные механизмы для их категоризации, визуализации и связывания с терминами бизнес-глоссария. Такая структура повышает прозрачность, стандартизацию и повторное использование данных в организации.
Типы активов в Arenadata Catalog
Arenadata Catalog поддерживает гибкую типизацию активов, которая позволяет охватывать:
1. Таблицы и представления (Tables & Views)
- Технические объекты из баз данных: PostgreSQL, ADB, Oracle, Hive, ClickHouse и др.
- Поддерживаются поля: имя, структура, типы колонок, первичные ключи, внешние связи.
- Автоматический импорт через коннекторы.
2. Схемы и базы данных (Schemas & Databases)
- Контейнеры, группирующие таблицы, процедурные объекты, права доступа.
- Иерархическая модель: кластер → база → схема → таблица.
3. Потоки данных (Data Pipelines)
- Логические цепочки из ETL/ELT-операций, построенные в Airflow, Spark, NiFi и др.
- Поддержка визуализации data lineage на основе DAG.
4. BI-объекты (BI Reports & Dashboards)
- Отчёты и панели из FineBI, Tableau, Power BI, Qlik.
- Связываются с источниками данных и бизнес-терминами.
5. Модели данных (Data Models)
- Представления логических моделей — сущности, связи, атрибуты.
- Используются для описания DWH, DM, MDM моделей.
6. Файлы и хранилища (Files & Buckets)
- S3/MinIO объекты, папки Hadoop HDFS и другие хранилища.
- Могут быть подключены как активы с поддержкой форматов: CSV, Parquet, JSON.
7. Ресурсы и роли
- Персонализированные активы: владельцы, кураторы, контактные лица.
- Связаны с группами и правами доступа.
Бизнес-глоссарий: структура и связи
Глоссарий — это сердце бизнес-смысла данных. Он формирует слой понятий, понятных бизнесу и связан с техническими объектами.
Структура глоссария:
- Термин — основная единица: название, описание, синонимы.
- Категория — тематическая группа терминов (например, «Финансы», «Продажи»).
- Группа владения — владельцы/ответственные лица.
- Связи — термин ↔ актив (таблица, колонка, отчёт).
Типы связей терминов и активов:
- описан_термином — колонка или таблица объясняется термином
- использует_термин — отчёт, pipeline, модель ссылаются на понятие
- содержит — категория содержит термины
Поиск и фильтрация
- Полнотекстовый поиск по активам и терминам
- Фильтры по типу, владельцу, источнику, статусу публикации
- Возможность искать активы, связанные с определённым термином
Примеры сценариев использования
- Найти все таблицы, где используется термин “Выручка”
- Определить владельца отчёта, построенного по KPI “Retention Rate”
- Проследить lineage от таблицы staging до BI-дашборда
- Понять, какие термины не связаны ни с одним активом (для ревизии)
Заключение
Типы активов и их связи с бизнес-глоссарием в Arenadata Catalog — это основа управления знаниями о данных. Они делают данные интерпретируемыми, обеспечивают консистентность между технической реализацией и бизнес-смыслом, а также формируют единую цифровую карту данных компании.
