В Arenadata Catalog появился функционал упрощённого построения Data lineage в Arenadata DB
Компания «ДатаКаталог» (входит в группу компаний Arenadata) обновила коннектор к СУБД Arenadata DB с поддержкой фреймворка PXF (Pluggable Extension Framework) для интеграции метаданных в каталог данных Arenadata Catalog. Он позволяет строить автоматический Data lineage с учётом физического расположения данных в различных системах, интегрированных через PXF в единое хранилище. Новый коннектор включён в дистрибутив Arenadata Catalog начиная с релиза v0.4.2.
Особенность применения
Построение Data lineage — критически важный аспект управления данными, особенно для организаций, выбирающих MPP СУБД Arenadata DB (ADB) на базе Greenplum в качестве ядра для построения корпоративного хранилища данных. Этот процесс позволяет проследить путь данных от источника до конечного потребителя. Благодаря разбору данных PXF в Arenadata Catalog можно получить более полное представление о том, как данные перемещаются и трансформируются между разными системами, начиная от источника и до конечной витрины или дашборда.
В том числе обеспечивается:
- Полная видимость. Можно наглядно видеть, откуда берутся данные и как они используются в разных частях организации. Больше не придётся проводить самостоятельную аналитику для определения и актуализации данных о происхождении. Arenadata Catalog и коннектор к ADB с поддержкой PXF сделают это автоматически.
- Оптимизация процессов. Анализ Data lineage поможет выявить узкие места в системе обработки данных и улучшить производительность. Разбор Data lineage с использованием визуального представления не составит трудностей даже для начинающего дата-инженера.
- Соблюдение нормативов. Построение полного отчёта о Data lineage поможет демонстрировать соблюдение нормативов и стандартов в области данных.
Как это работает
Функционал разбора данных PXF в Arenadata Catalog автоматически отслеживает перемещение данных через PXF и создаёт связи между таблицами источника и назначения. Это позволяет строить детальные графики Data lineage с минимальными усилиями. Необходимо лишь зарегистрировать источники данных ADB в каталоге данных Arenadata Catalog, запустить процесс загрузки происхождения данных и дождаться автоматического построения Data lineage.
Подробнее о фреймворке PXF мы рассказываем на странице Arenadata DB. Чтобы запросить демонстрацию функционала каталога данных Arenadata Catalog с обновлённым коннектором, напишите нам на почту info@biconsult.ru.