Учебный курс по Data Governance, Data Quality, MDM, Data Lineage

Data Governance

Data Governance — это целостная стратегия управления корпоративными данными. C помощью методологии Data Governance вы сможете извлечь максимальную бизнес-ценность из ваших данных, а организация станет более гибкой.

Соберите в каталог данных все технические метаданные (например, данные о том, в каких ИТ-системах хранится информация).

Для каждого бизнес-термина зафиксируйте в бизнес-глоссарии единое для всей компании определение. Внедрите правила для обеспечения качества данных и проведите соответствующие организационные изменения. Всё это позволит точнее и быстрее анализировать данные, формировать отчётность и принимать правильные бизнес-решения.

Проектирование operating model Data Governance: организационные структуры, доменная модель, RACI и встраивание DG в бизнес-процессы компании

Внедрение Data Governance с нуля: поэтапная стратегия, типовые ошибки, KPI и измерение зрелости управления данными

Data Governance в DWH: Lakehouse и Data Platform, как DG накладывается на архитектуру хранения и обработки данных

Data Observability: мониторинг качества доступности и доверия к данным

Data Quality и Data Observability: построение контролей в дата-пайплайнах

Data Mart Standards. единые правила витрин данных для BI и self-service

Стандарты витрин данных - проектирование, наименование, метрики и контроль качества

Качество данных (Data Quality)

Качество данных (Data Quality) — обобщенное понятие, отражающее степень их пригодности к решению определенной задачи. В соответствии со стандартом ISO 9000:2015 основными критериями качества являются полнота, достоверность, точность, согласованность, доступность и своевременность.

Оценка качества данных и действия по его повышению являются необходимым этапом любого аналитического проекта, поскольку аналитические алгоритмы или не смогут работать с некачественными данными либо будут давать некорректные результаты.

Мастер-данные (MDM)

Управление мастер-данными (MDM) включает в себя процессы, регулирование, политики, стандарты и инструменты, которые постоянно определяют и управляют мастер-данными организации (могут включать в себя справочные данные).

Data Lineage

Data governance

Безопасность данных

Качество данных

Метаданные и управление каталогом

Управление основными данными

Миграция данных

Проработанный Data Maturity Self Assessment Framework с удобными, понятными экселями для самооценки. Авторы - Британцы - UK Government Data Quality Hub разработали для своего правительства стандарт, на базе консалтингового продукта компании Data Orchard. Хорошая модель. не перегруженная и не поверхностная: 10 топиков, 97 критериев.

Самое ценное - смысловое описание 5 градаций выраженности каждого критерия - в результате гайд задает понятные направления работы.

Обратите внимание:

Критерий - Making data available to those who need it

Level 5: 'Data can be accessed and directly shared appropriately by all users who need it. All internal and external users can access data they need when they need it, without specialist support.'

Критерий - Linking decisions that affect organisational outcomes to data

Level 5: 'Consistently links decisions that affect all critical and important organisational outcomes to data. Takes a customer-focused approach, incorporating the value that the organisation’s data has to its users into decision making.'

Критерий - Collecting data with user needs in mind

Level 5: 'Has a clear understanding of the needs of the user providing data, and of user-centred design and methods in all relevant areas of the organisation. Fully embeds application of this understanding in product design and development from beginning to end.'

Документ будет полезен enterprise проектам с системным и массовым подходом в работе с данными. Которые при этом могут найти сейчас время для стратегического анализа. Фреймворк может неплохо сочетаться с упражнением по разработке / обновлению data стратегии компании.

Качество данных

Цена проблемы с качеством данных, не обнаруженной слишком рано, может взлететь до небес.

Применение проверок качества данных на платформе данных перед их отправкой в производство похоже на тестирование программного обеспечения. Проверки качества данных могут обнаружить ошибки программного обеспечения, которые видны только в масштабе, когда имеется больше данных.

Стоимость устранения проблемы может варьироваться в зависимости от того, кто должен участвовать в ее устранении.
Операции с данными могут перезапустить конвейер данных, это дешево.
Инженерам по обработке данных может потребоваться обновить преобразования данных и модель данных.
Инженерам-программистам может потребоваться обновить бизнес-приложение.
Отдел закупок может быть привлечен к переговорам о дополнительных временных и материальных ресурсах для исправления систем.
Может потребоваться изменение бизнес-процесса.
Наконец, изменение может коснуться тысяч пользователей.

Лучшим примером наиболее серьезных проблем с качеством данных, влияющих на бизнес-процессы и сотрудников, является случай с Uber в 2017 году. Компания Uber столкнулась с проблемой качества данных в Нью-Йорке, когда они неправильно рассчитали свои комиссионные, что стоило водителям процента от их законного заработка.

Эта инфографика даже не показывает стоимость очистки данных и устранения беспорядка, вызванного плохими данными. Это еще одна составляющая затрат.

Каталог данных

Курс по внедрению Data Catalog в компании

Информационная безопасность

Курс Использование BI и DWH при внедрении системы Security Information and Event Management (SIEM)

Курс Использование BI и DWH при внедрении Distributed Deception Platform (DDP)

Безопасность: доступы и соответствие регуляторным требованиям в Data Governance, персональные данные, аудит и контроль использования данных

Что такое полнота данных? Проблемы качества данных сгруппированы по измерениям качества данных. Определение параметра полноты данных гласит, что это степень, в которой все ожидаемые и требуемые элементы данных присутствуют в наборе данных.

Это теория. Теперь давайте определим различные типы проблем с полнотой данных. Проблема полноты может повлиять на значения в одной строке или на уровне всего набора данных.

Данные могут отсутствовать на уровне записи из-за отсутствия проверки или неожиданного усечения данных.

Отсутствие данных на уровне набора данных, скорее всего, является проблемой процесса, при которой данные не собираются, или серьезной проблемой обработки данных, когда некоторые ежедневные пакеты теряются.

Полнота данных — это показатель качества данных, который следует измерять с помощью платформы наблюдения за данными, такой как DQOps.

OReillys Data Quality Fundamentals 2022 (книга .pdf)

Build more trustworthy and reliable data pipelines
Write scripts to make data checks and identify broken pipelines with data observability
Learn how to set and maintain data SLAs, SLIs, and SLOs
Develop and lead data quality initiatives at your company
Learn how to treat data services and systems with the diligence of production software
Automate data lineage graphs across your data ecosystem
Build anomaly detectors for your critical data assets

Шаги по внедрению Documentation-as-Code для метаданных с использованием Git и dbt

Выдержки из гайда Александра Баракова

1️⃣ Создание единого хранилища для метаданных

Используйте YAML-файлы в dbt для описания моделей, колонок, тестов и бизнес-терминов.

Разместите дополнительные YAML/JSON-файлы для метаданных ETL-скриптов, которые находятся вне dbt (например, Spark, Python или SQL).

2️⃣ Версионирование метаданных в Git

Сохраняйте все изменения в Git, включая dbt-модели и метаданные.

Используйте коммиты для фиксации изменений в коде и метаданных одновременно.

3️⃣ Организация Pull Requests и Code Review

Создавайте Pull Requests для всех изменений в dbt-моделях и метаданных.

Проверяйте корректность описаний, схем и тестов на этапе Code Review.

4️⃣ Настройка CI/CD для автоматизации

Добавьте шаги в CI/CD-пайплайн для:

Компиляции и тестирования dbt-моделей.

Генерации документации dbt.

Публикации документации на сервер или в дата-каталог.

Валидации внешних метаданных для ETL-процессов вне dbt.

5️⃣ Интеграция dbt с дата-каталогом

Интегрируйте инструменты DataHub (или другие дата-каталоги) для автоматического забора метаданных -

Настройте синхронизацию через API или плагины для автоматического обновления дата-каталога при изменении dbt-моделей.

6️⃣ Автоматическое извлечение метаданных из комментариев

В dbt-моделях используйте комментарии для описания колонок и бизнес-логики.

Автоматически включайте эти комментарии в документацию при её генерации.

Итог - dbt позволяет встроить метаданные в процесс разработки и автоматизировать документацию. В сочетании с Git и CI/CD вы получаете централизованное хранение, версионирование и автоматическое обновление метаданных для всех процессов, даже если часть ETL-скриптов выполняется вне dbt.

Можно сюда же добавить Great Expectations если тестов dbt не хватает

shift right - ввод описания в дата каталог - выглядит все таки как хуже подход. происходит отрыв документирования от операций написания/изменения кода. а значит неминуемый разрыв и техдолг. плюс это будет занимать больше времени чем документирование в коде.

← Предыдущая статья

Учебный курс по DWH

Следующая статья →

Учебный курс по dbt (Data Build Tool)