Метрики качества данных для DWH (или KPI для KPI)
Эта статья в первую очередь предназначена для специалистов по работе с данными, которые стремятся улучшить качество данных, хранящихся в КХД, а также для профессионалов, чья работа непосредственно связана с поддержанием высокого уровня качества корпоративных данных (в основном, в данном случае речь идет об инженерах-программистах и специалистах по продажам).
Цель статьи – сформировать понятие о показателях качества данных, а также описать процесс определения того, на какие показатели следует ориентироваться Вашей команде. После того, как Вы прочитаете эту статью до конца, Вы сможете лучше ориентироваться в важнейших показателях качества данных, на которые стоит обратить особое внимание.
Почему так важно следить за показателями качества данных?
Если данные попадают в КХД, и никто их не использует, возникает вопрос: а нужны ли они? Какой смысл держать их в хранилище данных? Данные существуют для того, чтобы ими активно пользовались, будь то данные о продажах для выработки аффективных стратегий повышения объема продаж, данные о продуктах, необходимые для обучения моделей машинного обучения или финансовые данные для принятия взвешенных решений с помощью методов бизнес-анализа (BI).
Первое требование к данным, которые можно использовать, - это наличие данных. Второе требование - это грамотность в работе с данными. Третье требование - доверие к данным. Если работники предприятия (в первую очередь, руководители бизнеса) не доверяют имеющимся данным, они просто- напросто не будут ими пользоваться.
Качество данных - это многогранный термин, охватывающий все факторы, влияющие на то, можно ли полагаться на данные при их использовании или нет. Если Вы работаете или работали в индустрии данных, Вы отлично знаете, что качество данных имеет большое значение. Возможно, Вы также считаете, что повышение качества данных - это Сизифов труд или тяжелая, абсолютно работа, которая никогда не приносит удовлетворения тому, кто ее исполняет. Это одна сторона медали. Другая сторона медали, более привлекательная, заключается в том, что с помощью правильных метрик и стратегий этот труд обязательно принесет Вам впечатляющие результаты, и Вы станете более сильным и подкованным в данной области.
Как специалисту, работающему с данными, Вам не нужно объяснять, что самый эффективный способ улучшить что-либо - это измерить это, обеспечить постоянный мониторинг. В нашем случае речь идет о метриках качества данных.
Введение в понятие метрик качества данных
Качество данных - тема такая же старая, как и сами данные. Это означает, что при измерении качества данных мы можем опираться на многолетний опыт профессионалов в данной области. В частности, при написании этой статьи мы ориентировались на целый ряд материалов, относящихся к самым разным областям (управление качеством данных, измерение качества данных, качество используемой информации и т.д.)
Ключевой концепцией во всех этих областях является измерение качества данных, которое представляет собой категории, по которым можно сгруппировать качество данных. Затем эти измерения могут быть воплощены в конкретные и измеримые метрики качества данных, также называемые метриками качества базы данных или метриками хранилища данных, в зависимости от того, где находятся сами данные (Sebastian-Coleman 2013).
Один из основных способов измерения качества данных заключается в определении того, привязано ли это измерение к конкретной задаче или сценарию использования. Если измерение не зависит от сценария использования, оно называется внутренним измерением качества данных (или измерением, не зависящим от бизнес-задачи). В этом случае один из основных вопросов заключается в следующем: если данные никогда не используются, как мы можем измерить их качество? Если рассматривать данные как продукт, то метрики измерения качества данных схожи с метриками измерения качества самого продукта, например, определение количества внутренних ошибок. (Wang and Strong 1996)
Внешнее измерение качества данных (также называемое контекстуальным или зависящим от задачи измерением) зависит от варианта использования. Основной вопрос в данном случае следующий: учитывая то, как именно используются данные, на какие показатели качества данных в первую очередь стоит обратить свое внимание? Если рассматривать данные как продукт, то эти показатели можно сравнить с измерением количества обращений в службу поддержки.
Прежде чем мы погрузимся в специфику измерения качества данных, давайте рассмотрим следующий пример. Представьте, что Вы - ведущий инженер-аналитик в Rainforest, компании, которая продает аквариумы ресторанам премиум - класса. В качестве хранилища данных Вы используете Snowflake, в целях преобразования данных в нужный Вам формат Вы используете dbt. Когда речь заходит о продуктах данных, которые Вы создаете, для составления дашбордов Вы используете Looker, а для отправки данных в Salesforce - инструменты обратного ETL .
Внутренние показатели качества данных
Итак, наконец-то мы можем приступить непосредственно к измерениям качества данных, начиная с внутренних метрик, которые не зависят от сценария использования. В данном случае в первую очередь мы обратим свое внимание на следующие аспекты:
- Точность данных: Точно ли данные описывают сущности реального мира? Существуют ли эти сущности на самом деле, обладают ли они какими-либо атрибутами, случаются ли с ними какие-либо события? Точность - это фрактал, поэтому необходимо подробно изучить каждый уровень абстракции. (Pipino, Lee, and Wang 2002)
Несостыковки нашего примера: Количество аквариумов, проданных в этом месяце, отраженное в хранилище данных, не соответствует фактическому количеству проданных аквариумов, о которых сообщили продавцы. Регион продаж, закрепленный за каждым торговым представителем, не соответствует действительности. Стоимость каждой проданной единицы также не совпадает с данными, отраженными в КХД.
Метрики для измерения качества данных: Степень совпадения Ваших данных с ориентиром (Scannapieco and Catarci 2002) подтверждается другими данными, правилами и пороговыми значениями, констатирующими ошибки в данных (Loshin 2001).
- Полнота данных: Насколько полно имеющиеся у Вас данные описывают сущности реального мира? Здесь есть как минимум два уровня. Во-первых, насколько полной является Ваша модель данных? Во-вторых, насколько полны сами данные в рамках построенной Вами модели данных?
Несостыковки нашего примера: В хранилище данных Rainforest есть таблица аквариумов, но нет таблицы новой линейки кормов для рыб. В таблице аквариумов отсутствуют обновленные цены на аквариумы.
Метрики для измерения качества данных: Степень проверки по полной схеме (Price and Shanks 2005), количество значений NULL или отсутствующих данных (Loshin 2001, English 2009).
- Согласованность данных: Являются ли данные согласованными? Если значения являются агрегатами друг друга, являются ли они согласованными между собой? Ограничение Referential Integrity - один из примеров проверки согласованности данных.
Несостыковки нашего примера: Дата-инжненеры регистрируют модели аквариумов, которые не совпадают с моделями, зарегистрированными отделом продаж. Число ежемесячной прибыли не совпадает с ежемесячными показателями выручки и затрат.
Метрики для измерения качества данных: Количество пройденных проверок для отслеживания уникальности значений (McGilvray 2008) или уникальности сущностей (Byrne 2008), подтверждение того, поддерживается ли ссылочная целостность (Pipino, Lee, and Wang 2002).
- Конфиденциальность и безопасность данных: Используются ли данные в соответствии с установленным уровнем конфиденциальности, защищены ли они от несанкционированного доступа? Это особенно важно сейчас, когда утечки данных случаются достаточно часто. Кроме того, это имеет значение, если Вы работаете с SOC 2 или HIPAA.
Несостыковки нашего примера: Информация о выставленных счетах и местоположении клиентов хранится в хранилище, к которому умеют доступ абсолютно все специалисты, занятые в области Data Science. Кроме того, доступ к хранилищу данных не проверяется на регулярной основе.
Метрики для измерения качества данных: Количество значений конфиденциальных данных, доступных пользователям базы данных, количество пользователей базы данных, которые не должны иметь доступ, количество нераскрытых конфиденциальных данных.
- Свежесть данных: Описывают ли данные актуальные сущности реального мира?
Несостыковки нашего примера: Данные о количестве проданных товаров отстают на неделю из-за проблемы с вводом данных из Salesforce. Список торговых представителей не обновляется в связи с нестабильной работой внутренней системы управления персоналом.
Метрики для измерения качества данных: Разница между последними предоставленными метками и актуальными данными, проверка скорости изменений (Loshin 2006)
Помимо этих основных метрик качества данных, существуют и другие, таки как целостность данных (подвид точности, согласованности и полноты данных), смещение данных (связано с точностью данных, но часто отображает искажение результатов), краткость данных (описывает количество избыточных данных) и т.д.
Почему необходимо использовать внутренние показатели качества данных? Во-первых, потому что это действительно важно - инвестиции в улучшение качества данных являются превентивной мерой, а также сокращают время решения возникающих трудностей. Во-вторых, их проще измерить.
Внутренние показатели качества данных
Внешние показатели качества данных зависят от осведомленности заинтересованных сторон и сценариев использования. Эти сценарии использования можно е проанализировать - они имеют конкретную цель, требования в области доверия, а также определенные ограничение по времени.
- Актуальность данных: Удовлетворяют ли имеющиеся данные требованиям поставленной задачи? Требуется ли заинтересованным сторонам больше данных, для решения актуальных бизнес - задач?
Несостыковки нашего примера: Дашборды не отображают последние модели, приобретенные клиентами. Salesforce не включает данные об использовании продукта торговыми представителями для выставления клиентам правильных счетов.
Метрики для измерения качества данных: Количество запросов на включение дополнительных данных в пользовательские системы, количество специальных запросов конечных пользователей, количество невыполненных работ по разработке систем конечных пользователей, качественная оценка, задающая вопросы "содержат ли Ваши системы все данные, необходимые для выполнения конкретных задач?"
- Надежность данных: Считают ли данные достоверными и надежными? Некоторые факторы, влияющие на надежность данных: достаточно ли информации о происхождении данных, есть ли гарантии их качества, сведена ли к минимуму предвзятость в отношении них. (Scannapieco and Catarci 2002)
Несостыковки нашего примера: Вице-президент по финансам не доверяет данным, представленным в квартальных отчетах о доходах компании. Отдел продаж считает, что данные об использовании продукта в Salesforce не отражают реальной картины из-за регулярно возникающих технических проблем.
Метрики для измерения качества данных: Количество запросов на проверку данных в системах, количество сертифицированных продуктов данных, полнота предоставляемой информации, количество пользователей, использующих корпоративные системы и т.д.
- Своевременность данных: Актуальны ли предоставляемые данные, доступны ли они для решения поставленных руководством задач? Например, данные могут быть актуальными в хранилище, но если заинтересованная сторона не может использовать их вовремя, значит, данные не являются своевременными.
Несостыковки нашего примера: Маркетинговые данные поступают с определенной задержкой, из-за чего данные системы управления маркетинговыми расходами отстают на день. Или система поддержки слишком медленно обрабатывает поступающие запросы.
Метрики для измерения качества данных: Количество времени, необходимое пользовательским системам для получения своевременных, количество времени, необходимое всей инфраструктуре данных для распространения данных (задержка между источником и местом назначения) и т.д.
- Удобство в использовании Можно ли получить доступ к данным и разобраться в них без особых затруднений? Легко ли правильно интерпретировать имеющиеся данные и являются ли они однозначными. (HIQA 2011)
Несостыковки нашего примера: Дашборды Looker, используемые службой поддержки, трудно интерпретировать. Уровень данных о продукте, доступный отделу продаж, слишком детализирован, чтобы специалисты могли своевременно предпринять необходимые меры.
Метрики для измерения качества данных: Количество запросов на представление данных, количество запросов на помощь при интерпретации данных, количество двусмысленных данных (Kimball and Caserta 2004), количество пользователей, использующих корпоративные системы.
- Обоснованность данных: Соответствуют ли данные бизнес-правилам?
Несостыковки нашего примера: Представленные финансовые показатели не соответствуют друг другу. Выручка, признанная бухгалтерией, основывалась на разных показателях, предоставленных в разные моменты времени.
Метрики для измерения качества данных: Степень соответствия бизнес-правилам (English 2009), количество несостыковок данных в системах конечных пользователей (Redman 1997), согласованность данных (Loshin 2001), количество метаданных, описывающих назначение данных (Byrne 2008)
Другие внешние измерения качества данных: достаточность - степень, в которой данных достаточно для выполнения поставленной задачи (связана с релевантностью); согласованность - аналогично внутреннему измерению, но в рамках систем, ориентированных на пользователя; простота манипулирования (связана с измерением удобства использования). Как и в случае с внутренними измерениями, внешние измерения могут сильно пересекаться между собой.
Почему Вы должны использовать внешние показатели качества данных? Во-первых, потому что инвестиции в улучшение качества данных более тесно связано с реальным влиянием данных на бизнес, а также улучшают время выявления несостыковок. Во-вторых, их обычно легче согласовать с другой командой.
Применение метрик качества данных на практике
Теперь, когда у нас есть полный список внутренних и внешних показателей качества данных, давайте разберемся в том, ЧТО измерять с их помощью, КАК измерять и КАК использовать их на ПРАКТИКЕ? Традиционно принято считать, что определение количество KPI очень важно, но не менее важно преобразовать их в цифры, которые можно отслеживать в течение определенного периода времени. Вот несколько основных принципов, которые помогают организациям определить уровень качества используемых ими данных:
- Начните с определения задач, связанных с использованием метрик: Каковы наиболее важные задачи, решение которых тесно связано используемыми Вами данными? Зафиксируйте их на бумаге. Например, в такой компании, как Rainforest, это может быть прогнозирование объема продаж для принятия бизнес-решений. Записывая эти задачи, Вы неизбежно будете связывать показатели качества данных с тем, что в конечном итоге Вы хотите получить, и определитесь с тем, каких специалистов стоит привлечь к этой работе;
- Определите слабые стороны: Какие проблемы с качеством данных в рамках вызвали наибольшие затруднения при решении поставленных задач? Если Вы ответили, что "ни одной", это просто замечательно! Но на практике очень часто приходится сталкиваться со следующее ситуацией: при создании прогноза объема продаж данные по клиентам обновляются не вовремя, конечные пользователи испытывают трудности с интерпретацией дашбордов и т.д.;
- Определитесь с используемыми метриками: Как причины актуальных трудностей связаны с измерениями качества данных? Чуть выше мы говорили об актуальности данных. Второй важной метрикой было удобство использования, определяемое ответом на вопрос "По шкале от 1 до 10 оцените, пожалуйста, насколько удобными для использования были данные в Ваших дашбордах Looker". Третьей метрикой может быть надежность данных;
- Сделайте показатели понятными и действенными: И наконец, как сделать эти показатели полезными и применимыми на практике? Команда по обработке данных нашей компании может включить эти показатели в необработанном виде в свои OKR. Эти же показатели можно хранить в хранилище данных и визуализировать с помощью дашбордов. Или можно показатели агрегировать вместе. Например, метрика актуальности данных может измеряться на ежедневной основе. Метрика удобства использования данных может быть средним показателем удобства использования для всех заинтересованных лиц. Метрикой надежности данных может быть количество нарушений правил по отношению к целевому показателю. Если правильно использовать каждую из этих метрик, то итоговый DQI можно рассчитать как средневзвешенное значение этих трех показателей.
Безусловно, Вы можете сказать, что существует много способов превратить эти показатели в цифры. И Вы будете правы. Не существует единственно верного способа измерения качества данных. Но помните, что лучшее – враг хорошего. Подумайте о приведенном выше списке, как о жизненно важных показателях при посещении кабинета врача. Сами по себе цифры полезны, но еще более важно анализировать их изменение с течением времени.
Когда Вы определитесь с наиболее важными для Вас показателями качества данных, не забудьте о законе Гудхарта, который гласит: «Когда показатель становится целью, он перестаёт быть хорошим показателем»". Даже если текущие показатели стремятся к идеалу, подумайте, есть ли другие важные показатели качества данных, о которых могли Вы забыть.
Стратегии улучшения метрик качества данных
В самом начале мы сказали, что в рамках данной статьи не будем говорить о стратегиях повышения качества данных. Но мы хотели бы подчеркнуть следующее. Л.Н. Толстой говорил, что "счастливые семьи все похожи друг на друга; каждая несчастливая семья несчастлива по-своему". То же самое верно и для данных: высококачественные данные все одинаковы; низкокачественные данные низкокачественны по-своему. Здесь нет универсального подхода, и только Вам решать, на какие проблемы в области качества данных стоит в первую очередь обратить свое внимание.
В контексте всего вышесказанного попробуйте поработать с системой People, Process, Technology (PPT):
- Люди (People): Как Ваши работники могут помочь Вам определиться с ключевыми метриками качества данных? Например, Вы можете нанять инженера по качеству данных, управляющего данными или руководителя службы управления данными, который будет непосредственно отвечать за внедрение и улучшение показателей качества данных;
- Процесс (Process): как Ваша организация может внедрить бизнес-процессы для улучшения качества данных? Команда по работе с данными может провести единовременную оценку качества данных. Или, для постоянного улучшения показателей, команда может внедрить ежеквартальные OKR по метрикам качества данных, карточки показателей; команды маркетинга и продаж могут внедрить инициативы по обучению сотрудников компании, чтобы повлиять на ввод данных, который в свою очередь влияет на точность и достоверность данных;
- Технология (Technology): как технологии могут улучшить показатели качества данных? Например, такие инструменты, как Segment Personas и Iteratively, могут обеспечить согласованность и надежность данных аналитики. Решения ELT, такие как Fivetran и Airbyte, и решения обратного ETL, такие как Hightouch и Census, помогут обеспечить актуальность и своевременность данных. Наконец, существуют инструменты качества данных, предназначенные для измерения и управления качеством данных, а также инструменты очистки данных;
В любом случае помните, что изучая и выбирая приоритетные метрики качества данных, Вы совершенно точно движетесь в правильном направлении. Трудно улучшить то, что не измеряется.
Резюме
Качество данных всегда будет дилеммой, однако определение показателей качества данных поможет Вам понять, на каком этапе Вы находитесь, и улучшить свои показатели, влияющие в конечном итоге на финансовые результаты деятельности Вашей организации.
Внутренние метрики качества данных не зависят от задач, в то время как внешние метрики зависят от конкретного сценария использования. Внутренние метрики определить легче, внешние метрики легче согласовать с другими заинтересованными лицами.
Ключевые внутренние метрики качества данных включают в себя точность, полноту, актуальность, согласованность и конфиденциальность + безопасность данных. К основным внешним показателям качества данных относятся своевременность, актуальность, надежность, удобство использования и их достоверность.
Только Вы можете определить, какие метрики нужны Вам в первую очередь, определив ключевые задачи Вашей организации, а также проблемы, возникающие в процессе их решения.
Люди, процессы и технологии (PPT) - три вектора, по которым Вы можете начать улучшать качество Ваших корпоративных данных.
