Кто должен отвечать за качество данных?
Узкоспециализированные сотрудники или специалисты широкого профиля? Инженеры или аналитики? В данной статье мы постараемся разобраться в том, кому лучше доверить качество данных.
Безусловно, качество данных - это проблема, касающаяся абсолютно всех. Но кто именно должен отвечать за ее решение?
Учитывая вариативность существующих подходов и неоднозначность понимания того, что такое успех, у нас есть богатый материал для изучения.
Некоторые организации пытаются распределить ответственность за качество данных между дата-стюардами, владельцами данных, командами по проектированию данных и комитетами по data-governance, каждые из которых “владеют” определенной частью цепочки создания стоимости данных. Другие возлагают эту ответственность лишь на несколько специалистов, работающих со всей платформой. Некоторые специалисты рассматривают качество данных как техническую проблему, другие же - как проблему бизнеса в целом.
Для того, чтобы лучше понять, как разные специалисты подходят к вопросу качеству данных в рамках общих организационных целей, я встретился с большим количеством руководителей, занятых в данной области. Мои коллеги и я также опросили около 200 профессионалов в области данных, чтобы узнать, кто именно из их внутренних команд отвечает за качество данных.
В данной статье мы сфокусируемся на наиболее распространенных моделях владения данными, включая инженерию данных, инженерию надежности данных, инженерию аналитики, аналитиков качества данных и команды управления данными.
Почему вопрос владения качеством данных имеет большое значение?
Прежде чем мы погрузимся в эту тему, давайте ответим на часто задаваемый вопрос, который звучит следующим образом: "Какая разница, кто отвечает за качество данных, ведь самое главное, чтобы оно было соблюдено?"
Конечно, подход "лишь бы дело было сделано" не имеет ничего общего с профессионализмом.
Реальность такова, что решение проблемы качества данных вряд ли станет той инициативой, которой команды специалистов по данным с удовольствием отдадут приоритет, задвинув создание новых блестящих продуктов или сервисов на второй план. Однако это именно та задача, которая должна стать приоритетной для того, чтобы сохранить заработанное доверие или масштабировать свою команду и платформу.
Кроме того, когда ответственность размыта, мы имеем дело с фрагментарными решениями, несогласованными приоритетами и неэффективной коммуникацией, что в конечном итоге приводит к увеличению времени простоя Ваших продуктов данных.
Я лично видел, как команды самых разных типов успешно внедряли решения по обеспечению высоко качества данных, и могу со всей ответственностью сказать, что у каждой структуры есть как свои уникальные преимущества, которые необходимо взять на вооружение, так и недостатки, которые нужно проработать.
Итак, давайте познакомимся с сильными и слабыми сторонами наиболее популярных структур, отвечающих за качество данных, поближе.
Инженерия данных
Наиболее распространенным решением является поручение обеспечения высокого качества данных команде дата - инженеров. Данный подход применяется в почти 50 % организаций, работающих с современным стеком данных.
Как правило, данное решение базируется на следующем умозаключении " Конвейер данных построили Вы, Вам и работать над его эффективным функционированием".
Преимущество данного подхода заключается в том, что ответственность возлагается на системно мыслящих технических специалистов, которые подготовлены к решению общесистемных проблем, затрагивающих инфраструктуру, код или данные, на все 100 %.
Дата - инженеры работают с системами, которые оказывают большое влияние на качество данных. Если задание Airflow, модель dbt или синхронизация Fivetran дадут сбой, скорее всего, именно они первыми обнаружат возникшую проблему, и благодаря таким функциям, как data lineage, смогут быстро исправить ситуацию.
Однако у такого подхода есть и минусы. В частности, профессиональных дата-инженеров часто не хватает, и они настолько сильно сконцентрированы на системах и конвейерах данных, что не всегда обладают глубокими знаниями о самих данных. Например, они знают, что набор данных берет свое начало в Salesforce и отлично понимают динамику конвейера, по которому данные попадают в хранилище данных, при этом им может быть совершенно неизвестно то, что поле client_currency_exchange_rate в этом наборе данных никогда не может быть отрицательным…
С одной стороны, это достаточно эффективно, когда создателем и «сопровождающим» конвейера является один и тот же специалист, с другой стороны, это может привести к образованию «силосов» знаний, которые могут быть утрачены, когда этот сотрудник уходит из компании, а на его место приходит другой.
Эффективным решением данной проблемы может стать составление документации для обеспечения возможности передачи знаний и опыта другим специалистам.
Одним из примеров организаций, в которых дата-инженеры отвечают за качество данных, является компания BlaBlaCar. Сотрудники данного предприятия достаточно часто сталкивались с проблемами, связанными с пропускной способностью до тех пор, пока не перешли на data mesh и не начали использовать наблюдаемость данных для сокращения времени, необходимого для проведения анализа первопричин.
Аналитический инжиниринг
Команды аналитического инжиниринга вполне могут похвастаться сочетанием технической экспертизы с глубокими знаниями в области данных, что делает их лидерами в сфере качества данных.
Очень часто такие специалисты работают над преобразованием данных или обеспечением доступа к ним в масштабах всей организации, используя dbt или аналогичные технологии, в то время как централизованные команды дата-инженеров занимаются инфраструктурой или управлением корпоративными данными.
Сильной стороной этого подхода является высокая компетентность инженеров - аналитиков, у них есть все возможности для обеспечения надежной работы конвейера и высокого качества данных.
Недостатком может стать ограничение их возможностей по решению инфраструктурных проблем или координации действий с командами и системами, производящими данные. Лишь некоторая часть проблем с качеством данных возникает на уровне преобразования, поэтому для того, чтобы эффективно устранять проблемы в исходных системах и на уровне ввода данных, инженерам-аналитикам потребуются тесные партнерские отношения с командами разработчиков продуктов и платформ.
Команда инженеров-аналитиков компании Upside достаточно эффективно обеспечивает высокое качество корпоративных данных, позиционируя себя как центр передового опыта для различных команд по работе с данными. Привожу слова старшего инженера-аналитика, Джека Виллиса:
"Наши инженеры-аналитики не обязательно должны быть экспертами доменов. Мы «размещаем» их в центре различных специализированных команд по работе с данными, что позволяет им со временем стать центром передового опыта и иметь возможность встраиваться в эти команды для приобретения межфункциональных знаний".
Команда инженеров-аналитиков обнаружила, что их решение по обеспечению качества данных стало гораздо эффективнее, когда они создали пользовательские мониторы конвейера данных и провели обучение сотрудников.
Data-governance
Команды специалистов по data-governance часто берут на себя ответственность за качество данных наряду с более широкими обязанностями по обеспечению безопасности и конфиденциальности данных, а также доступа к ним.
Сила данного подхода заключается в разработке комплексной стратегии, которая учитывает всю цепочку создания стоимости данных, влияя на поведение производителей, инженеров и потребителей данных. Часто мы можем наблюдать такую ситуацию, когда команды data-governance ведают всеми решениями, касающимися наблюдаемости данных, каталогов данных и управления доступом к данным.
Команды специалистов по data-governance осуществляют преобразования с помощью технических стандартов, политик и бизнес-процессов, которые должны быть приняты другими командами специалистов по работе с данными. Безусловно, внедрение новых практик не всегда проходит гладко.
В масштабах компании таким командам крайне важно создать глобальные стандарты качества данных, такие как минимальные требования к документации, мониторингу и SLA, а затем распределить ответственность между различными владельцами данных, будь то домены или команды по работе с данными.
Группа специалистов по data-governance компании Contentsquare полностью контролирует доступ к корпоративным данным и их применение. Качество данных также входит в их компетенцию.
Команда data-governance рассматривает каждый результат своей работы как продукт данных. Каждый продукт данных напрямую связан со сценариями использования, которые, в свою очередь, связаны с базовыми данными. Мониторинг качества данных лежит в основе всех этих базовых данных, и команда data-governance проводит регулярные проверки для того, чтобы убедиться в том, что каждый продукт данных работает именно так, как было задумано изначально. Бывший руководитель отдела data-governance, Октавио Бастос, поделился с нами своим опытом:
"Иногда мы склонны фокусироваться только на создании ценности данных: новые дашборды, новые модели, новые корреляции с исследованиями данных. При этом мы забываем о том, что нужно внедрять хорошую инженерию данных, надежное data-governance и создавать эффективную команду аналитиков данных. Это очень важно для того, чтобы в долгосрочной перспективе быть в состоянии обеспечить стабильную и успешную работу нашей компании".
Надежность данных
Инженерия надежности данных - это специализированное подразделение инженерии данных, которое занимается исключительно вопросом повышения качества и надежности систем данных. Эта структура пока еще не получила широкого распространения, но достаточно быстро набирает обороты (На наш взгляд, данная дисциплина, а также специализация команды по данным является одним из главных трендов в области инженерии данных в 2023 году).
В ситуациях, когда продукты данных ориентированы на внешнюю среду и/или необходимо соблюдать строгие соглашения об уровне обслуживания данных, выделенная команда инженеров по надежности данных может обеспечить необходимое внимание как к реагированию на инциденты, так и к упреждающим мерам по повышению надежности данных.
По данным телеметрии продуктов Monte Carlo, команды, использующие такой подход, отмечают улучшение операционных показателей надежности данных.
В компании Mercari есть команда инженеров по обеспечению надежности данных. Ключом к успешной работе данной команды стало определение четких целей и обязанностей, таких как:
- Внедрение и поддержка наиболее важных конвейеров данных;
- Модернизация инфраструктуры конвейеров данных;
- Расширение практики мониторинга данных;
- Безопасный доступ к данным клиентов
Их пристальное внимание к вопросу качества данных также позволило им принимать более разумные решения касательно того, когда следует вносить точечные исправления, а когда может потребоваться и более масштабная модернизация.
Аналитики качества данных
Некоторые организации, особенно крупные, привлекают аналитиков данных или специализированных аналитиков качества данных.
Преимущество такого решения заключается в том, что эти специалисты обычно достаточно близки к бизнесу и могут точно определить необходимые стандарты качества, а также разработать специальные тесты или мониторинги для обеспечения соблюдения этих стандартов.
Однако для того, чтобы эффективно устранять проблемы с качеством данных уже на самых начальных этапах, таким командам часто требуется тесное сотрудничество с дата-инженерами.
PayJoy - пример организации, в которой аналитики данных и, в частности, руководитель отдела аналитики Триш Фам достаточно успешно справляются со своими обязанностями по обеспечению высокого качества корпоративных данных. В компании насчитывается более 2 000 таблиц, данные используются в первую очередь для повышения прозрачности бизнес-показателей и принятия решений, основанных на данных.
Лишь бы дело было сделано
Кого бы Вы ни назначили ответственным за качество данных, главное, чтобы ответственность и подотчетность были четко определены.
Начните с оценки требуемых уровней надежности данных. Затем определите команду, обладающую наибольшим влиянием на цепочку создания стоимости данных - она должна владеть как оперативными, так и превентивными решениями, и должна влиять как на производителей, так и на потребителей данных.
Чем больше возможностей Вы сможете дать своей команде, и чем активнее Вы будете способствовать сотрудничеству между отделами, тем лучше. Только при соблюдении этих условий Вы можете рассчитывать на успех.
