Наиболее распространенные заблуждения относительно Data Lineage
Data Lineage - актуальная тема, главным образом потому, что она может дать ответы на многие бизнес-вопросы и решить проблемы, связанные с разработкой данных.
Но это также широко неправильно понимаемый термин. Давайте разберем некоторые из наиболее распространенных заблуждений, которые я встречал об этой технологии в обсуждениях сообщества, статьях и публикациях в социальных сетях.
Структура данных - это просто диаграмма
Впервые сталкиваясь с линейной диаграммой со всеми этими узлами и ребрами, может быть трудно понять, как она на самом деле может помочь вам выполнять вашу повседневную работу. Но поверьте мне: имея в своем арсенале такой инструмент, специалисты по обработке данных чувствуют, что могут свернуть горы (или, по крайней мере, увидеть, откуда эти горы взялись).
Будет отображено увеличенное изображение
Давайте рассмотрим пример. Видите тот узел справа, где написано Stock Analysis V2? Который представляет собой панель мониторинга Looker. Представьте, что однажды вы просыпаетесь и получаете сообщение от своего генерального директора, в котором он спрашивает, почему показатель на этой панели не работает. Они нужны им для встречи позже в тот же день (не всегда). Итак, вы включаете свой компьютер и начинаете расследование.:
- Сначала вы заходите в Looker и проверяете, были ли какие-либо изменения в этой панели мониторинга. Их не было.
- Итак, вы заходите в Slack и говорите что-то вроде: “Привет, команда, кто-нибудь вносил какие-либо изменения, которые могли бы повлиять на панель анализа запасов?” И затем ждете. Но люди заняты своими делами, поэтому, прождав 2 часа и не получив ответа, вы решаете действовать.
- Действия в этом случае означают ручное отслеживание того, откуда поступают данные для этой панели мониторинга. Это может занять минуты или часы. И все это для того, чтобы выяснить, что это происходит из-за того, что кто-то изменил название столбца где-то выше по потоку.
Этот пример сценария очень прост, и, вероятно, не потребуется много времени, чтобы выяснить, что пошло не так. В более сложных условиях такая задача может стать настоящим кошмаром для инженеров, которые могут задаться вопросом, зачем они изучали так много глубоких технологий, если все, что они делают, - это целый день тушат пожары и чинят сломанное оборудование. Я думаю, вы согласитесь, что это пустая трата времени каждого.
Таким образом, диаграмма - это не просто схема: это очень полезный инструмент для отслеживания первопричины многих технических проблем. Но это и нечто большее.
Вот чего вы можете достичь с помощью lineage:
- Надежность данных. Как рассчитывается это поле? Следует ли мне использовать поле "ЗНАЧЕНИЕ" или "ЦЕНА"? Откуда берутся эти данные? Это распространенные вопросы, которые потребители данных задают инженерам, как правило, при работе с новыми наборами данных. Lineage может помочь trust стать более самостоятельным и снизить нагрузку на инженеров по обработке данных.
- Отслеживание личных данных и соответствие требованиям. Большая часть работы, необходимой для соблюдения правил конфиденциальности, таких как GDPR, CCPA и LGPD, ложится на плечи инженеров. И точно так же, как все другие данные, конфиденциальные данные передаются из источника во множество различных таблиц, информационных панелей, записных книжек, электронных табло, моделей машинного обучения и многое другое. Вручную отслеживать, куда попадают персональные данные, со 100% точностью - очень сложная задача, но lineage может помочь с этим: он может отслеживать конфиденциальные данные, где бы они ни находились.
- Очистка ресурсов данных. Без постоянного внимания могут быстро накапливаться неиспользуемые таблицы и информационные панели: одноразовые таблицы для специального анализа, информационные панели для своевременных кампаний и т.д. Это может повлиять на стоимость и стать источником путаницы для инженеров, особенно новичков. С помощью lineage вы можете понять, что не используется, и проводить периодическую очистку.
- Анализ воздействия. Иногда бывает трудно предсказать, что произойдет, когда вы будете вносить изменения в инфраструктуру. И, как мы видели в примере выше, самый невинный SQL-запрос может повлиять на те части вашей системы, о существовании которых вы иногда и не подозревали. Если у вас есть lineage, вы знаете, откуда берутся данные и куда они направляются. И когда вы это знаете, вы можете провести регрессионное тестирование, прежде чем вносить изменения в свои данные, что позволит избежать критических изменений и серьезных проблем.
Dbt/Airflow lineage достаточно для сложных случаев использования
Такие инструменты, как dbt и Airflow by design, имеют некоторую базовую линейку, которая интересна и очень полезна во многих различных сценариях.
Но они ограничены с точки зрения детализации (на уровне столбцов или таблиц), а линейка данных ограничена рамками этого конкретного инструмента: если вы просматриваете линейку данных ваших моделей dbt, у вас нет представления о том, что происходит с ней, когда она покидает область dbt.
Если вопрос заключается в том, "Нарушу ли я работу каких-либо информационных панелей, если переименую это поле?", мы могли бы сказать, что такого рода линейность не поможет, и межсистемная линейность - это то, что вам нужно.
Внедрение data lineage не стоит временных затрат
Тук-тук. Кто там? Технический долг. Технический долг перед кем?
технический долг - это подразумеваемые затраты на будущие доработки, которые требуются при выборе простого, но ограниченного решения вместо более совершенного подхода, который может занять больше времени.
Когда вы находитесь в напряжении, с бесконечным списком дел, все, что выходит за рамки рабочего процесса, может показаться отвлекающим фактором. Зачем браться за другой проект, если у нас сейчас больше, чем мы можем осилить?
Но это может быть ложной дихотомией: в большинстве случаев технических долгов вы почувствуете последствия прошлых решений только через месяцы или даже годы. Когда мы говорим о данных, в настоящее время существует вероятность возникновения пожара и выполнения ручной работы, которую можно предотвратить, если у вас есть доступ к источникам данных.
Поэтому, как и при выборе любого инструмента, следует проводить анализ затрат и выгод. Если это может навсегда повысить эффективность вашей команды, то чем скорее, тем лучше! Кроме того, современные инструменты в этой области гораздо больше ориентированы на простоту настройки, поэтому вместо нескольких месяцев внедрения вы можете настроить автоматизированную обработку данных на уровне столбцов за несколько недель с минимальными усилиями.
data lineage полезна только в том случае, если в вашей среде царит беспорядок.
Я хотел получить представление о том, когда компании обычно начинают внедрять какие-либо новшества, поэтому я начал копать. Один из ответов, который я получил от великого Хуана Секеды (который также ведет потрясающий подкаст), был следующим:
Если вы сосредоточитесь на создании четко определенных моделей данных и их преобразовании, lineage будет скучной работой. Инвестируйте в свой фонд. По моему опыту, Lineage - это опора, которая поможет вам выбраться из затруднительного положения. Избегайте бандажей / костылей, будьте осторожны и сохраняйте здоровье.
Хуан не одинок в этом мнении, но я с ним не согласен. Нет, он не ошибается: да, вам обязательно нужно инвестировать в свой фонд и иметь четко определенные модели данных и преобразования (чего, к сожалению, нет в большинстве компаний по многим причинам, но об этом поговорим в другой раз). Но lineage - это нечто большее, чем простое решение.
Есть некоторые преимущества, которые он может принести в контролируемой, правильно смоделированной и безопасной среде.:
- Постоянные улучшения. Новым сотрудникам требуется время, чтобы правильно разобраться в кодовой базе, и нередко они допускают ошибки из-за недостатка знаний. Если вы используете lineage для документирования конвейеров, передача знаний зависит не только от людей.
- Доступность и сотрудничество. С lineage (и связанными с ним метаданными) ваша команда сможет получить достаточное представление о вашей экосистеме данных без необходимости постоянно проверять друг друга. Кто не хочет жить в мире с меньшим количеством проверок (инженерам понравится этот безумный трюк!)?
- Оптимизация конвейера. Помимо очистки неиспользуемых ресурсов, data lineage может обеспечить наглядность того, что на самом деле часто используется, позволяя вам понять, как пользователи используют данные, и дает вам возможность оптимизировать конвейеры на основе использования и конкретных вариантов использования.
Мне нужны выделенные инженерные ресурсы для реализации data lineage
Некоторое время назад я разговаривал с двумя людьми, которые с нуля создали собственные решения для передачи данных в своих компаниях. Одна из причин, по которой они это сделали, заключалась в том, что в то время передача данных была дорогостоящей: вы платили за инструмент и нанимали специальную команду инженеров, работающих над ним, чтобы получить надлежащую передачу данных в течение нескольких месяцев (или даже лет).
Для них создание с нуля имело смысл в то время. Но, потратив последние три года на разработку линейки данных и ознакомившись с техническими сложностями, я бы, вероятно, никогда не рекомендовал создавать ее собственными силами сегодня! Для некоторых конкретных случаев использования это выполнимо: если у вас в команде есть четко определенные процессы и сильные специалисты по SQL, это сократит количество проблемных ситуаций, которые вам необходимо решить.
Но в подавляющем большинстве случаев гораздо проще и дешевле инвестировать в автоматизированный инструмент сбора данных, который может быстро и безболезненно принести вам все преимущества.
