Data Mesh на практике: ключевые рекомендации, основанные на реальном опыте

Цель данной статьи заключается в том, чтобы пролить свет на Data Mesh и помочь читателю разобраться во всех ее тонкостях.

Введение

Data Mesh - это совершенно новый подход к осмыслению данных, основанный на распределенной архитектуре управления данными. Идея состоит в том, чтобы сделать данные доступнее для бизнес-пользователей за счет прямой связи с владельцами данных, их источниками и потребителями. В этой статье мы рассмотрим основные выводы и рекомендации компании Thoughtworks, основанные на результатах сотрудничества с компанией Roche, одной из крупнейших фармацевтических групп мира. Статья, состоящая из четырех частей, содержит практические рекомендации по достижению максимальной пользы от внедрения принципов Data Mesh.

Стартуем правильно (часть I)

Поскольку современные компании признают трансформационный потенциал Data Mesh, компания Thoughtworks решила поделиться ценным опытом успешной реализации принципов Data Mesh, в частности, в рамках сотрудничества с компанией Roche в 2022 году. Подход Data Mesh выходит за рамки простого архитектурного сдвига; он представляет собой совершенно новую парадигму, требующую комплексной трансформации процессов, операционных моделей и технологий. Серия статей, посвященных Data Mesh, описывает практические аспекты внедрения Data Mesh в масштабах компании, выделяя такие ключевые принципы, как "владение доменом " и "данные как продукт". Основное внимание уделяется адаптации операционных моделей, тонкостям продуктового мышления, эволюции технологий, а также междоменному обслуживанию и развитию. Рассматривая такие проблемы, как масштабирование в сравнении с непрерывным обучением, определение и расширение возможностей доменов, а также предотвращение преждевременного масштабирования, данная серия статей фактически предоставляет организациям дорожную карту для преодоления сложностей внедрения Data Mesh.

Основные рекомендации

1.1. Баланс между обучением и масштабированием

Безусловно, быстрое масштабирование очень важно, но организации должны избегать ловушки слишком быстрого масштабирования. Это может отбить у команд желание сотрудничать в рамках всей организации, что помешает эффективному обучению сотрудников.

Рекомендация: развивайте корпоративную культуру, в которой ценится непрерывное обучение, и внедряйте методы, позволяющие сбалансировать обучение и масштабирование. Дайте возможность децентрализованным командам работать параллельно и обмениваться знаниями и опытом.

1.2. Определение и расширение возможностей доменов

Определение четких границ доменов имеет большое значение, но реорганизация бизнес-подразделений исключительно для работы с данными может оказаться слишком радикальным решением. Автономность доменов подразумевает постановку точных целей, определение показателей и обеспечение необходимой поддержки.

Рекомендация: используйте существующие организационные структуры, позволяющие доменным командам принимать решения, связанные с данными, которые учитывают как требования бизнеса, так и основы стратегии в области данных. Для обеспечения четкого следования поставленным целям используйте такие модели, как EDGE.

1.3. Эффективные проекты

Некоторые организации с головой погружаются в процесс внедрения Data Mesh, не имея при этом продуманной дорожной карты, в результате чего проекты оказываются нежизнеспособными уже на начальной стадии реализации.

Рекомендация: Применяйте структурированный подход к внедрению Data Mesh, такой как метод Двойного бриллианта, и прежде чем переходить к стадии "Как внедрять Data Mesh", ответьте на такие вопросы, как "Почему" и "Что".

1.4. Постоянно развивающиеся лучшие практики в области Data Mesh

Лучшие практики Data Mesh постоянно развиваются, и универсального подхода просто не существует. При внедрении Data Mesh очень важно учитывать конъюнктуру рынка и адаптироваться к постоянно меняющимся условиям.

Рекомендация: Сохраняйте гибкость и внимательно следите за изменяющейся конъюнктурой рынка.

1.5. Изменения в организационной и операционной моделях

Внедрение Data Mesh требует изменений в организации существующих процессов и операционных моделях, что создает трудности в плане согласования, координации и управления изменениями в рамках компании.

Рекомендация: Начните с уже существующих организационных границ и управляйте изменениями стратегически, согласовывая их с общими бизнес-целями. Четко определите желаемые результаты и обеспечьте плавный переход от текущего к целевому состоянию.

1.6. Три типа изменений: операционные, продуктовые и технологические

Успешное внедрение Data Mesh требует значительных изменений в операционной структуре, продуктах и технологиях. Целостная трансформация сопряжена с трудностями, связанными с координацией преобразований и их беспрепятственного внедрения.

Рекомендация: Для достижения прогресса занимайтесь всеми направлениями одновременно. Используйте опыт Roche, который обязательно укажет Вам нужное направление при принятии стратегически важных решений.

Основная рекомендация: в начале своего пути к Data Mesh ориентируйтесь на существующие границы доменов

Определение доменов - ключевой этап на пути к Data Mesh, однако переопределение границ доменов может создать множество дополнительных проблем и не всегда является целесообразным. Мы рекомендуем начать с текущих организационных границ, и только в случае возникновения серьезных препятствий на пути к созданию новых доменов переопределять эти границы.

Операционная модель (часть II)

Во второй части мы поговорим об операционной модели, необходимой для успешного внедрения Data Mesh. Сразу скажем, что лучше всего ориентироваться на операционную модель EDGE , в которой особое внимание уделяется инновациям и гибкому управлению. Кроме того, в целях формирования «идеальной» операционной модели важно провести анализ дерева ценностей, Lean Value Tree или LVT, который помогает расставить приоритеты и определиться с целями. Затем очень важно подготовить организацию к децентрализации и четко определить и распределить обязанности среди сотрудников. В результате мы получаем организационную модель, учитывающую портфельные, доменные и технологические аспекты.

Основные рекомендации

2.1. Динамика масштабирования и междоменное обучение

Слишком быстрое масштабирование и чрезмерно активное междоменное обучение могут привести к образованию так называемых "силосов знаний", что может помешать эффективному сотрудничеству в процессе внедрения Data Mesh.

Рекомендация: Внедряйте систему обучения на основе дизайн-мышления. Уделяйте особое внимание межфункциональному сотрудничеству. Так команды смогут лучше согласовывать свои стратегии, обмениваться знаниями и опытом, работать вместе, способствуя тем самым плавному внедрению Data Mesh.

2.2. Определение ролей и обязанностей

Отсутствие ясности в отношении ролей и обязанностей в доменах может привести к дублированию и нежелательным конфликтам, а также снизить производительность в целом.

Рекомендация: Очень важно четко распределить роли между сотрудниками и убедиться в том, что каждый из них правильно понимает свои обязанности. Определенность минимизирует путаницу и оптимизирует поток работы между доменами.

2.3. Плавная реализация стратегического плана

Инициирование проектов Data Mesh без аккуратного продвижения стратегического плана мешает эффективному достижению общих бизнес-целей.

Рекомендация: разработайте поэтапный план внедрения разработанной стратегии внедрения проектов, что обеспечить их соответствие более широким стратегическим целям компании.

2.4. Внедрение модели EDGE

При внедрении Data Mesh часто приходится с проблемой четкого определения ценностей, разрозненными стратегиями и неясными приоритетами.

Рекомендация: Для определения ценностей, а также приоритетов используйте модель EDGE, а также метод анализа дерева ценностей (Lean Value Tree, LVT).

2.5. Готовность к децентрализации

Адаптация организационных структур к децентрализации подразумевает значительные изменения в корпоративной культуре, производственных процессах и методах руководства.

Рекомендация: В целях реализации инициатив по децентрализации, основанных на данных, реализуйте целостную программу нововведений, включающую в себя модернизацию методов управления.

2.6. Уточнение обязанностей

Размытое разделение обязанностей внутри доменных команд может привести к дублированию задач и конфликтам, что тормозит процесс внедрения Data Mesh.

Рекомендация: На этапе запуска проекта организуйте для команд всестороннее обучение, доходчиво донесите до них их новые роли и обязанности. Уделите внимание формированию культуры наставничества и всячески поощряйте обмен опытом, знаниями и навыками, а также сотрудничество между представителями разных доменов.

2.7. Активное поощрение принятия новых ролей

Внедрение Data Mesh может вызвать сопротивление сотрудников ввиду непривычных и пока еще незнакомых им новых ролей.

Рекомендация: сформируйте систему поощрений и вознаграждений за адаптацию к новым ролям и обязательно всячески поддерживайте своих сотрудников. Эти меры способствуют повышению мотивации и степени вовлеченности в процесс реализации новых проектов.

2.8. Структуры эффективного управления

Разработка структур эффективного управления крайне важна для обеспечения высокого качества данных, их безопасности и соответствия нормативным требованиям.

Рекомендация: Создайте хорошо продуманную структуру управления доменами и технологиями в соответствии с моделью EDGE. Это позволит Вам принимать хорошо взвешенные управленческие решения, способствующие достижению поставленным целям.

3 принципа успешной модернизации организационной структуры

Определитесь с тем, чего Вы хотите достичь в конечном итоге, и проработайте дерево ценностей, что позволит Вам наметить конкретные шаги по достижению намеченных целей.
Дайте командам возможность привыкнуть к новым ролям и обязанностям. Организуйте каналы получения обратной связи в соответствии с моделью EDGE.
Задумайтесь о плавной модернизации организационной модели на ранних этапах реализации проекта.

Продуктовое мышление и непрерывное развитие (часть III)

Третья часть статьи посвящена стратегиям извлечения ценности для бизнеса. Никаких абстрактных концепций, только советы по созданию продуктов данных, которые можно и нужно применять на практике. В этой части описывается важный аспект, заслуживающей отдельного внимания, - это Lean Value Tree (LVT), которое помогает акционерам определиться с приоритетами в процессе внедрения Data Mesh. Продуманный подход позволит Вам избежать нежелательного дублирования и гарантирует то, что продукты данных отвечать всем требованиям конечных потребителей. В третьей части мы также поговорим о важности определения SLO - Service-Level Objectives.

3.1. Ясное понимание сценариев использования

Неясное понимание сценариев использования может привести к двусмысленности, что затрудняет принятие командами решений о приоритетности продуктов данных, а это, в свою очередь, усложняет процесс принятия стратегических решений в организации.

Рекомендация: Разработайте структурированный подход для реализации каждого случая использования. Привлекайте к данному процессу как можно больше топ-менеджеров для того, чтобы получить объективное видение ситуации.

3.2. Продуктовое мышление

Недостаточное применение принципов продуктового мышления может препятствовать разработке продуктов данных и потенциально привести к решениям, которые не в полной мере отвечают требованиям пользователей.

Рекомендация: Постепенно внедряйте лучшие практики продуктового мышления, уделяя особое внимание пониманию потребностей клиентов, постоянному совершенствованию и междоменному сотрудничеству. Обязательно учитывайте разные точки зрения. Организуйте обучение лиц, принимающих конечные решения в домене.

3.3. Неясное видение продукта данных

Отсутствие ясности в определении продуктов данных может привести к неэффективности и дублированию работы в процессе разработки продуктов данных.

Рекомендация: Внедрите шаблон продукта данных, который поможет командам сформулировать цель и желаемый функционал каждого продукта данных. Для определения специфики каждого продукта данных ставьте четкие вопросы и пытайтесь найти на них ответы.

3.4. Упущение из виду дублирующихся продуктов данных

Неспособность распознать дублирование данных в различных областях может привести к напрасной трате времени и ресурсов.

Рекомендация: Разработайте карту взаимодействия по разработке продуктов данных, визуализирующую взаимосвязь между ними. В целях создания целостного ландшафта продуктов данных регулярно обновляйте эти карты, следите за тем, чтобы в них не было дублирования.

3.5. Неопределенные цели уровня обслуживания (SLO)

Без четко определенных SLO команды разработчиков продуктов данных не смогут обеспечить согласованную работу, что грозит появлением ненадежных продуктов данных.

Рекомендация: Определяйте SLO на основе индикаторов уровня обслуживания (SLI). Для эффективного выявления ожиданий заинтересованных сторон и определения соответствующих SLO используйте такие методики, как Product Usage Pattern.

3.6. Сопоставление разрабатываемых продуктов данных с целями бизнеса

Если не сопоставлять продукты данных с конкретными бизнес-целями, определиться с конкретными задачами разработки продуктов данных будет очень сложно. Несоответствие продуктов данным поставленным бизнес-целям может привести к неправильному распределению ресурсов и потере драгоценного времени.

Рекомендация: Для сопоставления продуктов данных с бизнес-целями используйте методику Lean Value Tree (LVT). Она делает управление изменениями более эффективным и позволяет наилучшим образом сопоставить продукты данных с желаемыми результатами.

3.7. Неэффективное управление данными

Непродуманная организация управления данных ведет к и несогласованности действий. Отсутствие ясности процедур способствует неправомерному использованию данных и ставит под угрозу безопасность данных.

Рекомендация: Четко определите права собственности и управления для каждого продукта данных. Разработайте соглашения о совместном использовании данных, политики доступа и меры по обеспечению соответствия продуктов данным корпоративным требованиям. Используйте методику определения MVP продукта данных.

Технология и архитектура (часть IV)

Четвертая часть посвящена технологиям и архитектурным решениям, которые необходимы для успешного внедрения Data Mesh. Понимание процессов, основанное на результатах совместной работы с компанией Roche, позволяет дать читатель практические рекомендации. Особое внимание хотелось бы уделить логической архитектуре Data Mesh - наглядному представлению, описывающему возможные сценарии использования, взаимодействие пользователей, а также особенности ОС. Техническим специалистам, участвующим в процессе создания Data Mesh, полезно использовать такие методы, как рассмотрение продуктов данных как архитектурных квантов. Каждый продукт данных имеет свой жизненный цикл, что способствует повышению надежности данных в рамках Data Mesh. Особое внимание уделяется оптимизации работы разработчиков, согласованным метамоделям и автоматизированному управлению для обеспечения бесперебойного создания продуктов данных и соответствия организационным стандартам. Эти технические идеи формируют основу для масштабируемых и совместимых экосистем данных в постоянно развивающемся ландшафте Data Mesh.

4.1. Текущие возможности платформы и нововведения

Сложность, состоящая в том, чтобы подружить между собой текущие возможности платформы и новые технологические решения, усложняет процесс внедрения Data Mesh.

Рекомендация: Прежде чем внедрять новые технологические решения, проведите тщательный анализ текущих возможностей платформы. Разработайте четкий план по устранению пробелов и плавной интеграции новых технологий.

4.2. Гибкость продуктов данных

Подход, при котором продукты данных рассматриваются как жестко определенные единицы, не совсем верный, особенно когда речь идет об удовлетворении разнообразных и постоянно меняющихся потребностях пользователей данных.

Рекомендация: Поддерживайте гибкость продуктов данных, создавая новые продукты данных в зависимости от требований и потребностей пользователей.

4.3. Проектирование многогранной платформы данных

Чрезмерное внимание к инфраструктурному аспекту платформы данных сделает внедрение Data Mesh однобоким. При интеграции Data Mesh также следует обратить внимание на организационные и культурные аспекты.

Рекомендация: Обеспечьте тщательную оценку текущего положения всех уровней платформы данных, включая опыт разработчиков продуктов данных и уровень контроля над Data Mesh. Обеспечьте целостный подход к разработке новой платформы данных.

4.4. Оптимизация работы разработчиков

Трудности в создании и обслуживании продуктов данных могут препятствовать использованию всех преимуществ Data Mesh и негативно влиять на гибкость и производительность в целом.

Рекомендация: Инвестировать в разработку интуитивно понятного интерфейса для разработчиков, включая язык спецификаций и реестр возможностей. Предоставьте доменам возможность создавать свои собственные продукты с минимальными усилиями, способствуя тем самым созданию согласованных и совместимых продуктов данных.

4.5. Последовательная метамодель

Несоответствия в определении характеристик продуктов данных в разных областях могут создать значительные проблемы с совместимостью, приводя к несогласованности данных и непродуктивному сотрудничеству.

Рекомендация: Создать согласованную метамодель для продуктов данных, определив ключевые характеристики продуктов данных.

4.6. Автоматизированное управление и политики контроля доступа

Отсутствие корпоративных политик в области данных делает невозможным последовательное управление данными и контроль над доступом к ним.

Рекомендация: Экспериментировать с существующими инструментами и искать инновационные решения. Рассмотрите возможность расширения Open Policy Agent (OPA) для удовлетворения специфических требований политик, касающихся Data Mesh. Следите за появлением новых инструментов, которые соответствуют основным принципам Data Mesh.

4.7. Фитнес-функции

Обеспечение стабильной совместимости множества разрозненных данных может оказаться достаточно сложной задачей, требующей тщательной подготовки.

Рекомендация: Провести автоматизированное тестирование для соблюдения ключевых характеристик продуктов данных. Использовать общеорганизационные дашборды для того, чтобы все сотрудники располагали одной и той же информацией.

4.8. Обмен данными

Обеспечение эффективного обмена данными в рамках федеративной архитектуры - сложная задача, требующая значительных усилий в плане гармонизации различных источников данных и обеспечения согласованных механизмов доступа к ним.

Рекомендация: Применять рекомендации и шаблоны, такие как использование виртуальной БД в качестве дополнительного порта вывода для упрощения отчетности, использование собственных механизмов для расширенных сценариев использования и соблюдение мер безопасности при копировании данных.

4.9. Разработка собственного пути

Инструменты, необходимые для поддержки архитектуры объединенных данных, все еще находятся на ранних стадиях развития, что осложняет возможность адаптации к меняющимся требованиям Data Mesh.

Рекомендация: Определить свой собственный путь преобразований и внедрения инноваций. Внимательно следить за появлением новых инструментов и фреймворков, которые соответствуют основным принципам Data Mesh.

Ключевой принцип: Продукты данных как атомарные единицы

Продукты данных - это наименьшая неделимая частица архитектуры Data Mesh. Они должны быть спроектированы как наименьшие функционально целостные единицы сетки, каждая из которых имеет свой собственный жизненный цикл. Это основополагающий принцип архитектуры Data Mesh.

Заключение

Data Mesh - это не просто технологический сдвиг, это многогранная модификация организации работы и управления данными. Основываясь на результатах сотрудничества Thoughtworks и Roche, можно сделать вывод о том, что ключевыми принципами успешного внедрения Data Mesh являются:

согласование усилий по плавному масштабированию и непрерывному обучению;
тщательное определение доменов данных;
обеспечение адаптивности нововведений;
формирование продуктового мышления;
согласование инициатив в области данных с ожидаемыми бизнес-результатами.

Технологически Data Mesh опирается на децентрализованные домены данных, каждый из которых функционирует как независимая структура. Философия Data Mesh выходит за рамки традиционных парадигм управления данными, она требует пересмотра существующих подходов. Внедрение Data Mesh - это не только принятие новой методологии, но и создание корпоративной культуры, где данные рассматриваются как стратегически важный актив.

Рекомендации, приведенные выше, должны помочь читателю разобраться во всех сложностях Data Mesh и направить его в нужном направлении. Мы надеемся, что данный структурированный подход позволит Вам успешно внедрить Data Mesh.

Полезные ссылки

← Предыдущая статья

3 метода моделирования данных: Кимбалл, Инман и Data Vault

Следующая статья →

Предыстория Data Mesh