Моя платформа управления данными
Стратегия
Четко определенная стратегия является основой любой успешной инициативы по управлению данными. Она определяет цель, направление и приоритеты усилий по управлению, обеспечивая соответствие бизнес-задачам. Без четкой стратегии инициативы по управлению данными будут носить фрагментарный и реактивный характер.
- Миссия, видение и общая стратегия. Этот подкомпонент определяет, почему необходимо управление данными, для чего оно предназначено и как оно будет реализовываться. Миссия определяет основную цель управления, такую как обеспечение целостности данных, соответствие требованиям и создание ценности. Концепция представляет собой долгосрочную перспективу, описывающую желаемое состояние управления данными в организации. В общей стратегии излагаются подход и руководящие принципы для внедрения управления в бизнес-операции.
- Цели и задачи. Для достижения значимых результатов управление данными должно быть увязано с измеримыми целями. Это включает в себя постановку конкретных, поддающихся количественной оценке целей, таких как повышение показателей качества данных на определенный процент, снижение рисков соблюдения требований или более широкое внедрение метаданных. Четкие цели обеспечивают подотчетность и позволяют организациям отслеживать прогресс, демонстрировать ценность и постоянно совершенствовать свои управленческие усилия.
Области возможностей
Для эффективного внедрения управления данными организации должны разработать набор основных областей возможностей, которые касаются политик, процессов и структур, необходимых для управления данными. Эти области возможностей служат основой управления, обеспечивая учет всех важнейших аспектов — от качества данных до безопасности. Четко определенный набор возможностей гарантирует, что усилия по управлению являются взаимоисключающими и исчерпывающими в совокупности (MECE), что позволяет избежать пробелов или избыточности.
- Политики, стандарты и соответствие требованиям. Управление начинается с четко определенных политик и стандартов, которые устанавливают правила, руководящие принципы и требования к соответствию для управления данными в рамках всей организации. Политики определяют, что должно быть сделано, устанавливая ожидания в отношении таких тем, как доступ к данным, качество и защита, в то время как стандарты определяют, как эти ожидания реализуются с помощью конкретных процедур или пороговых значений. Крайне важно, чтобы управление также включало в себя способность подтверждать соблюдение этих политик и стандартов с помощью механизмов мониторинга, отчетности и аудита, обеспечивая подотчетность и согласование нормативных требований.
- Руководство данными. Может показаться немного странным, что “управление данными” является возможностью в рамках системы управления данными, но это служит уникальной и основополагающей цели. Именно эта возможность определяет и реализует роли, обязанности и подотчетность во всей модели управления. Это обеспечивает организационную основу, которая поддерживает все остальные возможности, разъясняя, кто несет ответственность за те или иные решения и действия, как распределяются права собственности и как координируются действия по управлению в рамках бизнеса и ИТ. Это включает в себя определение владельцев данных, стюардов, доменных руководителей, путей эскалации и форумов по управлению.
- Метаданные и каталогизация. Метаданные — данные о данных - необходимы для понимания, организации и управления информационными ресурсами. Эта возможность объединяет управление метаданными с каталогизацией данных и инструментами обнаружения, обеспечивая централизованную инвентаризацию ресурсов данных, включая бизнес-определения, технические метаданные и происхождение данных. Управление метаданными также включает в себя определение минимальных стандартов метаданных, определяющих, какие метаданные необходимо собирать и поддерживать и где. Каталог данных строится на этой основе, обеспечивая возможность поиска и доступности метаданных, позволяя пользователям находить, понимать и доверять данным, с которыми они работают. Это обеспечивает прозрачность и демократизацию данных, позволяя большему числу пользователей в организации получать доступ к нужным им данным.
- Архитектура данных. Эта статья посвящена структуре управления данными, а не корпоративной архитектуре или архитектуре решений. Таким образом, роль архитектуры данных здесь конкретно ограничена теми аспектами, которые пересекаются с управлением данными. Это включает в себя обеспечение того, чтобы с помощью программ изменений, процессов разработки решений и механизмов архитектурного управления на ранних этапах жизненного цикла новых систем, потоков данных и процессов были внедрены правильные элементы управления данными и соображения, касающиеся управления данными. Такое согласование имеет решающее значение, поскольку окупаемость инвестиций в управление данными значительно выше, если их внедрять на этапе проектирования, а не модернизировать средства управления после создания и развертывания систем. Таким образом, архитектура данных становится средством устойчивого управления данными на предприятии, согласованного с политикой.
- Управление качеством данных. Высококачественные данные являются основой надежной аналитики, искусственного интеллекта, нормативной отчетности и повседневных бизнес-операций. Эта возможность включает в себя целый ряд действий, которые обеспечивают соответствие данных поставленным целям, и, как правило, их можно разделить на несколько отдельных областей. Во—первых, все начинается с понимания данных и формулирования четких бизнес-требований - какие данные необходимы, на каком уровне точности, своевременности или полноты и для какой цели. Как только эти требования будут установлены, организации смогут обеспечить внедрение в операционные процессы надлежащих средств контроля качества данных для предотвращения проблем у источника (например, правил проверки в формах или автоматизированных проверок в конвейерах передачи данных). Отдельная, но тесно связанная с этим функция направлена на измерение качества самих данных с использованием определенных показателей и методов профилирования для оценки соответствия данных бизнес-требованиям. Кроме того, функция обеспечения качества данных может включать управление проблемами: структурированный процесс выявления, документирования, отслеживания и устранения проблем с данными. Это позволяет организациям не только реагировать на проблемы с данными, но и анализировать их первопричины и внедрять долговременные улучшения, гарантируя, что данные со временем останутся надежными.
- Основные и справочные данные. Управление основными и справочными данными управляет основными объектами бизнес-данных (например, клиентами, продуктами, поставщиками) для устранения дублирования, повышения согласованности и обеспечения единого источника достоверности. Во многих организациях эта возможность поддерживается платформой управления основными данными (MDM). Платформа MDM обеспечивает централизованные рабочие процессы, создание "золотой записи", сопоставление данных и синхронизацию между системами. Она играет важнейшую роль в обеспечении согласованности, целостности и точности данных, особенно для отчетности в масштабах предприятия и обработки транзакций.
- Безопасность данных. Безопасность данных обеспечивает защиту конфиденциальных, критичных и регламентированных данных от несанкционированного доступа, неправильного использования или раскрытия в соответствии с политиками управления и схемами классификации данных. Это включает в себя внедрение и мониторинг контроля доступа на основе ролей, шифрование, токенизацию, маскировку, безопасные протоколы передачи данных и разделение обязанностей. Эффективное управление безопасностью данных также гарантирует, что меры безопасности соответствуют утвержденным политикам использования данных и регулярно тестируются и подтверждаются с помощью проверок соответствия и оценки рисков.
- Этика и конфиденциальность. Технически, эта область может быть истолкована как подпадающая под действие политик, стандартов и соответствия требованиям, поскольку многие этические требования и требования к конфиденциальности в конечном счете регулируются официальной политикой. Однако часто об этом стоит рассказать отдельно из—за его растущей актуальности и наглядности, особенно с развитием искусственного интеллекта, алгоритмического принятия решений и усилением контроля со стороны регулирующих органов. Эта возможность направлена на обеспечение ответственного, справедливого и прозрачного использования данных путем определения этических принципов, практики обеспечения конфиденциальности, процессов управления согласием и стратегий защиты персональных данных. Учитывая, насколько важными стали вопросы доверия и подотчетности в организациях, управляемых данными, рассмотрение этики и конфиденциальности как отдельных возможностей помогает обеспечить ИТ-отделу видимость, ответственность и необходимые ресурсы.
- Информационная грамотность и культура. Управление не сводится — или не должно сводиться — только к контролю. Это также позволяет людям эффективно и ответственно использовать данные. Эта возможность способствует повышению информационной грамотности, предоставляя предприятиям и техническим пользователям подготовку, знания и инструменты, необходимые им для интерпретации данных, доверия к ним и действий с ними. Это включает в себя кампании по повышению осведомленности, образовательные ресурсы, лучшие практики и поддержку самообслуживания, которые способствуют формированию культуры, основанной на данных, во всей организации.
Адаптация структуры
Области возможностей, описанные выше, оказались хорошей отправной точкой в каждом проекте, в котором я принимал участие. Но у каждой организации свой контекст, операционная модель, приоритеты и история, и в результате я часто провожу много времени с организациями-клиентами, уточняя этот список, чтобы он наилучшим образом соответствовал их уникальной ситуации. Ниже приведены некоторые из наиболее распространенных аспектов, по которым адаптируется модель возможностей:
- Безопасность данных и архитектура данных иногда не рассматриваются в явном виде как часть структуры возможностей управления данными. Во многих организациях они рассматриваются как ответственность ИТ- или технологических подразделений, и предполагается, что вопросы управления являются частью более широких процессов управления архитектурой и безопасностью.
- Информационную грамотность иногда переименовывают или переформулируют, называя ее управлением изменениями, поддержкой данных, евангелизацией данных или защитой данных. Во всех случаях основная цель, которая заключается в расширении возможностей пользователей и формировании культуры, основанной на данных, остается очень схожей.
- Этика и конфиденциальность иногда полностью включаются в более широкие возможности “Политики, стандарты и соответствие требованиям”, особенно когда этические принципы и принципы конфиденциальности уже официально закреплены в политических документах. В таких случаях основное внимание уделяется пониманию соответствующих нормативных требований (например, GDPR, HIPAA или законов, связанных с искусственным интеллектом), их воплощению в практические политики и стандарты, а затем обеспечению соблюдения с помощью структур управления, обучения и механизмов надзора.
- Некоторые организации выражают заинтересованность в выделении ИИ или аналитики в качестве отдельной функции или в управлении ими (“Управление ИИ”). Лично я считаю, что большая часть того, что требуется для обеспечения надежной аналитики и ИИ, может и должна быть выполнена с помощью существующих возможностей. Однако небольшое число организаций, с которыми я работал, предпочли рассматривать это как отдельную возможность, особенно в тех случаях, когда управление моделями искусственного интеллекта/ОД является приоритетом на данный момент.
Внедрение (adoption & execution)
Несмотря на то, что стратегия и возможности управления данными в значительной степени универсальны, реализация управления может существенно различаться в разных организациях, отраслях и нормативно-правовой среде. Этот компонент посвящен тому, как структурировано, внедрено и эксплуатируется управление в организации. Речь идет о том, как вы “осуществляете” управление — как вы управляете исполнением на местах.
Эта часть концепции в некоторой степени уникальна для моего личного взгляда на управление данными. Хотя большинство организаций определяют управление с помощью списка возможностей или компонентов, они не учитывают, как на самом деле реализуется управление. Я намеренно включаю его в качестве части базовой концепции, поскольку считаю, что без четкого пути к исполнению и внедрению система управления рискует остаться теоретической. Внедрение непосредственно в структуру подтверждает, что управление должно быть действенным, живым и встроенным в повседневную деятельность, а не просто набором благих намерений.
Ваше мнение о внедрении может быть разным, но я обычно выделяю два ключевых компонента: роли и области. Определение ролей (например, владельцев данных или распорядителей) помогает прояснить, кто за что отвечает, и обеспечивает согласованность в организации. Определение доменов (таких как данные о клиентах, продуктах или финансах) помогает структурировать управление на основе логических бизнес-групп. В совокупности эти компоненты обеспечивают основанный на предметной области подход к управлению данными, что означает распределение управленческих обязанностей в тех областях бизнеса, которые лучше всего разбираются в данных, и осуществление управления в контексте, а не изолированно.
Ключевые роли и обязанности
Ответственность за управление и подотчетность можно уточнить с помощью определенного набора ролей. Несмотря на то, что в управлении данными задействовано множество функций, ниже приведены некоторые из наиболее важных, которые обычно повторяются в разных областях данных:
- Владельцы доменов. Ответственные за надзор за управлением в конкретной бизнес-области, такой как данные о клиентах, финансы или продукт. Они помогают расставлять приоритеты в работе, обеспечивают соответствие бизнес-целям и отвечают за успешное управление в своей области.
- Владельцы данных. Отвечают за качество, безопасность и жизненный цикл конкретных данных (или наборов данных). Они принимают решения об использовании данных, доступе к ним и важнейших требованиях к управлению.
- Управляющие данными. Как правило, они работают от имени владельцев данных или доменов, выполняя большую часть повседневной работы, связанной с управлением данными. Это включает в себя обеспечение соблюдения стандартов, ведение метаданных, поддержку инициатив по повышению качества данных и координацию решения проблем.
- Владельцы систем. Ответственные за технические системы и платформы, на которых хранятся, обрабатываются или совместно используются данные. Они обеспечивают, чтобы требования к управлению были встроены в архитектуру, элементы управления и уровни доступа этих систем.
- Владельцы бизнес-процессов. Убедитесь, что политики управления и стандарты обработки данных интегрированы в бизнес-процессы, которые собирают, создают или изменяют данные. Они помогают внедрить управление в рабочие процессы и процесс проектирования.
Области данных
Управление может применяться в значимых бизнес-контекстах, известных как области данных. Эти домены определяют логическую группировку данных в зависимости от того, как они используются в организации. Хотя конкретные домены будут отличаться в зависимости от отрасли (следовательно, эта часть структуры обязательно настраивается), следующие примеры иллюстрируют, как розничная компания может структурировать свои домены данных:
- Клиент — информация о частных лицах или организациях, которые покупают или используют ваши продукты или услуги.
- Продукт — подробная информация о предлагаемых товарах или услугах, включая структуру, цены и описания.
- Поставщик — информация о поставщиках, их контрактах и способах их выполнения.
- Финансовые — записи о доходах, расходах, бюджетах и других финансовых транзакциях.
- Сотрудник — информация о персонале, включая должности, вознаграждение и историю управления персоналом.
- Продажи — данные о покупках, транзакциях и деятельности, приносящей доход.
- Инвентаризация и цепочка поставок — отслеживает уровень запасов, движение продукции и процессы доставки.
- Маркетинг и кампании — Отслеживает активность кампании, расходы на рекламу и стратегии таргетинга.
- Соответствие требованиям и нормативные требования — данные, используемые для выполнения юридических, аудиторских и нормативных обязательств.
- Цифровая и веб—аналитика - измеряет, как пользователи взаимодействуют с цифровыми платформами и веб-сайтами.
Поддержка технологий
Технологии играют решающую роль в обеспечении практичности и масштабируемости управления данными. Несмотря на то, что эти технологии соответствуют ключевым возможностям в области управления данными, они не соответствуют друг другу в соотношении 1:1, поскольку многие возможности поддерживаются более широкими технологическими пакетами или интегрированными решениями. Кроме того, способы структурирования и внедрения этих технологий в организациях могут существенно различаться в зависимости от их размера, отрасли и уровня зрелости данных.
Тем не менее, в большинстве случаев технологии, связанные с управлением данными, можно разделить на следующие ключевые категории.
-
Платформа управления данными. Эти платформы позволяют организациям определять права собственности на данные, руководящие обязанности, рабочие процессы и утверждения и управлять ими, а также облегчают такие операции управления, как регистрация проблем, запросы на изменение данных и аттестация. Все чаще они также поддерживают управление проблемами на основе рабочих процессов, позволяя организациям назначать, отслеживать и устранять проблемы с управлением данными в разных командах. Эти инструменты служат основой для обеспечения действенности управления и его наглядности в различных областях.
Примеры: Collibra, Informatica Axon, Alation Stewardship Workbench
-
Качество данных. Для обеспечения высокого качества данных требуются специализированные инструменты мониторинга, профилирования, очистки и исправления ошибок. Эти решения выявляют несоответствия, пропущенные значения и ошибки, позволяя командам устранять проблемы с данными в режиме реального времени и обеспечивать соблюдение стандартов качества данных во всех системах.
Примеры: Качество данных Informatica, Talend, Ataccama ONE
-
Каталог данных и наблюдаемость. Каталоги данных обеспечивают централизованную инвентаризацию информационных ресурсов, объединяя метаданные, происхождение и бизнес-определения для улучшения поиска и прозрачности данных. Каталоги все чаще дополняются инструментами наблюдения за данными для мониторинга работоспособности, свежести и поведения данных в режиме реального времени. Некоторые инструменты также предлагают автоматическое сканирование данных и классификацию по всему информационному ландшафту.
Примеры: Alation, Collibra, BigID
-
Управление основными данными. Платформы MDM необходимы для управления основными бизнес-структурами, такими как клиенты, продукты и поставщики. Эти инструменты поддерживают сопоставление данных, создание "золотой записи", рабочие процессы проверки и синхронизацию основных данных в разных системах. Они являются ключом к обеспечению согласованности в масштабах предприятия, исключению дублирования и созданию единого источника достоверности для ключевых областей данных.
Примеры: Информатика MDM, Reltio
-
Решения для защиты данных. В эту категорию входят инструменты, которые управляют контролем доступа, шифрованием, маскировкой, токенизацией и безопасной передачей данных. Они также поддерживают рабочие процессы запроса доступа к данным, гарантируя, что только авторизованные пользователи смогут получить доступ к конфиденциальным или секретным данным на основе политик управления и классификаций данных.
Примеры: Immuta, Privacera, Microsoft обеспечивают безопасность данных.
-
Этика, конфиденциальность и мониторинг соблюдения требований. Эти инструменты обеспечивают соблюдение этических норм использования данных, правил конфиденциальности (например, GDPR, HIPAA) и внутренних политик. Они предоставляют возможности для управления правами субъектов данных, отслеживания согласия, аудиторских проверок и мониторинга использования, которые имеют решающее значение для укрепления доверия и выполнения нормативных обязательств.
Примеры: BigID, OneTrust, Collibra Protect
При создании этой части фреймворка вы можете заменить общие категории фактическими инструментами и платформами, которые вы используете, например, указать Collibra вместо “платформы управления данными” или Informatica Data Quality вместо “инструментов обеспечения качества данных”. Это дает более наглядное представление о том, как конкретная технология обеспечивает ключевые возможности конкретной организации.
Управление данными
Чтобы управление данными работало, необходимы четкая координация, постоянный надзор и устойчивый прогресс. В этом и заключается суть управления данными — обеспечение того, чтобы остальная часть структуры действительно выполнялась. Это обеспечивает структуру взаимодействия всех частей и подотчетность сотрудников.
Политика и стандарты
Политики и стандарты являются основой управления данными. Они определяют правила, ожидания и обязанности, как правила дорожного движения на дорогах. Все остальное в рамках системы указывает на них. Политики задают направление, а стандарты воплощают его в жизнь:
- Политика определяет, что должно быть сделано. Это четкое правило, например, “данные клиента должны быть защищены”.
- В стандарте указано, как это сделать. В нем содержатся подробные инструкции, например, “зашифруйте данные клиента и храните их в течение 3 лет”.
Форумы по управлению
Форумы по управлению обеспечивают необходимые механизмы надзора, координации и принятия решений для управления данными. Хотя конкретные форумы зависят от структуры организации и потребностей в управлении, общие типы включают:
- Совет по управлению корпоративными данными. Центральный орган, который определяет стратегическое направление, решает межфункциональные вопросы и обеспечивает соответствие управления бизнес-целям.
- Форумы по управлению данными, ориентированные на конкретные предметные области. Группы, которые контролируют управление в конкретных областях данных (например, клиентская, финансовая, продуктовая), обеспечивая внедрение политик на уровне домена и одновременно передавая важные вопросы на уровень предприятия.
- Региональные форумы по управлению или бизнес-подразделения. В глобальных или децентрализованных организациях управление данными может быть структурировано по региональному принципу, в соответствии с бизнес-единицами или подразделениями с учетом местных требований, изменений в нормативных актах и операционных потребностей.
- Рабочие группы, ориентированные на конкретные возможности. В некоторых организациях создаются руководящие группы, занимающиеся конкретными вопросами, такими как качество данных, управление метаданными, безопасность данных или этика использования данных, для внедрения передовых методов и технической реализации.
Показатели и измерение производительности
Чтобы продемонстрировать эффективность и результативность управления данными, организации должны отслеживать ключевые показатели эффективности (KPI), такие как показатели качества данных, соблюдение политики, сроки решения проблем управления и внедрение метаданных. Эти показатели помогают обосновать инвестиции, выявлять пробелы и способствовать постоянному совершенствованию.
Управление изменениями
Чтобы управление было по-настоящему внедренным, вы можете повысить осведомленность, адаптировать его и изменить поведение, например, с помощью обучающих программ, коммуникационных стратегий и инициатив по вовлечению.
Надежная система управления данными обеспечивает ясность, структурированность и повторяемый, масштабируемый подход к управлению данными. Хотя путь управления каждой компанией уникален, система, представленная в этой статье, служит проверенной отправной точкой, которую можно адаптировать для любой отрасли, любой организации и любого уровня зрелости данных.
Главное - внедрить ее как можно раньше, четко изложить и глубоко внедрить.
Удачи!
