Гайд по управлению мастер-данными (MDM) для новичков
Управление мастер-данными (MDM), дисциплина управления информацией, которая открывает широкие возможности для профессионалов в области данных.
В основе MDM лежит потребность в эффективной стратегии управления качеством данных и соответствующем наборе инструментов. Поскольку достаточно много организаций с головой погружаются в омут MDM, мы подумали, что настало самое время предоставить обзор для тех, кому данная тема действительно интересна.
Что же такое MDM?
Первая трудность, с которой Вы столкнетесь при изучении MDM, — это ситуация, когда Ваши коллеги или генеральный директор попросят Вас объяснить еще одну загадочную трехбуквенную аббревиатуру, появившуюся в мире данных.
Если Вас интересует достаточно простое и доступное объяснение этого феномена, тогда предлагаем Вашему вниманию список некоторых наиболее распространенных определений MDM.
“Набор дисциплин, процессов и технологий, необходимых для обеспечения точности, достоверности, своевременности и последовательности информации в самых различных областях - в приложениях, системах и базах данных, а также во многих бизнес-процессах, функциональных областях, организациях и регионах.”
— Дэн Пауэр, CEO, Hub Designs
“Набор дисциплин и методов для обеспечения актуальности, значимости и качества справочных данных компании внутри и между предметными областями.”
— Джилл Диш, вице-президент, SAS Best Practices
“MDM – практика определения и поддержки согласованных описаний бизнес-процессов и явлений, а затем их использование совместно с помощью методов интеграции между несколькими ИТ-системами внутри предприятия, а иногда и за его пределами: для компаний-партнеров или Клиентов.”
— Филипп Рассом, к.н., отраслевой аналитик, TDWI
“MDM – дисциплина, основанная на технологиях управления данными, в которой бизнес и ИТ работают вместе в целях обеспечения единства, точности, управления, семантической согласованности официальных, совместно используемых, а также мастер-данных предприятия.
Управление данными представляет собой согласованный и унифицированный набор идентификаторов и атрибутов, описывающих мастер-данные предприятия, включая клиентов (как текущих, так и потенциальных), поставщиков, сайты и счета.”
— Gartner
Потерялись среди множества определений МДМ?
Что ж, Вы не одиноки…
Если Вы потратите время на изучение форумов и обществ, фокусирующихся на темах, связанных с MDM, Вы поймете, что по сути MDM, по сравнению с другими дисциплинами, находится в еще только зачаточном состоянии, но развивается достаточно быстро, хотя разногласия по поводу того, что же это все-таки такое на самом деле, не редкость.
Если Вы попытаетесь донести до Ваших коллег описание феномена, советуем внимательно относиться к выбору слов.
Джилл Дайч указал на эту необходимость в своей статье, цитируя Брайана Ренсинга из Proctor & Gamble:
“Вы должны начать MDM с попытки решить проблемы, с которыми люди сталкиваются в своей повседневной работе, используя при этом простые, максимально доступные слова.”
Используйте выражения, наиболее отвечающие Вашим потребностям, не вдавайтесь в сложные и заумные описания, которые абсолютно непонятны для Вашей аудитории.
Общепринятые темы в сфере MDM
Несмотря на то, что четкое определение MDM дать не так уж и просто, можно выделить наиболее распространенные темы, обсуждаемые в этой области:
- MDM ориентировано на мастер-данные или справочные данные (да, это очевидно, но здесь важно провести различие с другой информацией, такой как транзакционные данные, например);
- Определенные параметры качества данных имеют решающее значение для эффективного MDM (например, своевременность, точность, полнота, значимость);
- Непрерывное улучшение данных и хорошо управляемая стратегия качества данных – ключевые моменты;
- Технология является основным компонентом платформы MDM, но само понятие MDM гораздо шире, чем просто технологическое решение, в частности, это, в первую очередь, управление данными, о котором мы поговорим в отдельной статье;
- Гармонизация и синхронизация нескольких областей данных чрезвычайно важны для создания «единой достоверной версии» Ваших бизнес-объектов;
- MDM обычно предоставляет собой «хаб» для получения и распространения мастер-данных;
- Создание единой общей контрольной точки для Вашего бизнес-объекта имеет решающее значение;
- Также важно способствовать формированию межорганизационной приверженности и управлению изменениями с помощью структуры управления данными;
- MDM как дисциплина находится в зачаточном состоянии, опытных практиков пока еще мало, его внедрение может быть сложным, и, скорее всего, Вам придется приложить значительные усилия, чтобы заручиться поддержкой на высшем уровне.
Если последний пункт не до конца погасил Ваш энтузиазм, давайте продолжим изучать и другие ключевые моменты MDM.
Что подразумевается под Мастер-данными и Справочными данными?
Как правило, у каждой организации есть сводные данные о клиентах, продуктах, сотрудниках и материальных активах, но эта информация редко хранятся в одном месте.
Они часто разбросаны по различным приложениям, электронным таблицам и даже физически находятся на разных носителях, таких как бумажные отчеты. Что еще хуже, - эти разные части бизнес- информации будут иметь разные концепции и определения для одного и того же бизнес-объекта и отношений.
Например, сотрудник может быть зарегистрирован в системе расчета заработной платы, кадров, обучения и управления расходами работодателя, но в реальном мире это один и тот же человек.
Типичные примеры мастер-данных (из Master Data Management, автор David Loshin):
Клиенты, Сотрудники, Поставщики, Продукция, Локации, Система поддержания контактов, Профайлы, Бухгалтерские счета, Контракты, Политики.
В чем разница между Мастер-данными и Справочными данными?
Мальком Чисольм, эксперт по справочным материалам, объясняет, что такое Справочные данные:
“...любой вид данных, который используется исключительно для классификации других данных, находящихся в базе данных, или для соотнесения данных в базе данных с информацией за пределами предприятия.”
Таким образом, внешние данные являются типичной формой справочных данных, тогда как стандартные бизнес-объекты, такие как клиент, сотрудник, продукты, классифицируются как мастер-данные. При построении стратегий MDM внешние данные становятся исключительно важными для создания суррогатного источника «правды». Некоторые люди рассматривают справочные данные (например, стандартизированные списки значений) как отдельный тип (или область) мастер-данных.
В своем блоге Дэн Пауэр недавно опубликовал следующий комментарий:
«...когда Вы не знаете, чего Вы не знаете, наличие внешнего поставщика контента может оказаться большим подспорьем». Внешние данные могут сыграть важную роль в обеспечении того, чтобы у Вас был суррогатный источник данных для проверки и обогащения имеющихся бизнес-объектов».
Почему качество данных так важно для MDM?
Если Вы прочитали некоторые положения, данные выше, Вы наверняка столкнулись с таким понятием, как качество данных.
Мы также можем принять точку зрения, что MDM сам по себе является компонентом стратегии обеспечения качества информации, поскольку он решает многие проблемы, характерные для типичной системы обеспечения качества информации (например, отсутствие временных данных, дубликаты и т. д.).
MDM объединяет несколько элементов данных, относящихся к одному и тому же логическому объекту, и в этом заключается общая проблема, с которой сталкиваются наши участники на нашем дочернем сайте Data Migration Pro при выполнении упражнений по консолидации системы.
Как правило, не существует единого мнения о том, как именно следует хранить общие данные, поэтому, когда мы пытаемся объединить разрозненные записи для одного и того же бизнес-объекта, нам часто приходится принимать трудное решение о том, какой источник выбрать в качестве наиболее надежного и точного.
Однако проблема MDM еще шире, поскольку, например, в рамках проекта переноса данных у нас может быть несколько месяцев, чтобы решить поставленную задачу; в области MDM мы просто не сможем позволить себе такую роскошь.
MDM опирается на консолидацию данных почти в реальном времени, поэтому эти сложные правила должны быть жестко встроены в общую инфраструктуру, что дает некоторое представление о том, насколько же сложной может быть реализация MDM.
Еще один подводный камень – это так называемая 'разрозненная политика MDM', о который Джилл Дайч сказал следующее:
"Люди действительно осознали, что знания – это сила, поэтому они не просто хотят делиться ими с другими людьми или участвовать в их переопределении или консолидации. Они предпочли бы сохранить единоличный контроль над своими «плохонькими», неполными записями о клиентах!»
(У Дэна Пауэра есть очень хороший обзор политических аспектов MDM, доступный по этой ссылке).
Если Вы когда-либо пытались добиться межорганизационной приверженности какой-либо инициативе по управлению данными, то Вы наверняка знаете, насколько сложно получить согласие руководства и заручиться поддержкой в этом вопросе. Заинтересованные стороны могут воспринимать MDM, как подрыв их авторитета из-за передачи «прав собственности» более масштабной структуре предприятия.
Управление данными для MDM имеет ключевое значение
Без управления данными MDM вряд ли будет успешным, именно поэтому разрабатывать стратегию MDM имеет смысл только тогда, когда у Вас уже есть стабильно работающая структура управления данными, охватывающая все предметные области бизнеса.
Тот факт, что качество данных является неотъемлемой частью MDM, несомненно, на руку участникам Data Quality Pro, которые обладают навыками в области качества данных и стремятся развивать свою карьеру. Теперь у них есть еще один дополнительный и быстро развивающийся сектор, который остро нуждается в подобных навыках.
Какие технологии необходимы MDM?
В недавнем своем посте Дэн Пауэр отмечает 5 компонентов MDM, три из которых относятся к технологиям:
- "Хаб"
- Интеграция данных или промежуточное ПО
- Обеспечение качества данных
Хаб MDM
По словам Дэна, у него есть 3 «оттенка»:
- Постоянный хаб переносит все критически важные для бизнеса данные в хаб из исходной системы;
- В хабе реестра в хаб копируются только идентифицирующая информация и идентификаторы ключевых записей;
- В гибридном хабе используются элементы обоих вариантов, позволяющие более детально контролировать то, что поступает в хаб.
Gartner и институт MDM дают хабу схожие определения: определение Gartner , определение института MDM.
Интеграция данных или промежуточное ПО
Дэн подчеркивает необходимость синхронизации данных в разрозненной системной среде.
Также необходимо синхронизировать любые улучшения качества данных, чтобы сохранить приобретенные преимущества и постоянно улучшать их качество. Существуют и другие различные технологии рабочих процессов, которые включены в типичную структуру «стека» MDM.
Инструменты обеспечения качества данных
Согласно А.Берсону и Л. Дубову существует пять категорий таких инструментов:
- Аудит качества данных
- Очистка качества данных
- Анализ и стандартизация качества данных
- Гибриды
Гибридный инструмент содержит элементы других функций качества данных, а также может включать возможности ETL (извлечение/преобразование/загрузка).
Остальные функции типичны для большинства инициатив по обеспечению качества данных.
Почему MDM набирает популярность?
Если цитировать авторитетный ресурс Предложения по MDM, доступные на MIKE2.0, популярность MDM объясняется следующим:
- Вопросы MDM влияют на бизнес. Что такое бизнес без своих клиентов, продуктов и сотрудников? Мастер-данные — это один из самых важных типов данных, которым владеет организация, и нет другого решения, кроме как исправить ошибки прошлого: даже незначительные проблемы с мастер-данными вызывают вирусные проблемы, распространяющиеся в федеративной среде. Признание того, что корпоративное MDM определяет конкурентное преимущество, заметно обозначилось за последнее десятилетие;
- Возрастающая сложность и глобализация. Управление мастер-данными действительно является движущей силой разработки информации. Организации становятся все более и более федеративными, располагают все большей информацией и включены в глобальную интеграцию. Облегчение процессов имеет жизненно важное значение для успеха. Глобализация привела к целому ряду дополнительных проблем и сложностей с точки зрения управления данными. Сюда входят проблемы с многоязычностью и многосимвольными наборами, а также потребность в круглосуточной доступности данных, обусловленная операциями по всему миру. Количество каналов, по которым предприятия получают и предоставляют информацию, также значительно возросло благодаря развитию Интернета и технологий распознавания голоса;
- Все стороны видят большие возможности. MDM — это большая и сложная задача, именно поэтому она открывает широкие возможности для поставщиков продуктов и системных интеграторов. Были разработаны новые технологии MDM - концентраторы MDM. Несмотря на то, что они могут выглядеть, как их предшественники - хранилища операционных данных (ODS), современные технологии концентраторов данных поддерживают SOA и используют ряд других современных технологий, которые обычно не используются в старых традиционных ODS. Поскольку проблема связана с управлением информацией, у каждого поставщика есть свое «решение». Поставщики, ориентированные на приложения (которые положили начало тенденции MDM), также видят в этом возможность расширить свою интеграцию и объем приложений. Организации, работающие с MDM, используют схожий подход: они сталкиваются с различными проблемами в области управления информацией, и это дает им способ коллективно сформулировать проблемы. Эта ситуация аналогична той, которая возникла с инициативами требований в области комплаенс несколько лет назад;
- Инициативы в области комплаенс усиливают корпоративное давление. Под влиянием войны с терроризмом и корпоративных скандалов в США инициативы по соблюдению нормативных требований оказали дополнительное давление на организации. Без надежного решения MDM предприятия сталкиваются со все более сложными проблемами, связанными с постоянно меняющимися требованиями в сфере комплаенс.
Какие сложности несет в себе MDM?
Препятствия, которые необходимо преодолеть при реализации MDM, на самом деле очень похожи на те, с которыми, несомненно, столкнулись многие из наших участников Data Migration Pro., по версии тех же Предложений по MDM, доступных на MIKE2.0:
- Сложность: организации обычно сталкиваются со сложными проблемами качества мастер-данных, особенно с данными о клиентах и адресами из устаревших систем;
- Дублирование: часто наблюдается высокая степень дублирования мастер-данных, например, крупные организации хранят данные о клиентах во многих системах одного и того же предприятия;
- Моделирование: организациям обычно не хватает Модели Управления Данными, которая определяет первичных и вторичных хозяев, а также их рабов, что делает интеграцию данных целостностной;
- Стандарты: часто бывает трудно прийти к общему согласию относительно значений домена, которые хранятся в нескольких системах, особенно это касается данных о продуктах;
- Управление: плохое управление информацией (управление, владение, политики) в отношении мастер-данных приводит к сложностям внутри всей организации.
Исследования других экспертов в данной области также отмечают следующие трудности, встречаемые на практике:
- Поиск опытных профессионалов/партнеров по внедрению для успешной реализации проекта;
- Выбор технологий; MDM – зарождающийся рынок, где очень много игроков – сложно выбрать «победителя»;
- Создание привлекательного бизнес-кейса и получение поддержки со стороны высшего руководства всегда непростая задача;
- Решить, с чего именно начать, расставить приоритеты и сфокусироваться часто бывает непросто;
- Объяснение бизнесу всю важность MDM.
Где я могу узнать дополнительную информацию о MDM?
На эту тему можем посоветовать несколько замечательных онлайн ресурсов.
Онлайн порталы:
- Data Quality Pro Virtual Summit
- Information Management - MDM Channel
- TDWI MDM Portal
- The MDM Institute
Другие полезные статьи и ресурсы:
- MDM Resource Guide – вебсайт со множеством ссылок
- HubDesigns Blog, полезные статьи, ссылки и обсуждения на тему MDM
Онлайн сообщества/Форумы:
- Master Data Management – сообщество практикующих специалистов, созданное Дэном Пауэром
- Master Data Management Interest Group – группа LinkedIn, 15 000+ участников
- MDM - Master Data Management – группа LinkedIn, 18 000+ участников
- Другие группы на LinkedIn, которые стоят посетить.
Книги по MDM:
- Master Data Management (автор Д. Лошин)
- Master Data Management and Customer Data Integration for a Global Enterprise (авторы А. Бермон и Л. Дубов)
- Enterprise Master Data Management (Подход к SOA А. Драйбельбиса, Э. Хехлера, И. Мильмана, М. Оберхофера, П. ван Рана, Д. Вольфсона)
- Customer Data Integration: Reaching a Single Version of the Truth (авторы Д. Дайч, Э. Леви)
- Multi-Domain Master Data Management (авторы Д. Черво, М. Аллен)
-
Arenadata Harmony MDM — это отечественная платформа управления мастер-данными (MDM), предназначенная для консолидации, очистки, валидации и синхронизации справочной информации между различными ИТ-системами компании. Решение поддерживает создание централизованного справочника с ролевой моделью доступа, версионностью, бизнес-правилами и аудитом изменений, а также обеспечивает возможности согласования данных, интеграции через API и настройку workflows. Harmony MDM адаптирована под требования крупного бизнеса, легко масштабируется и может быть развернута как on-premise, так и в облаке, обеспечивая сквозной контроль качества данных и повышение достоверности управленческой и аналитической отчетности.
