Роли и обязанности членов команды по работе с продуктами данных
Вся правда о командах по работе с продуктами данных
Продукты данных – одна из самых популярных тем в сфере управления данными. Организации из самых разных уголков мира пытаются найти эффективные способы их создания, управления и монетизации. В этой статье мы поговорим об основных ролях и обязанностях членов команды по разработке продуктов данных.
Продукты данных и команды по работе с продуктами данных
Представьте, что Вы - шеф-повар. Прежде чем приготовить какое-либо блюдо, Вы тщательно выбираете ингредиенты, убеждаетесь в том, что они свежие и съедобные, а затем соединяете их таким образом, чтобы люди, которым Вы собираетесь подать это блюдо, оценили его по достоинству. Продукт данных - это что-то вроде подобного блюда, только состоит он из данных. Прежде чем «подать эти данные на стол», их нужно упорядочить, проверить на точность, а иногда «приправить» дополнительными сведениями. Наконец, эти данные предоставляются конечным пользователям для последующего использования.
Для того чтобы убедиться в том, что продукт данных «готовиться» должным образом, необходимо убедиться в том, что у Вас есть профессиональная команда по работе с продуктами данных, которую вполне можно сравнить с командой поваров, работающих в ресторане. Команда по работе с продуктами данных - это группа профессионалов, обладающих разными талантами, навыками и знаниями, объединенных одной целью – создать качественный продукт данных. Если кого-то из этой команды нет или он работает неэффективно, вся работа по созданию продукта данных пойдет прахом. Команда по работе с продуктами - это:
- люди, которые придумывают «блюдо»;
- разработчики, которые его «готовят»;
- техническая команда, которая следит за тем, чтобы «кухонное оборудование» работало без сбоев;
- новаторы, которые постоянно совершенствуют «меню»
Как правило, это сложно организованная структура, поскольку настоящие команды разработчиков корпоративных данных подразумевают привлечение специалистов из разных бизнес-подразделений и функциональных направлений.
Роли
На диаграмме, приведенной ниже, представлен типичный набор ролей, характерных для команды по работе с продуктами данных. Это наиболее распространенная и рекомендуемая структура из тех, что мне доводилось встречать, однако, безусловно, существует множество вариаций. В разных организациях одни и те же роли могут быть названы по-разному. Даже в одной и той же компании состав команды может меняться в зависимости от характера разрабатываемого продукта данных. Например, в некоторых продуктах данных, требующих обширного моделирования данных, роль соответствующего специалиста станет основополагающей, в других компаниях может потребоваться опыт моделирования на основе ИИ, который совершенно не востребован в других организациях. По сути, список вариаций на тему бесконечен.
Пунктирные линии обозначают взаимодействие специалистов. Например, архитектор решений будет сотрудничать с руководителем проекта, а также, при необходимости, со специалистом по корпоративной архитектуре и/или владельцем платформы/экосистемы для того, чтобы убедиться в том, что архитектура разрабатываемого решения соответствует назначению. Здесь также приведены типичные схемы подчинения, которые могут сильно варьироваться в зависимости от особенностей той или иной организации.
Давайте подробнее поговорим об этих специалистах и их обязанностях, начиная с тех, которые находятся в центральной части диаграммы.
Центральная часть диаграммы
- Владелец продукта данных: данный специалист играет ключевую роль в успешной работе над продуктом данных, определяя стратегию разработки продукта. Он отвечает за формирование и руководство командой разработчиков продукта данных, управление бэклогом продукта, а также выступает в качестве связующего звена между акционерами и разработчиками. Данный специалист может возглавлять совершенно разные подразделения - от команд по работе с данными до бизнес-подразделений или владельцев доменов данных;
- Менеджер проекта / Scrum - мастер: данный специалист, как правило, находится в подчинении у владельца продукта данных и отвечает за организацию рабочего процесса, а также соблюдение сроков и внедрение agile-практик. В небольших компаниях менеджер проекта и владелец продукта данных могут быть представлены одним и тем же лицом. После запуска продукта данных роль менеджера проекта уходит на второй план;
- Data Scientist: не всегда есть необходимость в данном специалисте, однако при разработке продуктов данных, в которых используются ИИ, Data Science играет важную роль. Data Scientist обогащает продукт данными, полученными в результате статистического анализа и машинного обучения, проводит анализ данных, а также разрабатывает прогностические модели. Если продукт данных в значительной степени опирается на ИИ или МО, то эти обязанности могут быть возложены на инженера по оперативному управлению ИИ/МО, который будет заниматься операционными аспектами развертывания и поддержки моделей машинного обучения. Для продуктов данных, которые в значительной степени зависят от отчетов и дашбордов, может быть выделена должность эксперта по визуализации данных, который будет представлять данные в интуитивно понятной и визуально привлекательной форме;
- Data Domain Steward/ Архитектор: этот специалист хорошо разбирается в природе специфических типов данных, которые зачастую организовывают по доменам данных, например по клиентам или финансовым показателям. Помимо всего прочего, данные специалисты следят за тем, чтобы для каждого типа данных существовал уникальный и надежный источник, а также за тем, чтобы любые данные, которые поступают в систему, были взяты из достоверного источника. Роли Data Domain Steward и Архитектора могут быть разделены или, наоборот, совмещены;
- Специалист по Data Governance: этот сотрудник выступает в качестве связующего звена с группой Data Governance и следит за тем, чтобы продукт данных полностью соответствовал политикам и стандартам организации. В зависимости от этих политик и стандартов обязанности данного специалиста могут включать в себя обеспечение того, чтобы в проект были включены необходимые требования, связанные с качеством данных, а также управление метаданными, каталогизацией, конфиденциальностью и безопасностью данных;
- Техническая поддержка: данные специалисты вступают в игру после стадии разработки. В их обязанности входит устранение неполадок, обслуживание системы и предоставление технической поддержки после запуска продукта данных;
- Дата-инженер: другими словами конструктор продукта данных, создающий необходимую инфраструктуру и конвейеры для обработки и хранения данных. Этот специалист отвечает за разработку, развертывание и техподдержку инфраструктуры, систем и процессов, в которые поступают необработанные данные, а выходят высококачественные, единообразные и достоверные потоки данных. В зависимости от специфики продукта данных некоторые обязанности могут быть возложены на DevOps - инженеров. Для продуктов данных, опирающихся на облачную инфраструктуру, может быть выделен сетевой инженер/инженере по инфраструктуре;
- Архитектор решений: в первую очередь данный специалист анализирует бизнес-цели заказчика, связанные с новым продуктом, фокусируется на требованиях, которые повлияют на архитектуру, на программную часть решения и его компоненты. Кроме того, он проектирует решение и продумывает его дизайн. Архитектор определяет, из каких компонентов будет состоять продукт, нужно ли разрабатывать его составляющие с нуля или будет уместнее использовать готовые компоненты «из коробки».
Вспомогательные роли
- Бизнес - SME: специалист, обладающий глубокими знаниями в определенной сфере бизнеса. В его обязанности входит предоставление идей по функционалу продуктов данных и обеспечение соответствия продукта потребностям бизнеса;
- Пользователь данных: конечный пользователь, который применяет продукт данных в своей работе и предоставляет обратную связь, необходимую для доработки продукта. В его обязанности входит использование продукта данных, составление отчетов о его эффективности и внесение предложений по возможным улучшениям;
- Специалист по моделированию данных: специалист, который разрабатывает модели данных для обеспечения оптимального хранения данных в соответствии с моделью данных предприятия. В его обязанности входит разработка концептуальных и логических моделей данных, а также сотрудничество с инженерами по созданию физических моделей;
- Специалист по качеству данных: Инспектор, обеспечивающий точность и пригодность данных. В его обязанности входит определение критериев качества данных, проведение проверок качества данных и решение проблем с качеством данных. Иногда QA- инженера может быть отведена отдельная роль, которая заключается в обеспечении надежности, функциональности и соответствия продукта данных стандартам качества до момента его выпуска;
- Специалист по управлению метаданными: специалист, отвечающий за сбор, хранение и доступность правильных метаданных, что позволяет документировать историю данных и каталогизировать продукт данных;
- Руководитель Data Governance: руководитель, отвечающий за разработку стратегии data governance и ее реализацию. Как правило, они не имеют непосредственного отношения к продукту данных, однако обеспечивают наличие эффективной системы управления данными, которой должна следовать команда разработчиков продукта данных;
- DPO специалист (Data Protection Officer): как правило, данный специалист работает в составе специализированной группы по обеспечению конфиденциальности или безопасности данных. В его обязанности входит обеспечение соблюдения требований к продукту данных для обеспечения соответствия принятым политикам, стандартам и нормам;
- Администратор базы данных: это специалист, который создает, обучает и отвечает за управление базами данных, имеющих отношение к продукту данных;
- UX – дизайнер/инженер: изучает поведение пользователей, составляет портрет типичного пользователя, разрабатывает интерфейс (либо работает в связке с UI-дизайнером, либо все делает сам), создает прототипы и тестирует наработки. В прошлом году я участвовал в разработке примерно в 50 продуктах данных, и только в одном из них я встретил данного специалиста;
- Владелец платформы/экосистемы: стратег, управляющий платформой или экосистемой, в которой «живет» продукт данных. В его обязанности входит обеспечение развития платформы в зависимости от конкретных потребностей продукта;
- Специалист по корпоративной архитектуре: специалист, мыслящий масштабно и обеспечивающий соответствие всех технических аспектов бизнес-целям организации. В его обязанности входит согласование ИТ-стратегий с бизнес-целями, а также руководство выбором систем и технологий. Периодически данный специалист привлекается для обеспечения соответствия продукта данных более широким стратегическим рамкам архитектуры предприятия, особенно это касается крупных стратегических продуктов данных.
Периферийная часть
- Бизнес-лидер: обеспечивает общее руководство и находит ресурсы для реализации проекта. Эта роль имеет решающее значение для определения стратегического курса, обеспечения необходимого финансирования и продвижения продукта данных в организации;
- Владелец домена данных: контролирует и разрабатывает стратегию управления конкретными областями данных, такими как данные о клиентах, продуктах или сотрудниках. Основная обязанность данного должностного лица заключается в определении нужных продуктов данных в каждой конкретной области для обеспечения эффективного управления данными и их качеством;
- Директор по данным (CDO): роль данного специалиста особенно важна в организациях, которые еще только начинают осознавать стратегическую важность продуктов данных. Не принимая непосредственного участия в разработке конкретных продуктов данных, CDO помогает формировать корпоративную культуру данных, пропагандирует ценность данных и убеждает бизнес-лидеров инвестировать в инициативы по созданию продуктов данных;
- Директор по рискам: данный сотрудник не осуществляет непосредственный контроль за продуктами данных, но при этом играет решающую роль в определении концепции, политики и стандартов в области конфиденциальности, комплаенс и управления рисками. Команда, возглавляемая директором по рискам, включающая в себя специалистов по конфиденциальности или безопасности, взаимодействует с командой разработчиков продуктов данных, обеспечивая соблюдение нормативных требований и этичное использование данных;
- ИТ-директор / Технический директор: Определяет более широкую стратегию и подход всей компании в отношении информационных технологий и технологических инвестиций, непосредственно влияя на разработку продуктов данных. Данный топ-менеджер отвечает за разработку эталонной архитектуры, а также надежных шаблонов, которые могут быть использованы при разработке продуктов данных. Кроме того, данный специалист определяет технологические рамки, в которых должен разрабатываться и эксплуатироваться тот или иной продукт данных.
