Недостающий канал передачи данных: Пять практических уроков по масштабированию ваших информационных продуктов
Эта аналогия особенно уместна в мире информационных продуктов. Масштаб и ценность обусловлены отношением к информационному продукту как к движку, который может поддерживать большое количество полезных вариантов использования (или автомобилей). К сожалению, когда дело доходит до информационных продуктов, компании в большей степени работают по модели "один двигатель – один автомобиль". Результатом являются фрагментарные информационные программы, которые не могут масштабироваться или генерировать ожидаемую ценность.
В некотором смысле, это проблема неполного стакана. Когда мы писали о продуктах для обработки данных в 2022 году, мы подробно описывали преимущества управления данными как продуктом. Продукт обработки данных предоставляет высококачественный, готовый к использованию набор данных, к которому сотрудники всей организации могут легко получить доступ и повторно использовать для различных бизнес-целей (см. врезку “Что такое продукт обработки данных?”). С тех пор организации из разных секторов начали использовать информационные продукты в качестве ключевых элементов своих стратегий в области обработки данных и ведения бизнеса. Волна энтузиазма, вызванная появлением gen AI, привела к тому, что в совете директоров все больше людей осознали важность данных и необходимость их более эффективного использования.
Однако этот энтузиазм привел к неоднозначным результатам. Путаница в отношении того, как информационные продукты обеспечивают ценность, методы управления, которые отдают предпочтение индивидуальному варианту использования, а не более высокой рентабельности инвестиций, и институциональные стимулы, которые поощряют создание информационных продуктов, а не их масштабирование, - все это играет определенную роль в снижении ценности. Поскольку компании все больше полагаются на данные — от использования искусственного интеллекта до разработки цифровых двойников — для внедрения инноваций и расширения бизнеса, неэффективные или несуществующие методы работы с данными становятся главной стратегической проблемой.1
Наш опыт работы с десятками компаний за последние несколько лет показал, что создание ценных информационных продуктов - это не столько техническая задача, сколько стратегическая и оперативная. Этот опыт можно свести к пяти ключевым урокам:
- Речь идет о повышении ценности, а не о улучшении качества данных. Цель разработки информационных продуктов состоит не в том, чтобы создавать более качественные данные, а в том, чтобы создавать ценность. Ни одна программа создания информационных продуктов не должна начинаться до тех пор, пока руководство не поймет ценность, которую может принести каждый вариант использования, и не определит приоритетность наиболее перспективных возможностей.
- Поймите экономику информационных продуктов. Эффективность продукта обработки данных основана на “эффекте маховика”, который ускоряет получение ценности и снижает затраты с каждым дополнительным бизнес-вариантом, который он позволяет реализовать.
- Создавайте продукты обработки данных, способные обеспечить эффект маховика. Использование эффекта "маховика", заключающегося в постоянном снижении затрат и повышении ценности, требует создания возможностей для максимального повторного использования и сокращения количества переделок.
- Найдите людей, которые могут управлять информационными продуктами как бизнесом. Создайте уполномоченных владельцев продуктов для обработки данных (DPO) и старших руководителей в области обработки данных, которые понимают, что важно для бизнеса, от определения ценности с точки зрения бизнеса до обеспечения поддержки.
- Интегрируйте gen AI в программу разработки продуктов для обработки данных. Gen AI уже доказал, что с его помощью можно разрабатывать более качественные информационные продукты быстрее (в три раза быстрее) и дешевле, чем с помощью других методов.
Речь идет о большей ценности, а не о более качественных данных
Компании, которые дисциплинированно подходят к разработке продуманной программы создания информационных продуктов, могут ориентироваться на перспективные кейсы, чтобы быстро получать выгоды, одновременно закладывая правильную основу для дальнейшего наращивания ценности с течением времени. Реализация этого стремления требует как более целенаправленного, так и более масштабного подхода к разработке информационных продуктов, чем это часто бывает.
По нашему опыту, подавляющее большинство руководителей концентрируют свое внимание и энергию на одном или двух конкретных вариантах использования, поскольку это позволяет руководству проявлять активность и отмечать результаты. Или же ИТ-директоров дергают во многих направлениях с просьбами создать конкретные информационные продукты без какого-либо эффективного способа взвесить их затраты и выгоды для предприятия в целом.
Вместо этого лидерам необходимо создать четкое представление о том, где находится наибольшая ценность для бизнеса. Это начинается с умения анализировать потенциальную ценность каждого варианта использования бизнес-программы (по крайней мере, в течение ближайших 12-24 месяцев), а затем группировать те, которые основаны на схожих типах данных. Если нет других подходящих бизнес-примеров, то в создании продукта данных нет необходимости. Однако, если существует несколько эффективных вариантов использования, основанных на схожих наборах данных, это является веским аргументом в пользу разработки продукта данных. Чем больше бизнес-кейсов может охватить продукт обработки данных (чем больше размер кластера), тем большую ценность он может принести.
Результатом этого анализа должно стать создание карты вариантов использования и соответствующих продуктов обработки данных с оценками ценности для каждого из них (рис. 1). Этот план определяет ожидаемую ценность, является активом, на который ориентируется руководство, и становится практическим инструментом для принятия решений.
Пример 1
Важно отметить, что для реализации важных бизнес-задач часто требуется несколько информационных продуктов. Например, одна телекоммуникационная компания хотела оптимизировать развертывание своей сети, что требовало от нее определения того, какие люди и оборудование доступны в том или ином месте. Для проведения соответствующего анализа потребовалось разработать два продукта данных: один из них был ориентирован на навыки технического персонала и местоположение (среди прочего), а другой - на вышки, чтобы фиксировать артикулы используемых деталей, конфигурации, данные о трафике и производительность каждой вышки.
Понимание экономической эффективности продуктов данных
Компании часто не имеют четкого представления об экономике информационных продуктов, что приводит к ошибочным бизнес-обоснованиям, неосведомленному принятию решений и неэффективному выделению ресурсов. Ценность продукта обработки данных заключается в постоянном снижении дополнительных затрат, связанных с его повторным использованием, и ускорении получения выгоды от каждого дополнительного варианта использования.
Многие затраты, связанные с разработкой продукта обработки данных, являются единовременными инвестициями. Например, в одной телекоммуникационной компании, по оценкам, от 60 до 80 процентов времени, затрачиваемого командой обработки данных на поиск, подготовку и обеспечение качества данных при создании исходного продукта для обработки данных, приходилось на разовые действия, которые не нужно было повторять для каждого нового бизнес-кейса. Эти единовременные затраты, по сути, амортизируются по мере повторного использования информационного продукта для других целей, что приводит к постоянному снижению затрат при каждом использовании.
Этот эффект снижения затрат был очевиден в одной международной потребительской компании. В тот момент, когда информационный продукт позволял использовать пять вариантов использования, его прогнозируемая стоимость была примерно на 30 процентов меньше, чем при создании отдельных конвейеров данных для пяти аналитических решений (рис. 2). Когда этот информационный продукт был затем распространен на другой рынок, прогнозируемые затраты были примерно на 40% ниже при использовании пяти аналитических решений (по сравнению с созданием отдельных каналов передачи данных). Это снижение затрат было обусловлено не только повторным использованием стандартизированного информационного продукта, но и опытом, накопленным командой разработчиков информационных продуктов.
Пример 2
Этот эффект маховика также проявляется в создании ценности двумя способами. Во—первых, это ускорение определения ценности варианта использования - в некоторых случаях на целых 90 процентов. Чем больше бизнес-вариантов поддерживает продукт обработки данных, тем быстрее компания может оценить ценность каждого из них. Например, одна страховая компания использовала информационные продукты, чтобы получить прибыль в размере 210 миллионов долларов в рамках ряда вариантов использования в своем плане. Эту сумму можно было бы получить с помощью стандартных программ обработки данных, но они обошлись бы примерно на 50 процентов дороже и заняли бы в два раза больше времени.
Во-вторых, это снижение затрат, связанных с качеством данных и проблемами надежности, связанными с обработкой данных, когда продукты для обработки данных не используются. Стандартизация, структурирование и автоматизация, которые являются частью продуктов для обработки данных, помогают значительно снизить частоту отказов, возникающих в результате плохого управления данными, и уменьшить количество дефектов продукта.
Такое понимание экономики данных имеет три ключевых значения:
Компании могут создавать меньшее количество, но более качественных информационных продуктов. Львиная доля потенциальной ценности для компании, как правило, приходится на пять-15 информационных продуктов.
ИТ-директора могут убедительно объяснить ценность информационных продуктов для бизнеса. Они должны уметь донести свою ценность при разработке бизнес-планов и подаче инвестиционных запросов.
- Четкое представление о ценности информационных продуктов может помочь эффективному распределению ресурсов и стимулов. Слишком много энергии и внимания тратится на создание информационных продуктов, а не на их поддержание и развитие с течением времени. Это включает, например, обеспечение того, чтобы люди с соответствующими навыками поддерживали рост продукта данных с течением времени, и приведение стимулов в соответствие со значимыми ключевыми показателями эффективности (такими как скорость повторного использования продукта данных, уровень доверия и удовлетворенности заинтересованных сторон, эффективность обслуживания продукта данных и время создания ценности). Бюджеты на варианты использования также должны учитывать использование продуктов для обработки данных, ограничивая возможности команд по созданию собственных решений для обработки данных.
- Создавайте продукты для обработки данных, которые могут привести в действие эффект маховика
- Разработка данных - это простой, но важный этап разработки информационных продуктов, который приводит в действие механизм снижения затрат и увеличения ценности. Этот эффект зависит от того, насколько хорошо продукты и системы обработки данных спроектированы для масштабирования. Слишком часто компании сокращают сроки выполнения этой работы, что приводит к предсказуемым задержкам и перерасходу средств.
При разработке продуктов обработки данных для их масштабирования необходимо учитывать ряд ключевых факторов:
Создавайте продукт обработки данных таким образом, чтобы он легко развивался. Одним из наиболее важных шагов в разработке продукта обработки данных является понимание того, как он должен будет развиваться в соответствии с будущими вариантами использования. Это связано с тем, что изменение продукта обработки данных после его создания может быть сложным и дорогостоящим. На практике это означает моделирование информационного продукта таким образом, чтобы в него можно было добавлять новые источники и типы данных, не меняя его сути. Особенно важно поддерживать простоту данных. Это может означать, например, фиксацию даты рождения клиента (что актуально для многих бизнес-кейсов), а не выполнение каких-либо вычислений на ее основе, таких как его возраст на момент первой покупки (что бесполезно для многих дополнительных вариантов использования).
Разрабатывайте ресурсы, которые легко встраиваются в существующие системы. Продукты обработки данных не могут масштабироваться сами по себе. Руководителям в области обработки данных необходимо инвестировать в механизмы поддержки, обеспечивающие масштабирование. Хотя многие знают о передовых методах (таких как создание библиотек утвержденного кода), часто возникают проблемы с тем, насколько хорошо информационные продукты подключаются к существующим системам. Крайне важно внедрить стандартизированные технологии подключения (такие как API и соединители баз данных), а также продумать варианты технологий, которые могут повлиять на производительность продуктов обработки данных. Например, если компания разработала корпоративное хранилище данных, создание продуктов обработки данных в этой среде значительно упрощает доступ к данным.
- Упростите доступ к информационным продуктам. Отличный информационный продукт не имеет смысла, если им никто не пользуется. Чтобы избежать этой проблемы, необходимо обеспечить легкий доступ к информационным продуктам через рынок с возможностью поиска (например, Apple App Store) и простой способ связаться с командой разработчиков информационных продуктов для получения поддержки при разработке каналов потребления (рис. 3).
- Создайте систему DataOps (data management and operations - управление данными и операции с ними) для максимальной автоматизации. Процессы рационализации данных и направления их в нужный информационный продукт, как правило, выполняются вручную и, следовательно, требуют больших усилий и времени. Вот почему разработка полноценной системы DataOps для улучшения интеграции и автоматизации потоков данных от источника к продукту имеет решающее значение для масштабирования. Для этого требуется автоматизировать как можно больше процессов (например, с точки зрения безопасности кода и документации по передаче данных). Поскольку продукты обработки данных являются органичными и меняются по мере появления новых вариантов использования, руководителям, занимающимся обработкой данных, необходимо часто пересматривать и корректировать эту автоматизацию.
- Систематизируйте надежные данные. Для хороших продуктов обработки данных нужны качественные данные. Это серьезная проблема для большинства компаний, где отсутствие стандартов, противоречивые источники данных и быстро меняющийся характер данных в мире искусственного интеллекта создают значительные препятствия. Например, в таблицах данных одной компании было 400 столбцов только для различных способов записи дат рождения клиентов. Решение этой проблемы требует от команд создания логических групп связанных данных, которые иногда называют “доменами данных”. Например, в области управления цепочками поставок область данных может включать в себя заказ, запасы готовой продукции, скидки на определенный срок, отгрузочную документацию, данные о транспортировке, информацию о распределительном центре и прогнозные данные для планирования спроса.
- Эта работа по хранению данных включает в себя объединение копий данных, создание стандартов данных и определение того, какие данные являются окончательным источником. Таким образом, информационные продукты получают доступ к надежным источникам, которые необходимы им для надежной и эффективной работы. Создание надежных доменов зависит от наличия сильных инженеров по обработке данных, но разрыв между хорошими и посредственными исполнителями часто огромен (и привлечение инженеров-программистов к этой роли редко приводит к успеху). Отличные инженеры по обработке данных не только обладают сильными техническими навыками, но и умеют задавать вопросы второго и третьего порядка (например, для чего будут использоваться данные) и творчески подходят к решению проблем.
Пример 3
Найдите людей, которые могут управлять информационными продуктами как бизнесом
Программа создания информационных продуктов, рассматриваемая как “просто ИТ-проект”, не принесет успеха в создании ценности. Успешные усилия по созданию информационных продуктов требуют широкого сотрудничества с деловыми кругами и руководителями в области обработки данных, которые понимают, как управлять информационными продуктами как бизнесом, а не проектом (пример 4).
Пример 4
Особенно выделяются две потребности:
Руководить программами должны сильные специалисты в области здравоохранения. Многие компании понимают необходимость назначения ответственного директора по управлению проектами или менеджера по обработке данных, но не предпринимают достаточных действий в соответствии с этим. Слишком часто они отводят руководителям проектов ведущую роль, в результате чего основное внимание уделяется выполнению требований, а не созданию ценности.
Надежные поставщики данных наиболее эффективны, когда они запускают программы по разработке продуктов для обработки данных, как бизнес, и выходят далеко за рамки простого предоставления самого продукта для обработки данных. Они тесно сотрудничают с бизнес-спонсорами, активно ищут новые варианты использования продукта для обработки данных по всему бизнесу, тщательно отслеживают ключевые показатели эффективности и уровень создаваемой ценности, а также определяют способы снижения затрат (например, путем закрытия ненужных баз данных). Они несут прямую ответственность за создание ценности из информационного продукта. Что это означает на практике, может варьироваться. В некоторых случаях директор по управлению рисками несет ответственность за прибыли и убытки, в то время как в других случаях он может получать прямую компенсацию за ценность, создаваемую его информационным продуктом.
Поставщики прав доступа не должны управлять доменами данных. Это входит в компетенцию управляющих данными, которые сосредоточены на соблюдении стандартов, снижении рисков и обеспечении качества данных в доменах.
Предприятия должны возглавлять разработку. Компаниям необходимо принимать активное участие в разработке продукта для обработки данных с самого начала. Например, если оставить принятие решений по дизайну продукта на усмотрение инженера по обработке данных, часто получается продукт для обработки данных, который хорошо функционирует с технической точки зрения, но не отвечает истинным потребностям бизнеса. Вместо этого лучшие компании привлекают экспертов в данной области и коллег из деловых кругов, чтобы коллективно решить, какие данные наиболее важны для реализации данного варианта использования.
Этот уровень сотрудничества применим на широком организационном уровне, поскольку программы разработки продуктов для обработки данных требуют значительной координации в рамках всего бизнеса для обмена данными и обновления процессов. Такие усилия имеют гораздо больше шансов на успех, если ими руководит руководитель высшего звена, а не специалист по обработке данных. Например, в одной страховой компании почти 80 процентов контактной информации бенефициаров были устаревшими. Обновление этих данных требовало от операционных групп определения приоритетов, от групп по управлению взаимоотношениями с клиентами - обновления данных, а от отделов продаж - совершения звонков и ввода обновленной информации в систему. Старший бизнес-руководитель не только провел активную кампанию по привлечению поддержки среди руководителей различных подразделений, чтобы это произошло, но и разработал табель успеваемости для отслеживания полноты и качества данных. Некоторые компании делают дополнительный рекомендуемый шаг - создают команду, ответственную за управление производительностью данных и ее измерение, чтобы гарантировать, что команды, занимающиеся разработкой данных, выполняют свои ключевые показатели эффективности.
Интегрируйте gen AI в программу разработки данных
Инструменты и возможности Gen AI оказывают огромное влияние на разработку информационных продуктов, ускоряя процесс в три раза по сравнению с традиционными методами. Однако многие компании с трудом добиваются такой эффективности. По нашему опыту, проблемы связаны с тем, что компании уделяют внимание лишь относительно небольшой части цикла разработки и внедрения информационных продуктов. Вместо этого им необходимо проанализировать этапы разработки, чтобы определить повторяемые процессы, которые хорошо подходят для искусственного интеллекта нового поколения (рис. 5).
Пример 5
Задачи, для решения которых, как мы убедились, gen AI особенно эффективен, включают создание функций и пользовательских историй с критериями приемлемости, формирование требований на основе бизнес-целей, автоматизацию создания взаимосвязей данных, генерацию кода преобразования для переноса данных из источника в целевую систему и тестирование на качество данных и конфиденциальность.
Доступ к совершенно новым типам неструктурированных данных (таким как изображения, отзывы пользователей и видео), которые предоставляет gen AI, может повысить эффективность информационного продукта — например, за счет включения анализа настроений и исторического поведения. Но компаниям необходимо систематизировать и обрабатывать свои неструктурированные данные, чтобы их можно было использовать. Это означает, например, пометить данные, определить их важность и создать ярлыки для доступа к наиболее часто используемым данным, чтобы контролировать затраты.
Если провести аналогию, то данные без информационных продуктов подобны нефти без нефтеперерабатывающих заводов: в необработанном виде ценность невелика. Информационные продукты являются ключом к принятию решений и действий, основанных на данных, которые создают ценность. Но эта ценность может стать значимой только тогда, когда лидеры будут готовы не только создавать информационные продукты, но и масштабировать их.