Data-driven и data-informed: два подхода к использованию данных
Это адаптированный перевод публикации Andrew Chen (Эндрю Чена), которое дает интересный взгляд на то, как можно использовать данные при принятии решений.
Эндрю Чен выделяет два подхода к использованию данных:
- Data-driven — подход, в котором основным критерием принятия решения являются результаты измеримого эксперимента;
- Data-informed — подход, которые подразумевает использование данных лишь как одного из многих факторов при принятии решения.
Метрики — это лишь отражение вашей текущей продуктовой стратегии
Количественные данные могущественны, так как очень конкретны. Для большинства предпринимателей с техническим образованием, эмпирические данные важнее большинства других факторов (разных best practices и опыта людей с красивыми образованием и должностями) при принятии решений. И это хорошо. Данные — это лучшее подспорье для скептиков, которое уже неоднократно доказывало свою пользу для стартапов в процессе поиска новых и даже инновационных решений.
Но очень просто зайти в этом подходе слишком далеко — и в этом различия между подходами data-informed и data-driven, о которых я впервые услышал в выступлении сотрудника Facebook в 2010.
Важно понимать, что ваши метрики — это отражение вашей текущей продуктовой стратегии. Поэтому данные, которые которые у вас есть, ограничены тем, что вы реализовали, и основываются на поведении ваших нынешних пользователей на вашем имеющемся продукте. Из-за этого применить подход data-driven для оценки новой функциональности или новой версии продукта с другой целевой аудиторией часто бывает невозможно.
Последовательная работа над продуктом, построенная на основе data-driven подхода (KPI–гипотеза–эксперимент–решение), может привести к заметным улучшениям, но у такого процесса всегда есть предел. Подход data-driven наиболее подходит для задач оптимизации (или поиска локального максимума), но его недостаточно для решения задачи поиска наибольшего возможного значения функции.
Развитие продукта — сложная задача, не позвольте данным ложно упростить ее
C моей точки зрения, различия этих двух подходов состоят в том, что при подходе data-informed вы понимаете, что имеющиеся у вас данные являются лишь одним из факторов для принятия решений и существует много других не менее важных факторов.
При подходе data-driven вы откидываете все, кроме количественных данных. В таком случае вы получаете конкретные объективные цифры, подсчитанные на основе вашего продукта, но при всем этом эти данные могут искажать реальную картину мира в контексте более глобальной и масштабной задачи, которую вы пытаетесь решить.
Если полагаться лишь на то, что вы можете измерить прямо сейчас, то вы всегда будете понижать приоритет важных задач, результаты внедрения которых проверить сложно или невозможно.
Как тотальное применение подхода data-driven приводит к спорным решениям
Использовать подход data-driven не оправдано при попытках работать над любыми длинными метриками. Сложно провести эксперимент, который покажет влияние новой, скорее всего, недешевой в разработке функциональности на такие долгоиграющие показатели, как Churn Rate или Retention. Плюс ко всему стоимость эксперимента увеличивается, так как его длительность составит минимум месяц.
С другой стороны, эксперимент по оптимизации конверсии главной страницы является быстрым, дешевым и легко измеримым. При использовании тотально и повсеместно подхода data-driven «правильнее» будет заняться оптимизацией главной страницы, так как в этом случае решение можно точно обосновать данными. Ведь решение о разработке новой функциональности проверить на данных сложно, дорого или иногда почти невозможно.
Но проблема в том, что в конечном итоге долгоиграющие метрики вроде Retention и Churn Rate являются основополагающими. И отказываться от работы над ними из-за сложности честного измерения и прогнозирования полезности такой работы — большая ошибка.
Используйте данные правильно
Важно понимать суть каждого из подходов и знать, какой из них применять к каждой конкретной ситуации. Когда вы работаете над чем-то, то у вас есть примерное видение конечного результата. Используйте данные для того, чтобы корректировать направление движения, и не позволяйте поверхностному дешевому анализу данных оттолкнуть вас от вашей цели.