Анализ дистрибуции - анализ присутствия продукции в торговых точках

Дистрибуция товара в торговой сети - это не только объём продаж, но и качество присутствия продукта в торговых точках: доступность полок, ассортимент, частота появления и охват рынков. В контексте BI DWH задача состоит в объединении данных из разных источников (POS, данные торговых партнеров, аудиты на местах, контракты и промо‑данные) в единую модель, которая позволяет измерять присутствие товара, сравнивать каналы и регионы, а затем выстраивать управляемые решения по ассортименту и стимулированию продаж. Правильный подход обеспечивает не только количественную оценку, но и прозрачность расчетов для бизнес‑пользователей и аналитиков: какие магазины и какие цепочки не охвачены, где товар недоступен, как быстро растет или падает присутствие по времени.

Ниже приводятся концепции и принципы реализации, ориентированные на архитектуру, модели данных, метрики, качество данных и практики внедрения. В конце главы даны практические примеры и рекомендации по эксплуатации.

Архитектура DWH и схемы анализа присутствия.
Модели данных и связь между присутствием и продажами.
Метрики присутствия, расчет KPI и сценарии анализа.
Интеграция источников, качество данных и ETL/ELT‑практики.
Внедрение, управление изменениями и эксплуатационные аспекты.

Архитектура DWH и источники данных

В основе анализа дистрибуции лежит концепция интегрированной схеме данных, где присутствие продукта в магазине связывается с фактическими продажами и контекстом канала. Для реализации применяют классическую звездную схему (star schema) или гибрид Data Vault/STAR, но ключевым является создание единых конформантных измерений и фактов, которые позволяют сопоставлять данные из разных источников.

Основные компоненты архитектуры:

Источники данных: POS‑данные розничной сети, данные по наличию на полке, данные инспекций по ассортименту, контракты и промо‑данные поставщиков, мастер‑данные продуктов и магазинов, данные по географии и каналам.
ОЗД/ODS: агрегация и нормализация сырых данных, сохранение временных зон и версий мастера, обработка ошибок и несогласованности.
Тематические хранилища или витрины: датасеты и меры для анализа присутствия, в том числе факт Presence_Fact и связанные размерности.
Метаданные и линейность данных: источники, версии схем, коэффициенты соответствия, правила трансформаций.
Инструменты интеграции и обработки: ETL/ELT‑пайплайны (например, Airflow или NiFi), преобразование через dbt или аналогичные инструменты, механизмы CDC и повторной загрузки.
Инструменты визуализации и отчетности: BI‑платы, дашборды по охвату, доступности и динамике присутствия.

Архитектура должна обеспечивать:

прозрачность источников и provenance данных: откуда взято каждое значение и как оно трансформировалось.
согласование константности идентификаторов: единые ключи магазинов, продуктов, периодов.
способность работать как в пакетном режиме (модели за день/неделю) так и в режиме near‑real‑time для некоторых дашбордов.
управление изменениями структуры: поддержка версий мастер‑данных и схему конформности без нарушений исторических данных.

Пример схемы подразделяется на две части: размеры (измерения) и факты.

Размерности: Date, Store, Product, Channel, Geography, Retailer, Promotion.
Факт Presence_Fact: date_key, store_key, product_key, channel_key, presence_flag (1/0), in_stock_flag (1/0), sales_value, sales_volume, price, promo_id, например.

Технологически целесообразно выбрать гибрид подхода: хранение исторически константных атрибутов в Dimensions, затем агрегация по Presence_Fact с сохранением историчности. Такой подход облегчает анализ на уровне охвата и одновременно сохраняет связь с продажами.

Для иллюстрации приведем упрощённую таблицу моделирования, которую можно разместить в разделе "Модели данных и схемы". Это не таблица в списке, а отдельная иллюстрационная таблица для понятности.

Dimensions	Основные атрибуты
date_dim	date_key, date_value, year, quarter, month, week_of_year
store_dim	store_key, store_id, chain_id, channel_key, region, city, store_type
product_dim	product_key, product_id, brand, category, subcategory, uom, sku_model
channel_dim	channel_key, channel_name, retailer_id
geography_dim	geography_key, country, region, district

Методология построения такой архитектуры обеспечивает единое количество ключей и согласование между источниками, упрощая агрегацию и сравнение между каналами и регионами.

В рамках данной главы внимание уделяется следующим аспектам:

согласование идентификаторов и конформности содержания между источниками;
выбор между OLAP‑моделью и более схематизированной схемой для ускорения анализа;
обеспечение целостности данных через контроль качества на каждом шаге пайплайна;
документирование lineage и версии атрибутов, чтобы бизнес‑пользователи понимали источник и контекст метрик.

Модели данных и схемы анализа дистрибуции

Оптимальное решение для анализа присутствия - использовать Star‑схему с фактами Presence_Fact и соответствующими измерениями. В контексте дистрибуции имеется два взаимосвязанных аспекта: присутствие на полке и фактическая продажа. В некоторых случаях полезно выделять отдельный факт поставки и наличия (Supply_Fact) для согласования между логистикой и продажами.

Ключевые концепты:

Presence_Fact: факт, который отражает факт присутствия товара в конкретном магазине в конкретный день/период: presence_flag, in_stock_flag, количество дней присутствия, и ссылки на размерности.
Date, Store, Product - базовые измерения, на которые опираются все расчеты.
Channel/Geography/Promotion - дополнительные атрибуты, помогающие сегментировать присутствие по каналам продаж, регионам и активностям по промо‑кампаниям.
Скорость смены атрибутов: SCD Type 2 или аналогичная версия, чтобы хранить историю изменений в атрибутах магазинов и продуктов.

Для наглядности целесообразно рассмотреть два уровня мер:

Presence metrics (охват и доступность): охват магазинов, в которых продукт присутствует; доля полок, где товар реально размещен; доля складов, где товар закрыл номенклатуру.
Sales context metrics (плотность и демография продаж): продажи по товарам в присутствующих магазинах, средняя цена, сравнение с канальными группами, сезонная корректировка.

Пример связи таблиц в базовой звездной схеме:

Presence_Fact (date_key, store_key, product_key, channel_key, presence_flag, in_stock_flag, sales_value, sales_volume, promo_id)
Dimensional tables: date_dim, store_dim, product_dim, channel_dim, geography_dim, promotion_dim

В рамках раздела Модели данных и схемы можно включить следующую короткую таблицу, иллюстрирующую ключи и связи. Она выступает как справочный справочник и не является списком действий.

В разделе также возможно размещение простого схематического ASCII‑вида связей между фактами и измерениями, чтобы показать, как присутствие сочетается с продажами по времени и магазинам.

Переходя к методам расчета, важно помнить, что присутствие - это континуум, зависящий от времени, типа канала и географии. Поэтому в модели следует аккуратно учитывать:

различия каналов и типологии магазинов (форматы: крупный, малый, онлайн‑класс, дисконт);
сезонность и промо‑активность;
синхронизацию данных между источниками: POS, аудит и агрегированные данные поставщиков.

Метрики присутствия и расчеты

Ключ к пониманию дистрибуции лежит в корректных метриках: охват, доступность и плотность присутствия. Эти метрики позволяют сравнивать продукты и бренды, выявлять зоны роста и дефицита, а также контролировать исполнение планов по ассортименту и промо‑кампаниям.

Основные метрики:

Presence rate (охват): доля магазинов, в которых продукт присутствует в заданном периоде.
Availability rate (доступность): доля магазинов, где продукт не только присутствует, но и по факту имеет наличие на полке.
Share of Shelf (доля полки): отношение продаж продукта к продажам всей номенклатуры в категории в магазинах присутствия.
Density (плотность присутствия): число магазинов в географическом регионе или формате, где продукт присутствует.
Time to presence: время, прошедшее с момента размещения товара в магазине до первого присутствия в периоде.

Расчеты обычно выполняются в рамках датасета Presence_Fact, используя dimension tables для группировок. Примеры формул:

Presence_rate per product: число магазинов с presence_flag = 1 в периоде делённое на общее число магазинов в universe.
Availability_rate: число магазинов с in_stock_flag = 1 в периоде делённое на число магазинов с presence_flag = 1.
Share_of_Shelf: сумма sales_value по продукту в магазиных присутствия делённая на сумму sales_value по всем продуктам той же категории в тех же магазинах.

Для иллюстрации ниже приведён SQL‑пример расчёта охвата по товарам за период. Этот пример демонстрирует логику агрегирования по магазинам и продукты, и может служить основой для дальнейших кастомизаций под бизнес‑правила.

-- Пример: расчёт охвата товара по магазинам за период
SELECT
  p.product_key,
## COUNT(DISTINCT pf.store_key) AS stores_present,
  (SELECT COUNT(*) FROM store_dim) AS total_stores,
  ROUND(COUNT(DISTINCT pf.store_key) * 1.0 / NULLIF((SELECT COUNT(*) FROM store_dim), 0), 4) AS presence_rate
## FROM presence_fact pf
JOIN date_dim d ON pf.date_key = d.date_key
JOIN product_dim p ON pf.product_key = p.product_key
WHERE d.date_value BETWEEN '2026-01-01' AND '2026-01-31'
  AND pf.presence_flag = 1
GROUP BY p.product_key
ORDER BY presence_rate DESC;

Эти расчеты дают бизнес‑пользователю ясную картину того, какие товары присутствуют в наибольшем числе магазинов и где необходимы корректировки по цепочке поставок, каталогу или промо‑плану. Важно обеспечить корректное агрегирование по времени: если период включает смену форматов, стоит разделять данные по каналам и типам магазинов, чтобы не путать присутствие в разных контекстах.

Для повышения точности можно дополнительно учитывать:

нормализацию по размерности магазина (формат, лояльность, торговые площади);
устойчивость данных к изменениям в каталогах;
сравнение присутствия между периода противоположной динамики (моделико влияния промо‑акций).

Интеграция источников, качество данных и ETL/ELT

Эффективность анализа дистрибуции во многом зависит от качества и полноты данных. Типичные проблемы включают несовпадение идентификаторов магазинов и продуктов, различия в календарях, несогласованные статусы наличия и продаж, а также пропуски в данных по периодам.

Лучшие практики:

единая система мастера (Master Data Management) для магазинов, продуктов и каналов; поддержка SCD‑тип 2 для сохранения историчности атрибутов.
ежка ответственность за источники: закрепление владельцев данных и регламентов обновления.
процедуры контроля качества данных на входе в ODS (скрытые дубликаты, пропуски, аномалии).
согласование календарей: унификация дат и периодов, чтобы не возникали расхождения между датами продаж, наличия и аудитов.
линейная прослеживаемость данных: детальное документирование lineage от источника к отчетам.
обработка пропусков и падение качества: использование fallback‑правил, например, наличие в прошлых периодах или внешние прогнозы.

ETL/ELT‑практики:

инкрементальные загрузки с использованием CDC‑потоков или триггерных изменений;
idempotentные загрузки и повторная обработка без инициирования дублирования;
проверка качества на каждом этапе пайплайна: валидность ключей, диапазоны значений, консистентность между фактами и измерениями;
управление изменениями схемы: версионирование, миграционные скрипты и тестирование на отдельных окружениях;
мониторинг и алерты: обнаружение рассинхронов между источниками и целевыми таблицами.

Интеграционная часть должна быть тесно связана с политикой безопасности: ограничение доступа к чувствительным данным, аудит изменений и защита от несанкционированного доступа к витринам данных.

Внедрение, эксплуатация и практические рекомендации

Осуществление внедрения анализа присутствия требует последовательности шагов и осторожности в управлении изменениями. Ниже приведены практические этапы и принципы.

Выбор целевых KPI и сценариев использования: определить, какие метрики и дашборды наиболее полезны для бизнес‑пользователей: охват по региону, по каналу, по формату магазина, по брендам; как эти данные будут сочетаться с планами продаж и промо‑акциями.
Пилотная реализация на одном регионе или формате: начать с малого, чтобы проверить консистентность данных, качество, показатели и восприятие пользователями.
Миграция к единой схеме: по мере расширения пилота, централизовать источники и привести их к единому набору ключей и атрибутов.
Обеспечение качества и управления данными: разработка методик валидации и автоматических тестов; регулярные проверки соответствия между источниками и целями.
Обеспечение безопасности и соответствия: разграничение доступа к данным в зависимости от роли, журналирование действий и соблюдение регуляторных требований.
Управление изменениями и коммуникации: защита бизнес‑пользователей от неожиданных изменений; внедрить процесс согласования и документирования обновлений.
Масштабирование: планирование расширения до новых каналов и регионов, поддержка параллельной загрузки и миграции по мере роста объёмов данных.

Практический подход к внедрению предполагает параллельное развитие архитектуры и процессов в течение нескольких релизов: сначала создание ядра через Presence_Fact и базовые измерения, затем добавление дополнительных метрик и источников, расширение KPI и политик качества, и, наконец, внедрение продвинутых алгоритмов анализа и автоматизированной визуализации.

Key takeaways

Присутствие товара в торговой точке - это сочетание данных о наличии, размещении на полке и фактических продажах; корректная система учета требует единых мастеров и конформности ключевых измерений.
Базовая архитектура должна включать ODS/дименсионную модель в звездной схеме: Presence_Fact и соответствующие Dimension‑таблицы (Date, Store, Product, Channel, Geography).
Метрики присутствия должны сочетать охват (presence_rate), доступность (in_stock_rate) и дополнительные KPI, такие как доля полки и плотность присутствия, чтобы дать бизнес‑пользователям полную картину.
Качественные данные и стабильные пайплайны (ETL/ELT) - залог точности расчетов: единая система мастера данных, контроль качества, управление версиями атрибутов.
Внедрение следует строить на пилотах, затем расширяться строго по плану, поддерживая прозрачность lineage, управление изменениями и устойчивость к сбоям.
SQL‑модели и простые аналитические примеры позволяют быстро проверить гипотезы о присутствии и eficiencia дистрибуции, но требуют адаптации под специфику бизнеса и источников данных.

FAQ

Что именно означает понятие “присутствие” в контексте дистрибуции?

Присутствие охватывает факт наличия товара в торговой точке в заданный период, включая размещение на полке и доступность к покупке. Это не тождественно продажам: товар может присутствовать, но продажи отсутствуют из‑за промо‑циклов, дефицита или конкурирующих брендов. Аналитика присутствия позволяет выявлять пробелы между размещением и фактическими продажами, а также планировать меры по оптимизации ассортимента и логистики.

Какие данные для анализа присутствия понадобятся в DWH?

Необходимы данные по времени (Date), магазинам (Store), товарам (Product), каналам продаж (Channel), географии (Geography) и промо‑активностям, а также флаг присутствия и наличия (presence_flag, in_stock_flag) и показатели продаж (sales_value, sales_volume). Мастер‑данные по магазинам и товарам должны быть согласованы и поддержаны версионностью.

Как объединить данные из разных источников?

Важно иметь единые ключи и конформированные dimension tables. Это достигается через MDM‑подход и строгий контроль идентификаторов. Для источников с несовпадающими кодами применяются сопоставления/маппинги и процессы урезания дубликатов. Источники должны снабжаться линейкой lineage для поддержания прозрачности происхождения данных.

Какие KPI наиболее полезны для принятия решений?

Охват присутствия (Presence_rate), доступность (Availability_rate), доля полки (Share_of_Shelf) и плотность присутствия (Density) по регионам, каналам и форматам. В сочетании с продажами по тем же параметрам они позволяют оценивать эффективность дистрибуции и соответствие планам.

Какие риски и как их снижать?

Риски включают несоответствие идентификаторов, пропуски в источниках и различия в календарях. Снижение рисков достигается через единый мастер‑данных слой, автоматические проверки качества, CDC‑потоки для инкрементальных загрузок и тестовые окружения для миграций схем.

Какова роль ETL/ELT в данном контексте?

ETL/ELT обеспечивают получение, нормализацию и консолидацию данных из множества источников в единое хранилище. Важно применять идемпотентные загрузки, контроль версий и обработку ошибок. ELT позволяет использовать мощности хранилища для трансформаций, снижая задержки и ускоряя сроки получения аналитических результатов.

Какие подходы позволяют масштабировать модель?

Расширение диаграмм и размерностей под новые каналы и регионы, добавление новых фактов (например, Supply_Fact для логистической доступности), а также внедрение более продвинутых алгоритмов анализа с использованием временных рядов, кластеризации по форматам магазинов и учётом сезонности.

Как начать внедрение пилотного проекта?

Определить одну географическую область или один канал, сформировать набор KPI, собрать данные и построить базовую звездную схему Presence_Fact + измерения, запустить пилот на ограниченном наборе магазинов и периодов, проверить качество данных и восприятие пользователями, затем планомерно распространять на остальные регионы.

Какие инструменты и технологии подходят для такой архитектуры?

Рекомендованы инструменты для интеграции данных (Airflow, NiFi), обработки и трансформаций (dbt, Spark), хранилище данных (плоские/колоночные базовые решения, DWH в виде облачных или локальных решений), BI‑платформы для визуализации присутствия и продаж. При этом следует избегать перегрузки множества инструментов - достаточно выбрать 2-3 взаимодополняющих решения и соблюдать стандартные подходы к конфигурации.

Что важнее на старте: качество источников или скорость загрузки?**

В рамках анализа присутствия важнее качество данных и конформность моделей. Скорость загрузки имеет значение, но без корректного качества и согласованности данные приводят к неверным выводам. Поэтому на старте целесообразно закладывать стойкую систему контроля качества и версионирования мастеров, даже если скорость загрузки временно уступает идеальному режиму.

← Предыдущая статья

Анализ третичных продаж - анализ потребительского спроса в периоды маркетинговых кампаний

Следующая статья →

Анализ дистрибуции - анализ числовой дистрибуции товаров по регионам