DWH: почему бизнес боится данных и как мы можем решить эти страхи раз и навсегда
Хранилище данных (DWH) — это единый источник достоверных данных, куда информация из разных систем компании (например, CRM, ERP, сайта) собирается, очищается и структурируется, чтобы бизнес мог принимать обоснованные решения. Это мощнейший инструмент для повышения эффективности решений, контроля процессов и прогнозирования. Но за его созданием и поддержкой скрываются настоящие «монстры», которые не на шутку пугают современный бизнес: высокие затраты, долгие сроки реализации и зависимость от узких специалистов.
Мы не будем говорить о технических тонкостях. Мы поговорим о деньгах, рисках и решениях, потому что, как известно, главное в бизнесе — это прибыль, а не технологии сами по себе.
Самые большие затраты при работе с DWH — это не железо и не софт, а фонд оплаты труда (ФОТ) - то есть зарплаты высококвалифицированных специалистов, которые проектируют, разрабатывают и поддерживают это хранилище. Для работы с DWH требуются уникальные кадры: архитекторы данных, дата-инженеры, ETL-разработчики, BI-аналитики. Их экспертиза на рынке стоит дорого, а дефицит таких специалистов еще больше увеличивает их зарплатные ожидания.
Далее, построение DWH — это не быстрый проект, это сложный многоэтапный процесс, который измеряется месяцами, а иногда и годами, в течение которых команда высокооплачиваемых специалистов получает зарплату, не принося моментальной готовой ценности бизнесу. Это пугает руководителей, привыкших к быстрому ROI.
И еще один важный факт, DWH — это не "построил и забыл". Это живой организм, который требует постоянной дорогостоящей поддержки (мониторинг и исправление падающих процессов загрузки данных, добавление новых источников данных и изменение логики под постоянно меняющиеся требования бизнеса,
оптимизация производительности медленных отчетов и запросов). Все это приводит к постоянным и прогнозируемым высоким затратам на ФОТ.
Дорогие специалисты, долгие месяцы разработки и поддержки — вот что пугает бизнес лидеров больше всего!
Создание хранилища с нуля: дорого, долго и сложно
Компании не хватает своих экспертов, а процесс растягивается на месяцы и требует больших инвестиций.
Что делать?
Вообще не создавать DWH. Оставить сотрудников работать в Excel — это, конечно, решение, но оно ведет к ошибкам, медленной отчетности и упущенным возможностям. Ваш отдел продаж будет неделями готовить отчет вручную, пока Ваши конкуренты уже успеют адекватно отреагировать на изменение спроса.
Сделать «кое-как». Быстрая самодельная система может сработать краткосрочно, но потом её все равно придется переделывать с нуля, потратив в разы больше ресурсов. Такое хранилище «лопнет» в самый ответственный момент, например, при росте нагрузки в конце квартала.
Полностью отдать на аутсорс консалтингу. В этом случае Вы рискуете сесть на «консалтинговую иглу». Продукт есть, но любая доработка или исправление ошибки потребует повторного обращения к подрядчику. А это уже зависимость и бесконечные расходы.
Мы считаем, что наилучшим решением может стать гибридная модель, при которой команда экспертов быстро развертывает ядро хранилища на современных открытых технологиях (open-source), что резко снижает затраты на лицензии. Одновременно Вы активно обучаете Ваших специалистов, передавая им экспертизу и обеспечивая независимость в будущем.
Развитие и поддержка: бизнес ждет, а IT не успевает
Бизнес-подразделения «дерутся» за место в плане разработки. Новые отчеты и дашборды делаются месяцами. Пока IT реализует одну задачу, бизнес теряет деньги из-за отсутствия оперативной аналитики.
Например, маркетинг запускает кампанию и хочет ежедневно видеть эффективность каналов. Через месяц данные появляются в DWH, еще через две недели — отчет. За это время даже самый большой рекламный бюджет может быть потрачен крайне неэффективно. Кроме того, есть риск, что бизнес-пользователи, не дождавшись поддержки от IT, начнут строить свои «теневые» системы анализа в Excel, множа ошибки и создавая хаус.
Чтобы не допустить ничего подобного в рамках Вашей компании, мы предлагаем внедрить инструменты автоматизации разработки ETL-процессов. Это позволяет в разы сократить время на добавление нового источника данных с недель до дней: предоставить бизнес-аналитикам возможность самим формировать простые отчетные витрины с помощью SQL, без ожидания разработчиков, а также автоматизировать тестирование и развертывание, минимизируя риски поломки.
Дорогое администрирование и проблемы с лицензиями
Всем известно, что содержание штата администраторов БД обходится достаточно дорого. Да и лицензии на коммерческое ПО (например, Microsoft, Oracle) составляют огромную статью расходов. Уход иностранных вендоров с рынка заставляет срочно искать альтернативы.
Одно из самых очевидных решений состоит в попытке сэкономить на администрировании, поручив его неспециалистам. Но здесь надо помнить о большом риске, а именно о возможной потере данных и срыве отчетности.
Миграция с одной платформы на другую — еще одно возможное решение , но это сложно, долго и очень дорого. Чем больше ваше хранилище, тем дороже и рискованнее переезд.
Мы считаем, что оптимальным решением в данном случае может стать построение DWH на стеке открытого ПО (Apache Airflow, PostgreSQL, ClickHouse и др.), которое не требует лицензионных отчислений. В этом случае Вы можете воспользоваться услугами управляемого сервиса, когда сторонняя команда полностью берет на себя администрирование, мониторинг и поддержку Вашего хранилища за фиксированную ежемесячную плату. Вы получаете предсказуемый бюджет и высвобождаете свои IT-ресурсы для других задач.
Автоматизация процесса разработки и эффективная борьба с главными страхами
Основные затраты — это ручной труд на этапах загрузки, преобразования данных и создания отчетов.
Раньше процесс разработки выглядел так:
- Анализ требований – очень долго, десятки встреч и миллион уточнений;
- Загрузка данных – дорого, разработчики вручную пишут сложные ETL-скрипты;
- Преобразование данных – еще дороже, построение моделей, очистка, агрегация — тысячи строк кода;
- Создание отчета – долго! Разработка, согласование и тестирование отнимают кучу времени;
- Внедрение – крайне рискованное мероприятие.
Какой подход предлагаем мы:
- Анализ требований остается за человеком - это творческая задача, требующая внимательного подхода к каждой детали;
- Автоматизация процессов загрузки и преобразования. Наша платформа по описанию источника и целевой модели данных сама генерирует до 80% кода для ETL-процессов.
- Упрощение процессов создания отчетности: аналитик пишет один SQL-запрос к готовому слою данных, а система сама создает и планирует обновление витрины.
- Внедрение — всего за один клик. Система автоматически тестирует и развертывает объекты на прод.
Рассмотрим один интересный кейс. У средней ритейл-сети есть одна неприятная проблема - отчеты по остаткам и продажам готовятся 5 дней. Эксперты принимают решение о внедрении автоматизированного DWH на open-source ресурсов. Результат - ежедневные отчеты готовы к 9:00 утра (!) Что было сделано: подключено 15 ключевых источников данных всего за 2 месяца (а не за полгода, как это бывает при классической разработке). Бизнес-аналитики теперь сами строят 70% отчетов в системе визуализации, не обращаясь к разработчикам. Несомненный плюс – это сокращение ФОТ на содержание команды разработки ETL на 40%.
Данные действительно важны, но их подготовка не должна быть головной болью
Страхи бизнеса перед хранилищем данных вполне обоснованны, но не стоит на них зацикливаться. Для организаций, чьи потребности нельзя назвать глобальными, автоматизация процессов становится ключевым преимуществом, позволяющим преодолеть главные барьеры — опасения перед высокой стоимостью и длительными сроками реализации. Именно эти страхи часто мешают компаниям развернуть собственное хранилище данных или начать глубокий анализ недостающей информации.
Наша команда разработала решение, которое вполне успешно решает эти задачи. О практических результатах его внедрения — как успехах, так и трудностях — мы планируем рассказать в следующих публикациях.
В заключение отметим: ценность представляют не сами данные, а те выводы, которые можно из них извлечь. Поэтому наша (и Ваша) главная цель — минимизировать время на подготовку информации и максимизировать возможности для её анализа.
