Что такое DWH и зачем компании хранилище данных

DWH, или data warehouse, — это корпоративное хранилище данных, в котором собирают, очищают и объединяют информацию из разных систем компании: CRM, ERP, сайта, складского учета, продаж, финансов и других источников. В отличие от обычной базы данных, DWH создается не для ежедневных операций, а для аналитики, отчетности и принятия управленческих решений.

С помощью DWH компания может видеть историю изменений, сравнивать показатели по периодам, строить BI-дашборды, контролировать KPI и находить связи между процессами, которые в отдельных системах не видны. В статье разберем, что такое DWH, чем оно отличается от базы данных, как устроены ETL-процессы и почему без хранилища данных корпоративная аналитика быстро упирается в хаос.

Что внутри:

что такое DWH простыми словами;
чем хранилище данных отличается от обычной базы данных;
какие данные попадают в DWH;
зачем компании исторические и агрегированные данные;
как DWH связано с ETL и ELT;
какую роль DWH играет в BI-аналитике и отчетности;
почему DWH помогает принимать управленческие решения;
когда бизнесу пора задуматься о корпоративном хранилище данных.

Тем, кто работает в крупном бизнесе, периодически приходится слышать три магические буквы — DWH. Узнав расшифровку этой аббревиатуры — data warehouse, можно догадаться, что это имеет отношение к данным. А вот чем DWH отличается от простых баз данных, почему вокруг них снуют рои бизнес-аналитиков и зачем вашей компании иметь такую штуку — это всё еще непонятно. Разбираемся в статье.

DWH — что это и в чем отличие от баз данных

Data warehouse — склад всех нужных и важных для принятия решений данных компании.

Но есть же всякие базы данных внутри фирмы, разве они не DWH? Например, СУБД с клиентами, складскими запасами или покупками. Где разница между обычной базой данных и DWH?

Разница вот в чем:

Типы хранимых данных. Обычные СУБД хранят данные строго для определенных подсистем. База данных склада хранит складские запасы и ничего более. База данных кадровиков хранит данные по персоналу, но не товары или сделки. DWH, как правило, хранит информацию разных подразделений — там найдутся данные и по товарам, и по персоналу, и по сделкам.
Объемы данных. Обычная БД, которая ведется в рамках стандартной деятельности компании, содержит только актуальную информацию, нужную в данный момент для функционирования определенной системы. В DWH пишутся не столько копии актуальных состояний, сколько исторические данные и агрегированные значения. Например, состояние запасов разных категорий товаров на конец смены за последние пять лет. Иногда в DWH пишутся и более крупные пачки данных, если они имеют критическое значение для бизнеса — допустим, полные данные по продажам и сделкам. То есть, по сути, это копия СУБД отдела продаж.
Место в рабочих процессах. Информация обычно сразу попадает в рабочие базы данных, а уже оттуда некоторые записи переползают в DWH. Склад данных, по сути, отражает состояние других БД и процессов в компании уже после того, как вносятся изменения в рабочих базах.

Короче говоря, DWH — это система данных, отдельная от оперативной системы обработки данных. В корпоративных хранилищах в удобном для анализа виде хранятся архивные данные из разных, иногда очень разнородных источников. Эти данные предварительно обрабатываются и загружаются в хранилище в ходе процессов извлечения, преобразования и загрузки, называемых ETL. Решения ETL и DWH — это (упрощенно) одна система для работы с корпоративной информацией и ее хранения.

Что дают DWH-решения для BI и принятия решений в компании

Понятное дело, что просто так тратить деньги и время на консервирование кучи разных записей, которые и так можно накопать в других базах данных, никто не станет. Ответ заключается в том, что DWH необходима для того, чтобы делать BI — business intelligence.

Что такое BI с DWH? Бизнес-аналитика (BI) — это процесс анализа данных и получения информации, помогающей компаниям принимать решения.

Допустим, у вас в онлайн-магазине упала выручка. Менеджеры зовут на помощь бизнес-аналитика и просят его разобраться. Тот идет в DWH, вынимает оттуда данные по продажам, выручке, количеству пользователей, расходам — и собирает отчет, который в подробностях и с цифрами говорит о причинах падения финансовых показателей. Менеджеры внимательно смотрят на эту информацию и принимают решения по реорганизации ассортимента товаров и маркетинговых политик.

Если бы такого аналитического отчета не было — управленцам пришлось бы искать проблему наугад.

Логичный вопрос: казалось бы, зачем держать для этого всего DWH? Аналитики вполне могут ходить в базы данных разных систем и просто выдергивать оттуда то, что им надо.

Ответ: так, конечно, тоже можно делать. Но — не нужно. И вот почему:

Доступ к нужным данным. Если компания большая, на получение данных из разных источников нужно собирать разрешения и доступы. У каждого подразделения в такой ситуации, как правило, свои базы данных со своими паролями, которые надо будет запрашивать отдельно. В DWH все нужное уже будет под рукой в готовом виде. Можно просто пойти и дернуть там необходимую статистику.
Сохранность нужных данных. Данные в DWH не теряются и хранятся в виде, удобном для принятия решений: есть исторические записи, есть агрегированные значения. В операционной базе данных такой информации может и не быть. Например, админы уж точно не будут хранить на складском сервере архив запасов за 10 лет — БД склада в таком случае была бы слишком тяжелой. А вот хранить агрегированные запасы со склада в DWH — это нормально.
Устойчивость работы бизнес-систем. DWH оптимизируется для работы аналитиков, а эти ребята могут запрашивать очень большие объемы информации. Если они будут делать это с помощью DWH — ничего страшного, даже если их запрос будет обрабатываться очень долго. А если запросить слишком много записей с боевой базы данных сервера — он может уйти в отказ до конца выполнения запроса от аналитики и создать проблемы для других систем. DWH исключает риск того, что аналитики что-то повесят или сломают.

Для работы с большими данными используют различные решения, обрабатывающие информацию из DWH. SAS, VK Cloud Solutions (бывш. MCS) и другие компании предлагают различные варианты коробочных и облачных решений под такие задачи.

Почему бизнес-аналитика невозможна без DWH

DWH и бизнес-аналитики переводят управление компаниями из искусства в науку. Имея под рукой результаты измерений по сотням показателей, можно выдвигать гипотезы и ставить эксперименты. Правильные решения легко подтверждаются объективными цифрами, которые достают аналитики из DWH.

Оптимальные управленческие решения — это не всегда максимизация прибыли. Это еще и выращивание новых производственных мощностей, минимизация негативного влияния на экологию, достойное качество жизни сотрудников, лояльность клиентов и стабильность бизнеса в долгосрочной перспективе. Все эти, казалось бы, сложные и эфемерные показатели можно анализировать с помощью BI и данных из DWH.

Без DWH и аналитиков управление бизнесом превращается в слепую езду по льду — возможно, при определенной сноровке вы попадете куда надо, но шансов улететь в сугроб или в столб все же куда больше.

Вопрос: Что такое DWH?

Ответ: DWH, или data warehouse, — это хранилище данных, где компания собирает информацию из разных источников в едином виде для аналитики, отчетности и принятия решений.

Вопрос: Чем DWH отличается от обычной базы данных?

Ответ: Обычная база данных обычно обслуживает конкретную операционную систему: продажи, склад, персонал или сайт. DWH объединяет данные из разных систем, хранит историю и готовит данные для анализа.

Вопрос: Зачем компании нужно DWH?

Ответ: DWH помогает собрать разрозненные данные в одном месте, построить единую отчетность, анализировать историю, контролировать KPI и принимать решения на основе полной картины бизнеса.

Вопрос: Как DWH связано с ETL?

Ответ: ETL — это процесс извлечения, преобразования и загрузки данных в хранилище. С его помощью данные из разных систем очищаются, приводятся к единому формату и попадают в DWH.

Вопрос: Чем DWH полезно для BI?

Ответ: BI-системы используют подготовленные данные из DWH для отчетов, дашбордов и аналитики. Без хранилища BI часто работает с разрозненными источниками, что приводит к дублям, ошибкам и разным версиям показателей.

← Предыдущая статья

DWH как продукт: платформа, инструменты, масштабирование команды

Следующая статья →

Архитектура корпоративного хранилища данных