Создание аналитического хранилища данных
Этапы внедрения
На первом этапе команда интегратора создает дорожную карту для перехода с существующей платформы на Modus и подготавливает описание ETL-процессов и Data Pipeline. Дальше разворачивает систему, интегрирует с источниками, настраивает сценарии трансформации данных и расписание работы ETL-процессов для формирования корпоративного хранилища данных (ClickHouse, PostrgreSQL и т.п.).
После этого наступает этап тестирования и ввода системы в промышленную эксплуатацию. А затем уже - техническая поддержка по проекту, настройка существующих решений и их оптимизация.
Стадии проекта
- Подготовка источников данных (информационная система, СУБД, 1С, web-сервис и т.п.).
- Проектирование структуры корпоративного хранилища данных (DWH);
- Настройка правил получения и обработки данных в DWH в соответствие со сценариями ETL-процессов.
- Создание и настройка дашбордов с помощью конструктора.
- Обучение пользователей работе с DWH и созданию своих BI-отчетов.
- Самостоятельная работа с данными и отчетами в режиме self-service.
- Развитие аналитических разрезов на основе рекомендаций BI-команд и отделов аналитики (омниканальность, сквозная веб-аналитика, геоаналитика и др.).
- Интеграция бизнес-аналитики с машинным обучением и прогнозной аналитикой (библиотеки Python).
- Расширение разрезов Data Lake за счет интеграции с новыми источниками и другими типами хранения данных.
Возможная схема реализации
Результаты
- Созданное единое корпоративное хранилище на основе первичных источников;
- Настроенные аналитические дашборды в BI-платформе.
Типы хранимых данных
Платформа Modus ETL автоматизирует сбор данных из различных источников, обеспечивает процессы верификации, нормализации и последующего формирования единого корпоративного хранилища данных.
