Alpha BI - Описание функциональных блоков
Модуль интеграции и обработки данных (ETL)
ETL-процессор извлекает и преобразует данные, приводит их к необходимому формату в соответствии с заданными правилами и выгружает данные в другие базы данных.
Источники данных
- База данных (Oracle, MS SQL, PostgreSQL, Firebird, Informix, InfiniDB, Greenplum)
- Подключение к 1C: Предприятие 8.xx
- FTP-сервер
- Файл из внешнего или внутреннего хранилища (XLS, XLSX, CSV, XML, JSON, DBF, XBRL)
- Внутреннее хранилище Alpha BI
- Сетевой диск, используя учетные данные
- Файловая система
- Web-сервисы (HTTP сервис, SOAP сервис / Rest)
- Асинхронные сервисы
- Генератор строк
Операции с данными
(каждая обработка может быть применена неограниченное количество раз)
- Добавление вычисляемого значения (большая библиотека формул)
- Изменение структуры данных
- Чтение структуры каталогов
- Наложение фильтра
- Архивирование/разархивирование в ZIP
- Сортировка
- Удаление дубликатов
- И т.д.
Функции ETL Alpha BI
- Настройка алгоритмов обработки данных в форме дерева блоков-обработчиков
- Возможность графического отображения структуры алгоритма
- Подсветка совместимых блоков при создании процессов ETL
- Настройка периодичности обработки данных с указанием даты начала выполнения алгоритма, его завершения и периодичности запуска
- Информирование администратора Платформы о результатах выполнения алгоритмов с указанием трассировки передачи данных между блоками-обработчиками внутри алгоритма, фиксации времени работы каждого блока в отдельности, в случае неуспешного завершения работы алгоритма – указание причины ошибки и ее локализацию внутри алгоритма
- Предпросмотр результатов работы для отдельных блоков-обработчиков, включая генерацию внешней ссылки для каждого блока-обработчика
- Автозаполнение набора полей структуры данных
Основной источник данных хранилища — ETL-процессор, который наполняет базу структурированной информацией.
В рамках подготовки данных ETL-процессор производит добавление вычисляемого значения, изменение структуры данных, наложение фильтра, архивацию/разархивацию, сортировку, удаление дубликатов.
Для отслеживания информации по всем запущенным ETL-процессам в системе используется раздел «Монитор ETL», в котором можно просмотреть статус выполнения процессов, протоколы запусков, остановить ранее запущенные процессы.
Аналитическое хранилище данных DWH
Централизованное хранилище данных обеспечивает интеграцию данных из различных информационных систем и источников. Основным источником данных хранилища является ETL-процессор, который наполняет базу структурированной информацией.
Функции хранилища Alpha BI
- Достоверность и согласованность данных. Возможна проверка непротиворечивости информации, поступающей из различных источников, обработка данных для повышения быстродействия работы Платформы
- Очистка входящих данных
- Хранение текущих, плановых, ретроспективных данных
- Возможность версионирования данных с определением срока действия и признака актуальности записи
- Обеспечение многопользовательского доступа к данным с поддержкой соответствующих механизмов блокировок и средств авторизованного доступа, начиная с реестра в целом, заканчивая конкретной строкой в частности
Работа с большими данными в Alpha BI реализуется благодаря возможности работы с файловым хранилищем HDFS (Hadoop) и массово параллельной СУБД Greenplum. Эти инструменты позволяют, используя ETL, из холодных данных сформировать озеро данных, по которому в дальнейшем строить аналитику.
Аналитическое хранилище − специальным образом организованный массив данных компании (организации), обрабатываемый и хранящийся в едином аппаратно-программном комплексе, который обеспечивает быстрый доступ к оперативной и исторической информации, многомерный OLAP анализ данных (KPI по различным измерениям), получение статистики в разрезах согласованной нормативно-справочной информации (НСИ).
Аналитические отчеты OLAP
Продукт Alpha BI включает инструменты построения многомерной модели и многомерного анализа модели данных OLAP.
Функции OLAP-клиента Alpha BI
- Задавать произвольное распределение измерений по строкам и столбцам
- Задавать произвольную сортировка элементов измерений и показателей - может быть применена по визуальному элементу управления или путем определения формулы в синтаксисе MDX.
- Задавать произвольную фильтрация элементов измерений и показателей - может быть применена по визуальному элементу управления или путем определения формулы в синтаксисе MDX.
- Создавать расчетные элементов измерений и показателей в продвинутом редакторе формул MDX с полноценной поддержкой синтаксиса MDX и технологии IntelliSense.
- Просматривать строки фактов куба, на основании которых сформирована конкретная ячейка (drill-down)
- Создавать переменные, которые могут использоваться:
- для передачи контекста из других аналитических инструментов (виджетов аналитических панелей)
- для определения параметров формирования представления
- Отображать данные в табличном виде и в виде диаграммы.
- Создавать условное форматирование для обеспечения наглядности при исследовании и анализе данных.
OLAP-кубы содержат в себе базовые данные и информацию об измерениях (характеристиках базовых данных). Куб потенциально содержит всю информацию, которая может потребоваться для ответов на любые запросы по включенным в него данным. Он представляет собой многомерный набор данных (называемый также гиперкубом или метакубом), оси которого содержат параметры, а ячейки — зависящие от них агрегатные данные. Вдоль каждой оси данные могут быть организованы в виде иерархии, представляющей различные уровни их детализации.
Для обеспечения быстрого доступа к данным реализованы механизмы кэширования данных в памяти аналитического сервера, а также выработаны методологии проектирования аналитического хранилища, которые позволяют обеспечить максимальную скорость получения данных в зависимости от объемов информации и аналитических задач. Операция выборки осуществляется после задания ее параметров пользователем, т.е. работа осуществляется не со всем массивом, а с набором данных, требуемых «здесь и сейчас».
При анализе данных и построении конечных отчетов возникает потребность выстраивать иерархию данных (годы состоят из месяцев, месяцы состоят из дней, города расположены на территории областей, которые, в свою очередь, являются частью стран). OLAP-кубы структурируют данные с точки зрения иерархий и взаимоотношений с другими параметрами одной и той же сущности.
Анализ данных предполагает переход от частного к общему, поэтому одной из важнейших функций является агрегирование информации. OLAP предусматривает различные варианты агрегатов для данных, включая их расположение, видимость и формулы агрегирования с возможностью переключения без перезапроса исходных данных.
Поддерживается многопользовательский доступ к данным с поддержкой средств авторизованного доступа к элементам кубов.
Формы вывода для анализа плоских данных (Грид / Grid)
Формы вывода — инструмент для просмотра, ввода, редактирования и анализа «плоских» данных.
Функции форм вывода Alpha BI
- Создание форм вывода по заданным шаблонам
- Сортировка, фильтрация, группировка данных
- Настройка правил проверки корректности отображаемых данных (маски ввода, фильтрация и др.)
- Формирование сводных отчетных форм
- Условное форматирование
- Выгрузка данных
Интерактивные аналитические панели (Dashboards)
Конструктор аналитических панелей позволяет визуализировать показатели с помощью различных виджетов (диаграммы, графики, схемы и т.д.).
Система поддерживает связи между виджетами, то есть изменение состояния одного виджета автоматически влияет на другой. Посредством таких аналитических панелей пользователи могут следить за текущим состоянием ключевых показателей и процессов и сравнивать их с намеченными, целевыми значениями. Такие панели позволяют извлекать операционную информацию из бизнес-приложений и делают ее доступной в реальном времени. Конструктор аналитической панели позволяет создавать несколько слоев визуализации, на каждом из которых пользователь посредством drag&drop может перенести и разместить визуализаторы.
Между элементами аналитической панели возможна настройка событийной модели, позволяющей передавать данные из одного элемента в другой, скрывать или показывать отдельные элементы, запускать действия.
Построение визуализации возможно, как на плоских источниках данных, так и на многомерных.
Каждая аналитическая панель представляет собой набор областей, связанных между собой пространственными указателями, имеющих длину и ширину, и служащих контейнерами для виджетов. Кроме линейных размеров, есть возможность задать пропорциональные размеры контейнеров и содержащихся в них виджетов. Пространственная конфигурация областей формируется вертикально, горизонтально и звездообразно. Каждый контейнер может включать в себя несколько виджетов и эти виджеты могут быть взаимосвязаны.
Количество аналитических панелей, создаваемых в системе, ограничено только аппаратными мощностями, кроме того каждая панель имеет идентификатор, позволяющий осуществить прямой доступ к ней. Любая аналитическая панель может быть скопирована.
Доступны следующие типы виджетов:
- Фрейм (используется для добавления на дашборд внешних ссылок)
- Надпись (текст с настройкой типа, размера, цвета шрифта и выравниванием по двум осям)
- Изображение (обеспечивает добавление изображений как из внешних, так и внутренних источников данных)
- Индикатор (анимированная форма в виде шкалы с указателем)
- OLAP (отображение информации здесь аналогично подсистеме анализа)
- Таблица (может содержать в качестве данных бизнес-объект, отчет или справочник)
- Список (обычный, выпадающий, древовидный, группа кнопок)
- Диаграмма
- Таблица детализации
Виджет «Диаграмма» поддерживает следующие типы диаграмм и настроек:
- График
- Точечная диаграмма
- Диаграмма с областями
- Гистограмма
- Стопочная гистограмма
- Круговая диаграмма
Диаграммы позволяют:
- Накопление и нормализацию данных
- Настройка отступов со всех четырех сторон
- Настройка легенды
Виджеты, использующие источники данных, поддерживают создание связей между собой, когда изменение детализации одного виджета автоматически влияет на другой.
Виджет «Таблица детализации» реализует механизм drill-through (выборка из фактов куба, на основании которых сформирована ячейка OLAP). При этом возможна многоуровневая группировка/сортировка/фильтрация таблицы, экспорт в форматы Microsoft Excel и *.pdf.
Виджеты, использующие одинаковые источники данных, поддерживают создание связей между собой.
Регламентные отчеты (Reports)
- Платформа позволяет создавать регламентные отчеты:
- Наличие интуитивно-понятного конструктора отчетов
- Параметризация отчетов
- Предпросмотр и выгрузка отчетов
- Источники данных для отчетов – реестры, OLAP
Регламентированные отчеты — это форматированное представление данных, которое выводится на экран, в печать или файл.
Отчеты позволяют извлечь из базы нужные сведения и представить их в виде, удобном для восприятия, а также предоставляют широкие возможности для обобщения и анализа данных.
Функции регламентированных отчетов Alpha BI
- Использование OLAP-представлений как источника данных;
- Использование БО как источника данных;
- Экспорт (печать) отчетов в формате Excel;
- Разработан интерфейс настроек форматирования;
- Возможность создания параметрических отчетов;
- Возможность добавления новой таблицы (новой вкладки);
- Использование режима предпросмотра;
- Использование формул в ячейках (по аналогии с формулами в Excel).
Платформа позволяет создавать регламентные отчеты любой сложности. Данные для отчета могут храниться в кубах и бизнес-объектах, а также поступать напрямую из сторонней базы данных, без использования промежуточного хранилища.
Примеры дашбордов
