Luxms BI - Интеграция и импорт данных
Методы работы с источниками данных
- Онлайн запросы в источник данных, в том числе для получения первичных данных из учётных систем. (Table Lookup)
- Онлайн запросы в источник данных для выборки значений метрик «на лету»
- Массивно-параллельные запросы на источнике
- Подключение к интерфейсным таблицам
- Импорт/прямая загрузка через программный коннектор
- Ручная и автоматическая загрузка Excel файлов
Импорт данных
- Нативная поддержка стека Arenadata Platform: AD.QM (Arenadata QuickMarts) в качестве слоя горячих данных, AD.B (Arenadata DB) в качестве слоя теплых данных и AD.H (Arenadata Hadoop) в качестве слоя холодных данных. Поставка Luxms BI возможна в редакции Luxms BI Arenadata Platform Edition с гарантиями совместимости всего стека и поддержкой оркестратора/инструментария развертывания AD.CM (Arenadata Cluster Manager);
- Внешние источники, доступные по JDBC;
- Хранилища: Teradata DWH и MPP хранилища данных: Greenplum, Teradata, Oracle Exadata;
- Системы бухгалтерского учёта (ПАРУС, 1С). 1С — посредством партнерского коннектора к объектной модели;
- Файлы: txt, csv, xls/xlsx, xml, json, html;
- Очереди сообщений: Kafka, Redis, RabbitMQ;
- Протоколы низкого уровня: websocket, mqtt, tcp, udp;
- REST API, SOAP;
- Специализированные системы мониторинга и учёта;
- Неструктурированные источники, архивы документов;
- Системы, работающие по протоколам (MQTT, Syslog, SNMP);
- «Живая» стыковка с графовой базой AgensGraph с использованием интегрированного языка запросов SQL+Cypher;
- Интеграция с системой FICO Score;
- Нативный коннектор к утилите RVTools для мониторинга мощностей в кластере VMware;
- Коннекторы к сервисам веб-аналитики и рекламным кабинетам Яндекс и Google.
Данные из информационных источников могут быть получены с помощью специализированных адаптеров или же при подключении по JDBC к интерфейсным таблицам заказчика.
Адаптеры получают разнородные данные из внешних источников, нормализуют их и передают в подсистему обработки первичных данных. После обработки данные сохраняются во внутреннем формате Luxms BI и оптимизируются для визуализации. Luxms BI содержит широкий ряд коннекторов для импорта данных. При этом, в процессе внедрения могут быть разработаны и переданы Заказчику специально разработанные коннекторы для доступа к специфическим источникам данных.
При схеме, когда выполнение аналитических запросов происходит на стороне хранилища, Luxms BI только отображает результаты этих запросов на панелях и графиках. В этом случае данные в отчётах Luxms BI всегда правильные, нет проблемы кэширования, нет необходимости регулярной верификации данных.
Luxms BI не накладывает никаких ограничений на визуализацию значений метрик, полученных с помощью онлайн запросов. Их можно использовать во всех типах визуализации вместе с метриками, значения которых хранятся в базе данных Luxms BI.
Luxms BI может работать в режиме кэширования «медленных» (редко меняющихся) данных, когда это оправдано, например, даёт выигрыш в скорости отображения. Для кэширования данных и увеличения скорости работы в поставку может быть включён модуль кэширования данных на базе Dremio или ClickHouse.
В случае использования СУБД Greenplum для хранения больших данных есть возможность запуска алгоритмов обработки данных на различных языках программирования в MPP режиме с помощью Docker контейнеров. Для этого требуется СУБД Greenplum версии 6 и выше и расширение PL/Container.
Этапы загрузки данных из различных источников и расчет агрегатов в необходимой последовательности группируются в задачи загрузки, которые можно менять при необходимости. Имеется возможность настройки загрузки данных по расписанию.
Возможна загрузка данных блоками (например, как результат выполнения SQL запроса), так и в потоковом режиме с помощью очередей сообщений. Потоковый режим способен работать в конфигурациях High-Load с высокой интенсивностью потоков данных (выдерживает реальные нагрузки до 7000 событий в секунду). Пакетный режим способен работать с Big Data источниками.
