Общие принципы инкрементальной загрузки
Инкрементальная загрузка (загрузка изменений)
Инкрементальная загрузка обеспечивается согласованной работой SQL-сервера и BI-приложения.
На стороне SQL-сервера:
- Предварительно администратором 1С-базы данных включается и настраивается режим отслеживания изменений.
(см. Настройка БД)
- SQL-сервер фиксирует сведения о всех изменениях в БД (удаление, добавление или изменение записи).
Эти сведения включают последовательно возрастающий номер версии изменения..
BI-приложение может получить от SQL-сервера максимальный номер версии изменения (vNextVer) на текущий момент времени, .
На стороне BI-приложения:
- BI-приложение хранит у себя номер версии последнего обработанного изменения .
- Этот номер версии был использован при последней инкрементальной загрузке (vLastVer).
- При самом первом запуске инкрементальной загрузки значение номера должно быть -1;
- При очередной инкрементальной загрузке BI-приложение запрашивает у SQL-сервера номер версии последнего изменения (vNextVer)..
- BI-приложение выполняет запрос к SQL-серверу для выборки и инкрементальной загрузки данных с номером версии больше или равной чем vLastVer
- Загруженные изменения обрабатываются алгоритмом инкрементальной загрузки BI-приложения.
В основе алгоритма лежит сопоставление ключевых полей записей и ключевых полей ранее загруженных записей с учетом признака изменения записи ( изменена, добавлена, удалена) см. https://help.qlik.com/ru-RU/sense/June2018/Subsystems/Hub/Content/LoadDa...
- После успешного выполнения инкрементальной загрузки BI-приложение выполняет присваивает vLastVer = vNextVer.
Новое значение vLastVer запоминается приложением для использования во время следующей загрузки изменений.
Форма запроса ключа регистрации
