Императорский Монетный Двор
Нашей компанией был реализован проект автоматизации конвейера данных на базе СПО ETL-инструмента Apache NiFi для клиента ООО «Императорский Монетный Двор» в части актуализации данных, передаваемых из Системы Oracle в Anaplan.
КАК БЫЛО
До нашего вмешательства, в рамках процесса актуализации данных клиенту приходилось ежедневно выполнять большой перечень ручных действий:
- • Подготовка компьютера для работы с Anaplan Connector;
- • Выгрузка Activities данные из таблицы Oracle;
- • Преобразование данных в формат Anaplan;
- • Сохранение преобразованных данных в файл Activities.txt;
- • Заполнение параметров для Anaplan Connector;
- • Запуск Anaplan Connector;
- • Цикличное повторение перечисленных пунктов для всех остальных имеющихся таблиц.
КАК СТАЛО
С помощью ETL-инструмента Apache NiFi был реализован конвейер выполняющий процесс передачи данных самостоятельно каждые 2 часа
Этапы выполнения:
- • Считывание информации из области для заполнения при помощи NiFi;
- • Обращение к Anaplan для получения доступа с сохранением параметров;
- • Обращение к Anaplan для получения списка файлов для обновления с выборкой и сохранением параметров необходимого файла;
- • Обращение к Oracle для получения данных с преобразованием в формат Anaplan в соответствии с полученными параметрами;
- • Отправка преобразованных данных в файл Anaplan'а;
- • Обращение к Anaplan для получения списка импортов файлов с выборкой и сохранением параметров необходимого импорта;
- • Запуск импорта обновленного файла в таблицу Anaplan и получение параметры задачи импорта;
- • Обращение к Anaplan до момента получения конечного статуса задачи импорта.
Как это выглядит:
Результат проделанной работы позволил полностью автоматизировать описанный выше процесс, исключив из него ручной труд.
Также, клиенту были переданы предложения и лучшие практики по дальнейшему улучшению процесса (изменение параметров, добавление функционала), а также предложения по расширению применения ETL-инструмента Apache NiFi на остальные бизнес-процессы, требующие обработку данных с целью их унификации.
Проект внедрения ETL-инструмента Apache NiFi является пилотным для клиента. В дальнейшем планируется заключение договора на масштабирование реализованного функционала на все оставшиеся процессы.