Императорский Монетный Двор
Нашей компанией был реализован проект автоматизации конвейера данных на базе СПО ETL-инструмента Apache NiFi для клиента ООО «Императорский Монетный Двор» в части актуализации данных, передаваемых из Системы Oracle в Anaplan.
КАК БЫЛО
До нашего вмешательства, в рамках процесса актуализации данных клиенту приходилось ежедневно выполнять большой перечень ручных действий:
- Подготовка компьютера для работы с Anaplan Connector;
- Выгрузка Activities данные из таблицы Oracle;
- Преобразование данных в формат Anaplan;
- Сохранение преобразованных данных в файл Activities.txt;
- Заполнение параметров для Anaplan Connector;
- Запуск Anaplan Connector;
- Цикличное повторение перечисленных пунктов для всех остальных имеющихся таблиц.
КАК СТАЛО
С помощью ETL-инструмента Apache NiFi был реализован конвейер выполняющий процесс передачи данных самостоятельно каждые 2 часа
Этапы выполнения:
- Считывание информации из области для заполнения при помощи NiFi;
- Обращение к Anaplan для получения доступа с сохранением параметров;
- Обращение к Anaplan для получения списка файлов для обновления с выборкой и сохранением параметров необходимого файла;
- Обращение к Oracle для получения данных с преобразованием в формат Anaplan в соответствии с полученными параметрами;
- Отправка преобразованных данных в файл Anaplan'а;
- Обращение к Anaplan для получения списка импортов файлов с выборкой и сохранением параметров необходимого импорта;
- Запуск импорта обновленного файла в таблицу Anaplan и получение параметры задачи импорта;
- Обращение к Anaplan до момента получения конечного статуса задачи импорта.
Как это выглядит:
Результат проделанной работы позволил полностью автоматизировать описанный выше процесс, исключив из него ручной труд.
Также, клиенту были переданы предложения и лучшие практики по дальнейшему улучшению процесса (изменение параметров, добавление функционала), а также предложения по расширению применения ETL-инструмента Apache NiFi на остальные бизнес-процессы, требующие обработку данных с целью их унификации.
Проект внедрения ETL-инструмента Apache NiFi является пилотным для клиента. В дальнейшем планируется заключение договора на масштабирование реализованного функционала на все оставшиеся процессы.