FineDataLink – что это?

Краткий обзор

FineDataLink – универсальная low-code платформа интеграции данных, обеспечивающая высокую производительность обработки данных. Она разработана с учетом потребностей в сборе, интеграции и управлении Big Data в режиме реального времени или оффлайн. Основными преимуществами данной платформы являются быстрое подключение, возможность интеграции данных из различных источников, а также гибкость ETL разработки данных. Все эти характеристики помогают современным предприятиям быстрее решить задачу управления данными, превратив их в главный двигатель своего развития.

Позиционирование продукта

Разработчики FineDataLink постоянно работают над тем, чтобы усовершенствовать платформу, сделать ее абсолютно открытой, универсальной, стандартизированной, надежной и высокопроизводительной. Целевой аудиторией данного решения являются дата-инженеры, разработчики БД, аналитики данных, а также другие специалисты в области данных.

Благодаря FineDataLink пользователи могут максимально эффективно реализовать самые сложные комбинированные сценарии, такие как передача данных в режиме реального времени или управление данными, на благо своей компании.

Функционал платформы достаточно широкий – это и агрегация данных, и всесторонние исследования данных, и разработки решений по управлению данными.

Основные плюсы FineDataLink :

Возможность интеграции данных из различных систем (реляционные и нереляционные БД), файлы, приложения и т.д.;
Синхронизация данных в реальном времени , являющаяся основой принятия своевременных эффективных бизнес-решений;
Создание экономически выгодных сервисов по управлению данными, формирование активов данных корпоративного уровня на основе API, а также оперативный обмен данными
Эффективное, продуманное до мелочей управление данными, гибкое планирование задач, а также мониторинг рабочего состояния системы в режиме реального времени помогают снизить нагрузку на специалистов в области данных, благодаря чему они могут сосредоточиться на более стратегически важных для бизнеса задач;
Возможности расширения платформы, встроенный SparkSQL, а также поддержка SHELL-скриптов;
Высокорезультативные процессы разработки данных и оптимизированные механизмы ELT и ETL, позволяющие адаптироваться под самые разные бизнес-требования;
Различные методы синхронизации данных, включая временную метку, триггеры, YOY сравнение данных, а также анализ журналов позволяют эффективно обрабатывать данные и принимать на их основе взвешенные решения;
Надежные механизмы обеспечения безопасности данных , включая шифрование и дешифрование информации, а также техники по минимизации рисков SQL- инъекций.
Low- code разработка, удобство использования, простота и интуитивность интерфейса позволяют новым пользователям достаточно быстро освоить платформу и без промедлений приступить к работе.

Целевая аудитория и основные задачи продукта

Ключевая задача платформы – предварительная обработка данных перед их анализом и визуализацией, исходя из этого платформа в первую очередь должна использоваться для:

Создания надежного и эффективного хранилища данных;
Кастомизации функций хранилища данных. Хранилище должно полностью соответствовать требованиям каждой конкретной компании;
Гибкой работы с данными, их корректировки (если в этом есть необходимость), а также для оперативного составления самых разных отчетов.

Для кого создана эта платформа

Бизнес-инженеры, отвечающие за разработку и формирование различных отчетов;
Специалисты по обработке данных;
Дата-инженеры;
IT- специалисты;
Все специалисты, отвечающие за подготовку данных для их последующего анализа и использования.

Архитектура платформы и ключевые требования, касающиеся установки продукта

Функциональная структура

Сотрудники, занимающиеся обработкой данных, с помощью всего лишь одного щелчка мыши могут оперативно подключить множество разнородных источников данных к платформе и, используя гибкие механизмы обработки данных, подготовить их для дальнейшего использования и анализа.

Требования по установке

Подробная информация доступна здесь.

Обзор ключевых функций

Разработка данных

Оптимальная организация потоков данных, прозрачность процесса разработки данных;
Двухъядерный движок, позволяющий быстро адаптироваться под постоянно изменяющие бизнес-потребности;
Пакетная синхронизация данных между источниками данных;
Множество инструментов преобразования данных;
Парсинг JSON, разбор полуструктурированных данных одним щелчком мыши;
Поддержка Spark SQL;
Циклический контейнер, поддерживающий циклический просмотр данных
Связь с WeChat и возможность «поиска людей через данные».
Использование shell – скриптов для подключения к внешним независимым источникам данных

Поддерживаемые источники данных:

Реляционные БД;
Нереляционные БД;
Различные виды интерфейсов данных API, такие как RestAPI и Jiandao Cloud;
Документы Excel, документы формата .txt и т.д.

Конвейер обработки данных в режиме реального времени

Высокопроизводительный механизм синхронизации данных в режиме реального времени используется для создания ODS-слоя хранилища данных, который в свою очередь может быть использован для резервного копирования базы данных в целях обеспечения целостности и безопасности корпоративных данных;

Высокая степень надежности, отказоустойчивость, очередь защиты от ошибок + возобновление точек останова - данные могут быть восстановлены в любое время без повторной синхронизации данных
Автоматическая синхронизация изменений структуры исходных таблиц
Режим Мастера, полная настройка за 5 минут

Сервисы данных

Запуск API с помощью всего лишь одного клика решает проблему «последней мили» передачи данных. Основываясь на возможностях доступа к данным API и сервисов данных, передача данных осуществляется безопасно, удобно, не требуя разработки кода.

Agile –подход к выполнению задач

Мониторинг статуса выполнения задачи в режиме реального времени и подробное описание каждого этапа позволяют оптимизировать процесс работы над проектом:

Гибкие стратегии планирования задач;

Управление правами доступа

Возможности платформы

Визуализация интеграции разнородных данных из нескольких источников и создание эффективного хранилища данных

С помощью DAG и low-code разработки создается хранилище данных, позволяющее быстро устранить силосы данных и организовать данные таким образом, чтобы их можно было максимально быстро извлечь для аналитических целей.

Автоматическая синхронизация данных между доменами и предприятиями в режиме реального времени, эффективная и максимально точная

Благодаря функции FDL и инкрементной технологии мониторинга журналов повышается эффективность инкрементного обновления данных и минимизируются задержки, вызванные слишком большим объемом данных и ограничениями пропускной способности сети.

API для создания информационных активов предприятия и их эффективного распространения в рамках всей организации

На основе API-доступа к данным и возможностей FDL создается БД, обеспечивающая безопасную и стабильную передачу данных и реализующая возможность совместного использования данных, хранящихся в одном месте.

SaaS-коннектор для автоматизации бизнес-процессов

Данные, хранящиеся как в компьютерах сотрудников, так и в облаке Jiandao Cloud можно передавать в режиме реального времени. Бизнес-процессы выполняются автоматически, без ручного вмешательства. Глобальный корреляционный анализ данных может проводиться как в облаке, так и за его пределами, что обеспечивает надежную основу для принятия эффективных бизнес-решений.

Быстрое резервное копирование данных в облаке в целях стандартизации управления данными

Значительное снижение затрат на резервное копирование данных из Jiandao Cloud в локальные базы данных, а также поддержка внешних событий Jiandao Cloud для запроса исторических данных через API-интерфейсы.

Безопасная/стабильная передача данных, экономия затрат на выделенные линии

Благодаря услугам передачи данных FDL предприятия могут безопасно и непрерывно передавать данные, пользуясь пропускной способностью внешней сети, что не только экономит расходы на выделенные линии, но и облегчает мониторинг и процесс управление любыми отклонениями.