FineDataLink – что это?
Краткий обзор
FineDataLink – универсальная low-code платформа интеграции данных, обеспечивающая высокую производительность обработки данных. Она разработана с учетом потребностей в сборе, интеграции и управлении Big Data в режиме реального времени или оффлайн. Основными преимуществами данной платформы являются быстрое подключение, возможность интеграции данных из различных источников, а также гибкость ETL разработки данных. Все эти характеристики помогают современным предприятиям быстрее решить задачу управления данными, превратив их в главный двигатель своего развития.
Позиционирование продукта
Разработчики FineDataLink постоянно работают над тем, чтобы усовершенствовать платформу, сделать ее абсолютно открытой, универсальной, стандартизированной, надежной и высокопроизводительной. Целевой аудиторией данного решения являются дата-инженеры, разработчики БД, аналитики данных, а также другие специалисты в области данных.
Благодаря FineDataLink пользователи могут максимально эффективно реализовать самые сложные комбинированные сценарии, такие как передача данных в режиме реального времени или управление данными, на благо своей компании.
Функционал платформы достаточно широкий – это и агрегация данных, и всесторонние исследования данных, и разработки решений по управлению данными.
Основные плюсы FineDataLink :
- Возможность интеграции данных из различных систем (реляционные и нереляционные БД), файлы, приложения и т.д.;
- Синхронизация данных в реальном времени , являющаяся основой принятия своевременных эффективных бизнес-решений;
- Создание экономически выгодных сервисов по управлению данными, формирование активов данных корпоративного уровня на основе API, а также оперативный обмен данными
- Эффективное, продуманное до мелочей управление данными, гибкое планирование задач, а также мониторинг рабочего состояния системы в режиме реального времени помогают снизить нагрузку на специалистов в области данных, благодаря чему они могут сосредоточиться на более стратегически важных для бизнеса задач;
- Возможности расширения платформы, встроенный SparkSQL, а также поддержка SHELL-скриптов;
- Высокорезультативные процессы разработки данных и оптимизированные механизмы ELT и ETL, позволяющие адаптироваться под самые разные бизнес-требования;
- Различные методы синхронизации данных, включая временную метку, триггеры, YOY сравнение данных, а также анализ журналов позволяют эффективно обрабатывать данные и принимать на их основе взвешенные решения;
- Надежные механизмы обеспечения безопасности данных , включая шифрование и дешифрование информации, а также техники по минимизации рисков SQL- инъекций.
- Low- code разработка, удобство использования, простота и интуитивность интерфейса позволяют новым пользователям достаточно быстро освоить платформу и без промедлений приступить к работе.
Целевая аудитория и основные задачи продукта
Ключевая задача платформы – предварительная обработка данных перед их анализом и визуализацией, исходя из этого платформа в первую очередь должна использоваться для:
- Создания надежного и эффективного хранилища данных;
- Кастомизации функций хранилища данных. Хранилище должно полностью соответствовать требованиям каждой конкретной компании;
- Гибкой работы с данными, их корректировки (если в этом есть необходимость), а также для оперативного составления самых разных отчетов.
Для кого создана эта платформа
- Бизнес-инженеры, отвечающие за разработку и формирование различных отчетов;
- Специалисты по обработке данных;
- Дата-инженеры;
- IT- специалисты;
- Все специалисты, отвечающие за подготовку данных для их последующего анализа и использования.
Архитектура платформы и ключевые требования, касающиеся установки продукта
Функциональная структура
Сотрудники, занимающиеся обработкой данных, с помощью всего лишь одного щелчка мыши могут оперативно подключить множество разнородных источников данных к платформе и, используя гибкие механизмы обработки данных, подготовить их для дальнейшего использования и анализа.
Требования по установке
Подробная информация доступна здесь.
Обзор ключевых функций
Разработка данных
- Оптимальная организация потоков данных, прозрачность процесса разработки данных;
- Двухъядерный движок, позволяющий быстро адаптироваться под постоянно изменяющие бизнес-потребности;
- Пакетная синхронизация данных между источниками данных;
- Множество инструментов преобразования данных;
- Парсинг JSON, разбор полуструктурированных данных одним щелчком мыши;
- Поддержка Spark SQL;
- Циклический контейнер, поддерживающий циклический просмотр данных
- Связь с WeChat и возможность «поиска людей через данные».
- Использование shell – скриптов для подключения к внешним независимым источникам данных
Поддерживаемые источники данных:
- Реляционные БД;
- Нереляционные БД;
- Различные виды интерфейсов данных API, такие как RestAPI и Jiandao Cloud;
- Документы Excel, документы формата .txt и т.д.
Конвейер обработки данных в режиме реального времени
- Высокопроизводительный механизм синхронизации данных в режиме реального времени используется для создания ODS-слоя хранилища данных, который в свою очередь может быть использован для резервного копирования базы данных в целях обеспечения целостности и безопасности корпоративных данных;
- Высокая степень надежности, отказоустойчивость, очередь защиты от ошибок + возобновление точек останова - данные могут быть восстановлены в любое время без повторной синхронизации данных
- Автоматическая синхронизация изменений структуры исходных таблиц
- Режим Мастера, полная настройка за 5 минут
Сервисы данных
Запуск API с помощью всего лишь одного клика решает проблему «последней мили» передачи данных. Основываясь на возможностях доступа к данным API и сервисов данных, передача данных осуществляется безопасно, удобно, не требуя разработки кода.
Agile –подход к выполнению задач
Мониторинг статуса выполнения задачи в режиме реального времени и подробное описание каждого этапа позволяют оптимизировать процесс работы над проектом:
- Гибкие стратегии планирования задач;
- Управление правами доступа
Возможности платформы
- Визуализация интеграции разнородных данных из нескольких источников и создание эффективного хранилища данных
С помощью DAG и low-code разработки создается хранилище данных, позволяющее быстро устранить силосы данных и организовать данные таким образом, чтобы их можно было максимально быстро извлечь для аналитических целей.
- Автоматическая синхронизация данных между доменами и предприятиями в режиме реального времени, эффективная и максимально точная
Благодаря функции FDL и инкрементной технологии мониторинга журналов повышается эффективность инкрементного обновления данных и минимизируются задержки, вызванные слишком большим объемом данных и ограничениями пропускной способности сети.
- API для создания информационных активов предприятия и их эффективного распространения в рамках всей организации
На основе API-доступа к данным и возможностей FDL создается БД, обеспечивающая безопасную и стабильную передачу данных и реализующая возможность совместного использования данных, хранящихся в одном месте.
- SaaS-коннектор для автоматизации бизнес-процессов
Данные, хранящиеся как в компьютерах сотрудников, так и в облаке Jiandao Cloud можно передавать в режиме реального времени. Бизнес-процессы выполняются автоматически, без ручного вмешательства. Глобальный корреляционный анализ данных может проводиться как в облаке, так и за его пределами, что обеспечивает надежную основу для принятия эффективных бизнес-решений.
- Быстрое резервное копирование данных в облаке в целях стандартизации управления данными
Значительное снижение затрат на резервное копирование данных из Jiandao Cloud в локальные базы данных, а также поддержка внешних событий Jiandao Cloud для запроса исторических данных через API-интерфейсы.
- Безопасная/стабильная передача данных, экономия затрат на выделенные линии
Благодаря услугам передачи данных FDL предприятия могут безопасно и непрерывно передавать данные, пользуясь пропускной способностью внешней сети, что не только экономит расходы на выделенные линии, но и облегчает мониторинг и процесс управление любыми отклонениями.
