Автоматизированная непрерывная репликация Greenplum в Apache Kafka
Для автоматической, непрерывной, настраиваемой репликации данных Greenplum в Apache Kafka мы настоятельно рекомендуем использовать CData Sync.
Непрерывно работающие приложения зависят от возможностей автоматического восстановления после сбоев и доступа к данным в режиме реального времени. CData Sync интегрирует живые данные Greenplum в ваш экземпляр Apache Kafka, позволяя вам консолидировать все ваши данные в одном месте для архивирования, отчетности, аналитики, машинного обучения, искусственного интеллекта и многого другого.
Настройка Apache Kafka в качестве места назначения репликации
Используя CData Sync, Вы можете реплицировать данные Greenplum в Kafka. Чтобы добавить место назначения репликации, перейдите на вкладку Подключения.
- Нажмите Добавить подключение.
- Выберите Apache Kafka в качестве места назначения
- Введите необходимые свойства соединения
- Bootstrap Servers - введите адреса серверов Apache Kafka Bootstrap, к которым вы хотите подключиться.
- Auth Scheme - выберите схему аутентификации. По умолчанию используется схема Plain. Для этой настройки укажите учетные данные для входа в систему:
- User - Введите имя пользователя, которое вы используете для аутентификации в Apache Kafka.
- Пароль - введите пароль, который вы используете для аутентификации в Apache Kafka.
- Тип схемы обнаружения - укажите тип схемы обнаружения (None, RowScan, SchemaRegistry или MessageOnly), которую вы хотите использовать. По умолчанию используется тип None.
- Использовать SSL - Укажите, нужно ли использовать протокол Secure Sockets Layer (SSL). По умолчанию используется значение False.
- Нажмите кнопку Test Connection для того, чтобы убедиться в том, что соединение настроено правильно.
- Нажмите на кнопку Save Changes.
Настройка соединения Greenplum
Вы можете настроить подключение к Greenplum на вкладке Сonnections. Чтобы добавить подключение к учетной записи Greenplum, перейдите на вкладку Connections.
- Нажмите Сlick Connection.
- Выберите источник (Greenplum).
- Настройте свойства соединения.
Чтобы подключиться к Greenplum, задайте свойства соединения Server, Port (порт по умолчанию - 5432) и Database, а также укажите имя пользователя и пароль, которые вы хотите использовать для аутентификации на сервере. Если свойство Database не указано, будет использоваться база данных по умолчанию для аутентифицируемого пользователя.
- Для того, чтобы убедиться, что соединение настроено правильно, нажмите Connect.
- Нажмите Save Changes
Настройка запросов репликации
CData Sync позволяет управлять репликацией с помощью интерфейса «укажи и щелкни» и SQL-запросов. Для каждой репликации, которую Вы хотите настроить, перейдите на вкладку Jobs и нажмите Add job. Выберите источник и место назначения для репликации.
Репликация целых таблиц
Чтобы скопировать всю таблицу, нажмите кнопку Add Table в разделе Tables, выберите таблицу (таблицы), которую нужно скопировать, и нажмите кнопку Add Selected Tables.
Персонализируйте свою репликацию
Для настройки репликации можно использовать вкладки Columns и Query. На вкладке Columns можно указать, какие столбцы нужно реплицировать, переименовать столбцы в месте назначения и даже выполнить операции с исходными данными перед репликацией. На вкладке Query можно добавить фильтры, группировку и сортировку в репликацию.
Запланируйте репликацию
В разделе «Schedule» Вы можете запланировать автоматический запуск задания, настроив его на выполнение через определенные промежутки времени - от одного раза в 10 минут до одного раза в месяц.
После настройки задания репликации нажмите кнопку Save Changes Вы можете настроить любое количество заданий для управления репликацией данных Greenplum в Kafka.
