Что такое Debezium и как его применять

Debezium — это open-source платформа для Change Data Capture, или CDC. Она отслеживает изменения в базах данных и передает их как поток событий, чтобы другие системы могли получать новые, измененные и удаленные данные почти в реальном времени.

Debezium часто используют в современных data-платформах, микросервисной архитектуре, аналитике и интеграции данных: например, чтобы передавать изменения из PostgreSQL, MySQL, MongoDB и других баз в Kafka, DWH, lakehouse, поисковые индексы или downstream-сервисы. В статье разберем, что такое Debezium, как он связан с Apache Kafka и Kafka Connect, как работает CDC, из каких компонентов состоит архитектура и в каких сценариях его применяют.

Что внутри:

что такое Debezium простыми словами;
что такое CDC — Change Data Capture;
как Debezium отслеживает изменения в базах данных;
как работают Kafka Connect и коннекторы Debezium;
какие базы данных поддерживаются: PostgreSQL, MySQL, MongoDB и другие;
как изменения превращаются в события Kafka;
зачем Debezium нужен для репликации и синхронизации данных;
как Debezium помогает строить real-time data pipelines;
где его применяют в аналитике, DWH и микросервисах.

Поскольку при принятии важнейших решений предприятия все больше и больше полагаются на данные, первостепенное значение приобретает обеспечение согласованности и надежности данных в различных системах. В мире современных архитектур данных, где данные проходят через множество систем, управление и репликация изменений становится все более сложной и трудной задачей. Именно здесь на помощь приходит Debezium, предлагающий мощное и в то же самое время достаточно элегантное решение для захвата изменений данных из различных баз данных и их потоковой передачи на различные целевые пункты назначения.

Debezium - это распределенная платформа с открытым исходным кодом для захвата данных об изменениях (CDC). Она революционизирует подход организаций к репликации данных, позволяя перехватывать и транслировать изменения данных из таких баз данных, как MySQL, PostgreSQL, MongoDB и других, в режиме реального времени. Благодаря своему инновационному подходу Debezium упрощает процесс распространения изменений данных в последующие системы, обеспечивая беспрепятственную интеграцию, синхронизацию и анализ данных.

В этом подробном руководстве мы погрузимся в мир Debezium, узнаем, что такое Debezium, его основные концепции, архитектуру и мощные функции. Вперед!

Что такое Debezium?

Debezium – распределенная CDC платформа, которая передает изменения в базе данных в виде событий, что позволяет приложениям обнаруживать и реагировать на них в режиме реального времени. Построенная на базе Apache Kafka Debezium предоставляет коннекторы Kafka Connect, которые перехватывают изменения на уровне строк из различных баз данных и публикуют их в виде потоков событий на топиках Kafka.

Приложения-консюмеры могут использовать эти события и гарантировать отсутствие потерь данных даже при сбоях или отключениях. Debezium использует надежные потоковые возможности Kafka, позволяя приложениям точно и последовательно обрабатывать изменения в базе данных.

Характеристики Debezium

Для захвата изменений из различных баз данных с помощью методов Change Data Capture (CDC) Debezium использует коннекторы источников Apache Kafka Connect. Выбор метода зависит от возможностей исходной базы данных. Debezium может использовать CDC на основе журнала для баз данных с доступными журналами транзакций, что обеспечивает высокую эффективность и минимальное влияние на производительность. Однако при необходимости он может адаптироваться и к другим методам, таким как моментальный снимок или изменение таблиц данных.

В то время как подходы с частыми опросами, такие как CDC на основе временных меток или CDC на основе запросов, потенциально могут пропустить изменения (если модификация данных происходит между запросами), Debezium фокусируется на более эффективных методах, таких как CDC на основе журналов, что сводит этот риск к минимуму. Это позволяет организациям реагировать на изменения данных практически в режиме реального времени с минимальным влиянием на производительность системы.

Как работает Debezium?

Debezium отслеживает изменения в базах данных на уровне строк и передает эти изменения в Apache Kafka, которые затем могут быть использованы приложениями в режиме реального времени. Коннекторы Debezium подключаются к журналам транзакций базы данных (binlog в MySQL, WAL в PostgreSQL и т. д.) для того, чтобы фиксировать изменения, не влияя при этом на производительность базы данных. Он поддерживает множество баз данных и позволяет реализовать широкий спектр сценариев использования, таких как обновление поисковых индексов, аннулирование кэша или синхронизация данных между микросервисами.

Обычный конвейер Debezium выглядит следующим образом:

Зачем нужен Debezium?

Debezium решает проблему согласованности данных, предоставляя надежное и эффективное решение для сбора данных об изменениях (CDC). Оно позволяет организациям перехватывать и передавать изменения данных из таких баз данных, как MySQL, MongoDB (наборы реплик/осколочные кластеры), PostgreSQL, Oracle (LogMiner/XStream), Db2, Cassandra (3.x/4.x) и SQL Server, в режиме реального времени. Распространение данных в реальном времени обеспечивает беспрепятственную интеграцию, синхронизацию и анализ данных в различных системах, таких как озера данных, потоковые платформы и различные уровни кэширования.

Кроме того, Debezium облегчает процессы репликации данных, миграции БД, и т.д. Данная платформа также работает с архитектурой на основе событий и обеспечивает надежный источник событий, связанных с изменением данных, что позволяет обрабатывать и анализировать их в режиме реального времени.

Архитектура Debezium

Debezium - это надежная платформа для сбора данных об изменениях (CDC), использующая возможности Kafka и Kafka Connect для обеспечения таких функций, как долговечность, надежность и отказоустойчивость. Она работает путем развертывания коннекторов к сервису Kafka Connect, который разработан как распределенный, масштабируемый и отказоустойчивый коннектор, которому поручено следить за определенным сервером базы данных, фиксировать все изменения и документировать их в топиках Kafka, как правило, по одной на таблицу базы данных.

Часть 1: Сервер Debezium

Автономный сервер Debezium предназначен для перехвата изменений в базе данных источника. Для этого в качестве части своей конфигурациион использует один из коннекторов источника Debezium.

Часть 2: Встроенный Debezium

При развертывании Debezium Kafka Connect обеспечивает как масштабируемость, так и отказоустойчивость. Тем не менее, бывают случаи, когда нашим приложениям не требуется такая высокая степень надежности, и мы стремимся сократить расходы на инфраструктуру.

Начало работы с Debezium

В этой статье мы постараемся ответить на вопрос “Как именно можно использовать Debezium?”.

Для начала установим самую последнюю версию Docker, open-source платформы, которая для управления и развертывания контейнерных приложений использует клиент-серверную технологию.

Сервисы Debezium

Чтобы запустить службы Debezium, необходимо запустить три уникальные службы: ZooKeeper, Kafka и службу коннектора Debezium.

Коннектор ZooKeeper

Целью Apache ZooKeeper является создание сервера с открытым исходным кодом, обеспечивающего высоконадежную распределенную координацию. Он используется в кластерах распределенных систем для совместного использования групповых сервисов, таких как информация о конфигурации, именование и т. д. Apache ZooKeeper считается централизованным сервисом и работает по архитектуре Master-Slave.

Коннектор Kafka

Коннекторы Kafka - это полностью готовые к использованию компоненты, предназначенные для масштабируемой и надежной передачи потоковых данных между Apache и другими системами данных. Коннектор Kafka - это коннектор с источником JDBC, который позволяет пользователям импортировать данные из внешних систем в топики Kafka и наоборот. Топики Kafka - это категории, которые используются для организации сообщений.

Коннектор Debezium

Debezium - это коллекция коннекторов - источников для Apache Kafka. Каждый коннектор в Debezium отображает изменения из различных баз данных. Он отслеживает определенные системы управления базами данных, которые записывают изменения данных в журнале Kafka, представляющем собой набор сегментов данных на диске.

В этом руководстве для установки экземпляра каждого коннектора Вы будете использовать образы Debezium и контейнера Docker.

1. Запуск ZooKeeper

Чтобы запустить ZooKeeper с контейнером, выполните следующую команду:

Примечание: Эта команда использует версию ZooKeeper 1.8.

В данном случае:

-it: Обозначает интерактивный, что используется для подключения к контейнеру с входом и выходом терминала.
-rm: используется для извлечения контейнера, когда он останавливается.
–name: используется для присвоения имени контейнеру.
-p 2181:2181 -p 2888:2888 -p 3888:3888: обеспечивает связь контейнеров и приложений из контейнера с ZooKeeper. Сопоставляет три порта контейнеров с одним и тем же портом хоста Docker.

Если ZooKeeper запустился через порт номер 2181, Вы увидите следующее:

2. Запуск Kafka в новом контейнере

Для проверки совместимости версий Kafka и Debeziumвоспользуйтесь сайтом Debezium Test Matrix . В этой статье наряду с Kafka Connect мы используем Debezium 1.8.0.

Чтобы запустить Kafka в контейнере, откройте терминал и выполните следующую команду:

Эта команда использует образ Debezium Kafka версии 1.8 в новом контейнере.

–name Kafka: используется для присвоения имени контейнеру.
-p 9092:9092: используется для связи приложений вне контейнера с Kafka, порт 9092 в контейнере сопоставлен с тем же портом на хосте Docker.
–link zookeeper: используется для того, чтобы указать контейнеру на местоположение ZooKeeper в контейнере ZooKeeper, который запущен на том же хосте что и Docker.

Вышеперечисленные контейнеры могут подключаться к Kafka, если связать их с Kafka. Для подключения Kafka извне контейнера Docker используется опция -e, которая указывает адрес Kafka через хост Docker. То есть -e ADVERTISED_HOST_NAME=.

Если Вы видите следующий вывод, значит, запуск Kafka прошел успешно.

3. Запуск БД MySQL

Откройте новый терминал и запустите в нем новый контейнер с помощью следующей команды, которая запускает сервер базы данных MySQL с базой данных инвентаризации.

Приведенная выше команда запускает новую версию 1.8, основанную на образе MySQL 8.0. В ней есть база данных инвентаризации образцов. База данных инвентаризации образцов - это централизованная коллекция данных, которая хранит все виды изменений в базах данных.

–name mysql: используется для присвоения имени контейнеру.
-p 3306:3306: Через него приложения вне контейнера обмениваются данными с сервером базы данных. Эта команда устанавливает порт в контейнере на тот же порт хоста Docker.
-e MYSQL_ROOT_PASSWORD=debezium -e MYSQL_USER=mysqluser -e MYSQL_PASSWORD=mysqlpw: используется для создания нового имени пользователя и пароля для коннектора Debezium MySQL.

Если Вы видите следующий вывод, значит, сервер MySQL запущен успешно:

4. Запуск клиента командной строки MySQL

После запуска сервера MySQL для доступа к базе данных инвентаризации необходимо запустить клиент командной строки MySQL.

Откройте новый терминал и запустите клиента командной строки MySQL в контейнере:

–name mysqlterm: используется для присвоения имени контейнеру.
–link mysql: используется для связи контейнера с контейнером MySQL.

Если Вы получите следующий результат, значит, клиент командной строки MySQL запущен успешно.

Когда Вы входите в командную строку MySQL, Вам нужно получить доступ к базе данных инвентаризации.

Используйте следующую команду:

mysql> use inventory;

Просмотрите таблицы в базе данных.

mysql> show tables;

Вы увидите следующее:

Для просмотра данных в базе данных используйте команду MySQL:

Select * from customers;

5. Kafka Connect

После подключения MySQL к базе данных инвентаризации запустите службу Kafka Connect с помощью командной строки. Сервис Kafka состоит из API, используемого для управления коннектором Debezium.

Установка Kafka connect:

1. Откройте терминал.

2. Подключите сервер Kafka Connect в контейнере с помощью следующей команды:

–name connect: имя контейнера.
-p 8083:8083: используется для обеспечения связи между контейнерами и приложениями вне контейнеров с помощью Kafka Connect API. Он сопоставляет порт 8083 в контейнере с портом хоста Docker.
-e CONFIG_STORAGE_TOPIC=my_connect_configs -e OFFSET_STORAGE_TOPIC=my_connect_offsets -e STATUS_STORAGE_TOPIC=my_connect_statuse: устанавливает переменные окружения, необходимые образу Debezium.
–link zookeeper: zookeeper –link kafka:kafka –link mysql:mysql: связывает контейнер с уже запущенными контейнерами: MySQL, ZooKeeper и Kafka.

Если Вы видите следующий результат, значит, Kafka запущен успешно.

Откройте новый терминал для того, чтобы проверить состояние подключения к Kafka.

Рис 15

Чтобы проверить список коннекторов, зарегистрированных в Kafka connect, Вы можете воспользоваться следующими командами:

6. Развертывание коннектора MySQL

После запуска служб Debezium и MySQL необходимо развернуть коннектор MySQL для наблюдения за базой данных инвентаризации. Однако для наблюдения за базой данных инвентаризации необходимо зарегистрировать коннектор MySQL.

После этого он будет следить за бинлогом сервера MySQL, двоичным журналом в базе данных, который отслеживает все операции, в которых они фиксируются в базе данных.

Алгоритм действий:

Откройте терминал.
Используйте для регистрации коннектора Debezium MySQL приведенную ниже команду curl.

Приведенная выше команда использует API службы Kafka Connect для отправки почтового запроса. Этот пост-запрос отправляется к ресурсу коннектора с комментарием JSON, который указывает на новый коннектор, называемый коннектором инвентаризации.

Приведенная выше команда использует localhost для подключения к хосту Docker.

Чтобы проверить, присутствуют ли коннекторы инвентаризации в списке коннекторов, необходимо использовать следующую команду:

Просмотрите задание коннектора с помощью следующей команды:

А также проверьте следующий вывод:

Следуя приведенному ниже выводу, вы можете понять, через какое количество процессов проходит коннектор, когда он создается и начинает читать бинлог сервера MySQL.

В приведенном выше выводе показано все, что касается создания и запуска коннектора инвентаризации.

Ниже показаны различные процессы коннектора инвентаризации после его запуска:

Выше представлен выходной журнал коннектора Debezium. В нем отображается вся информация, относящаяся к конкретному потоку. Debezium облегчает понимание многопоточной работы службы Kafka Connect, включая в себя сообщения коннекторов MySQL, логическое имя коннектора и активность коннектора (задача, снапшот и бинлог).

Приведенный выше вывод состоит из нескольких строк активности задачи и включает активность снапшота коннектора. Далее сообщается, что система запускает моментальный снимок с использованием Debezium и баз данных MySQL.

После развертывания коннектора MySQL мониторинг базы данных инвентаризации на предмет изменений в событиях данных завершен. Коннектор отслеживает такие события, как удаление или вставка записей в базу данных, обновление записей в базе данных и т. д.

Если Вы хотите остановить работу всех служб, выполните следующую команду:

$ docker stop mysqlterm watcher connect mysql kafka zookeeper

Чтобы убедиться, что все процессы остановлены и удалены, выполните следующую команду:

$ docker ps -a

Вы также можете использовать приведенную ниже команду для остановки любого процесса или контейнера:

docker stop <process-name> or docker stop <containerId>.

Использование Debezium

Чтобы увидеть Debezium в действии, возьмем фиктивную таблицу «customer» и внесем в нее некоторые изменения.

Шаг 1: добавление записи

Для вставки новой записи в таблицу 'customer' выполните следующую команду:

INSERT INTO customer_table (id, fullname, email) VALUES (1, 'John Doe', 'jd@example.com')

После выполнения этого запроса посмотрите на вывод приложения.

Проверьте, что новая запись действительно присутствует в нашей целевой базе данных:

id fullname email 1 John Doe jd@example.com

Шаг 2: обновление записи

Чтобы обновить информацию о последнем вставленном клиенте, выполните команду:

UPDATE customer_table t SET t.email = 'john.doe@example.com' WHERE t.id = 1

Наблюдайте за выводом, отмечая изменение типа операции на 'UPDATE'.

Проверьте обновленные данные в целевой базе данных:

id fullname email 1 John Doe john.doe@example.com

Шаг 3: удаление записи

Удалите запись в таблице 'customer' с помощью:

DELETE FROM customer_table WHERE id = 1

Наблюдайте за изменением типа операции и соответствующего запроса.

Подтвердите удаление записи из нашей целевой базы данных:

SELECT * FROM customer_table WHERE id = 1 -- 0 rows retrieved

В каких случаях стоит использовать Debezium

Управление кэшом: Возможности CDC в Debezium проявляются в сценариях, где согласованность кэша является критически важной. Он обнаруживает изменения в записях базы данных, такие как обновления или удаления, и запускает автоматическое аннулирование соответствующих записей в кэше. Это особенно полезно для систем, использующих внешние кэши, такие как Redis, поскольку упрощает логику приложения, перекладывая управление кэшем на специальный сервис.
Декомпозиция монолитных приложений: Debezium решает проблемы «двойной записи» в монолитных приложениях, где дополнительные операции следуют сразу за обновлениями базы данных. Перехватывая изменения на уровне базы данных, он позволяет обрабатывать эти операции асинхронно, повышая устойчивость приложения к сбоям и упрощая его обслуживание.
Совместное использование базы данных: В средах, где приложения совместно используют базу данных, Debezium обеспечивает беспрепятственный способ информирования каждого приложения об изменениях данных в других. Это устраняет сложности, связанные с традиционными методами межприкладной коммуникации, обеспечивая доступ всех приложений к последним данным без рисков, связанных с «двойной записью».
Синхронизация данных: Обеспечение синхронизации данных в различных системах хранения - распространенная проблема, и Debezium предлагает оптимизированное решение. Перехватывая изменения данных и обрабатывая их с помощью простой логики, он обеспечивает последовательную интеграцию данных на разных платформах, упрощая разработку механизмов синхронизации.

Заключение

Эта инструкция даст Вам общее представление о Debezium, его потребностях, возможностях и сервисах. В этом руководстве описывается только коннектор MySQL Debezium, но существуют и другие различные коннекторы для баз данных Oracle, SQL и PostgreSQL, которые можно использовать вместо MySQL.

FAQ

1. Кто является владельцем Debezium?

Debezium - open-source проект сообщества Debezium, ативкно поддерживаемый Confluent, одной из организаций Apache Kafka. Именно она предоставляет инструменты CDC для потоковой передачи изменений в базе данных.

2. Debezium – это платформа, которая работает в режиме реального времени?

Да, технология Debezium работает в режиме реального времени. Она позволяет приложениям реагировать на обновление данных в режиме реального времени с помощью CDC.

3. Как связаны Debezium и CDC?

Debezium - это инструмент, предназначенный для захвата данных об изменениях или отслеживания изменений в записях баз данных и их потоков. Он позволяет захватывать события вставки, обновления и удаления для того, чтобы обеспечить синхронизацию данных между различными системами в режиме реального времени.

Вопрос: Что такое Debezium?

Ответ: Debezium — это распределенная open-source платформа для Change Data Capture. Она отслеживает изменения в базах данных и передает их в виде событий, чаще всего через Apache Kafka.

Вопрос: Что такое CDC?

Ответ: CDC, или Change Data Capture, — это подход, при котором система фиксирует изменения данных: вставки, обновления и удаления. Это позволяет передавать изменения в другие системы без полной перегрузки таблиц.

Вопрос: Как Debezium связан с Kafka?

Ответ: Debezium построен вокруг Kafka Connect и публикует изменения из баз данных в Kafka topics. Затем эти события могут читать приложения, аналитические системы, DWH или другие сервисы.

Вопрос: Какие базы данных поддерживает Debezium?

Ответ: Debezium поддерживает популярные базы данных, включая PostgreSQL, MySQL, MongoDB и другие системы. Конкретный список зависит от версии Debezium и доступных коннекторов.

Вопрос: Где применяют Debezium?

Ответ: Debezium используют для потоковой репликации данных, синхронизации микросервисов, построения real-time data pipelines, обновления витрин, передачи данных в DWH и интеграции аналитических систем.

← Предыдущая статья

Освоить Presto за 8 минут

Следующая статья →

Потоковая передача данных Postgres с помощью Apache Kafka и Debezium | ETL в режиме реального времени