Как с помощью Docker запустить Kafka?

Преимущество запуска Kafka на Docker заключается в том, что этот метод будет работать на всех операционных системах, включая Mac, Windows и Linux. Он также позволяет легко переключать версии Kafka, просто обновляя базовый файл docker-compose.

Обязательные условия: установка Docker & Docker Compose

Docker

Этапы установки Docker Desktop:

Установка на Mac.
Установка на Windows.
Установка на Linux (выберите свой дистрибутив в меню, находящемся слева).

Docker Compose

Mac и Windows: Если Вы установили Docker Desktop, Docker Compose установлен по умолчанию, так как входит в его состав.
Linux: следуйте данной инструкции

<>·

Как запустить Kafka с помощью Docker?

Docker Compose - это инструмент для определения и запуска многоконтейнерных Docker-приложений. Поскольку мы будем запускать каждое приложение из сервисов Kafka, например, Zookeeper, и т. д., в отдельном контейнере Docker, docker-compose - идеальное решение.

Чтобы использовать docker-compose, мы должны определить сервисы, составляющие наше развертывание Kafka, в файле docker-compose.yml, чтобы их можно было запускать вместе в изолированной среде.

Перейдите к проекту на GitHub - https://github.com/conduktor/kafka-stack-docker-compose и клонируйте или загрузите проект. В нем есть файлы docker-compose.

$ git clone https://github.com/conduktor/kafka-stack-docker-compose.git
Cloning into 'kafka-stack-docker-compose'...
remote: Enumerating objects: 551, done.
remote: Counting objects: 100% (219/219), done.
remote: Compressing objects: 100% (125/125), done.
remote: Total 551 (delta 145), reused 140 (delta 83), pack-reused 332
Receiving objects: 100% (551/551), 110.29 KiB | 15.76 MiB/s, done.
Resolving deltas: 100% (375/375), done.
Затем перейдите в папку kafka-stack-docker-compose и пролистайте файлы.

$ ls -l
total 60
-rw-rw-r-- 1 ec2-user ec2-user  4719 Nov 16 11:37 full-stack.yml
-rw-rw-r-- 1 ec2-user ec2-user 11345 Nov 16 11:37 LICENSE
-rw-rw-r-- 1 ec2-user ec2-user  8100 Nov 16 11:37 README.md
-rwxrwxr-x 1 ec2-user ec2-user  2150 Nov 16 11:37 test.sh
-rw-rw-r-- 1 ec2-user ec2-user  4759 Nov 16 11:37 zk-multiple-kafka-multiple-schema-registry.yml
-rw-rw-r-- 1 ec2-user ec2-user  4209 Nov 16 11:37 zk-multiple-kafka-multiple.yml
-rw-rw-r-- 1 ec2-user ec2-user  2728 Nov 16 11:37 zk-multiple-kafka-single.yml
-rw-rw-r-- 1 ec2-user ec2-user  2946 Nov 16 11:37 zk-single-kafka-multiple.yml
-rw-rw-r-- 1 ec2-user ec2-user  1604 Nov 16 11:37 zk-single-kafka-single.yml

Обратите внимание на файл zk-single-kafka-single.yml. Как следует из названия, мы будем использовать его для запуска кластера Kafka с одним Zookeeper и одним брокером.

Теперь используйте эту команду для запуска кластера Kafka с одним Zookeeper и одним брокером Kafka. Добавьте флаг –d для того, чтобы запустить ее в фоновом режиме.

docker-compose -f zk-single-kafka-single.yml up -d

Убедитесь в том, что обе службы запущены:

$ docker-compose -f zk-single-kafka-single.yml ps
 Name             Command            State                       Ports
-------------------------------------------------------------------------------------------
kafka1   /etc/confluent/docker/run   Up      0.0.0.0:9092->9092/tcp, 0.0.0.0:9999->9999/tcp
zoo1     /etc/confluent/docker/run   Up      0.0.0.0:2181->2181/tcp, 2888/tcp, 3888/tcp

Kafka будет запущен на Вашем компьютере по адресу localhost:9092

Выполнение команд для Kafka, работающем на Docker

Для запуска команды для Kafka в Docker есть два возможных варианта:

Выполнение команды непосредственно из Docker-контейнера Kafka (с помощью docker exec).
Запуск команд из ОС (сначала необходимо установить двоичные файлы)

Вариант 1: Выполнение команды непосредственно из Docker-контейнера Kafka

docker exec -it kafka1 /bin/bash

Затем, находясь внутри контейнера, Вы можете запустить некоторые команды Kafka (уже без .sh)

[appuser@kafka1 ~]$ kafka-topics --version

6.2.1-ccs (Commit:fa4bec046a2df3a6)

Вариант 2: Выполнение команд за пределами контейнера

Для этого в системе необходимо установить двоичные файлы Java и Kafka:

Инструкция для Mac (следуйте всем пунктам документа, кроме запуска Kafka и Zookeeper)
Инструкция для Linux (следуйте всем пунктам документа, кроме запуска Kafka и Zookeeper)
Инструкция для Windows (следуйте всем пунктам документа, кроме запуска Kafka и Zookeeper)

После установки двоичных файлов Kafka Вы сможете выполнить свою первую команду Kafka, например kafka-topics.sh.

Остановка работы Kafka в Docker

Теперь, когда мы проверили установку, мы можем остановить службы, остановив соответствующие контейнеры:

$ docker-compose -f zk-single-kafka-single.yml stop
Stopping kafka1 ... done
Stopping zoo1   ... done

Чтобы полностью удалить все ресурсы, включая контейнеры, вместо stop используйте down:

$ docker-compose -f zk-single-kafka-single.yml down
Removing kafka1 ... done
Removing zoo1   ... done
Removing network kafka-stack-docker-compose_default

← Предыдущая статья

Руководство по установке Apache Kafka с помощью Docker

Следующая статья →

Начало работы с Apache Kafka в Docker: пошаговая инструкция