Apache Kafka: алгоритм установки
Ниже перечислены шаги по установке Apache Kafka.
Шаг 1 – Проверяем установку Java
Надеюсь, что Вы уже установили Java, поэтому просто проверьте его версию.
$ java -version
Если все в порядке, Вы увидите версию установленного Java.
Шаг 1.1 - Загружаем JDK
Если Java не загружен, загрузите последнюю версию JDK, перейдя по следующей ссылке:
http://www.oracle.com/technetwork/java/javase/downloads/index.html
Последняя версия - JDK 8u 60, а файл - «jdk-8u60-linux-x64.tar.gz». Пожалуйста, загрузите этот файл.
Шаг 1.2 – Извлекаем файлы
Как правило, загружаемые файлы хранятся в папке downloads, проверьте ее и извлеките оттуда tar-установку с помощью следующих команд.
$ cd /go/to/download/path $ tar -zxf jdk-8u60-linux-x64.gz
Шаг 1.3 – Переходим в Opt Directory
Чтобы все пользователи могли пользоваться java, переместите извлеченные файлы в папку usr/local/java/.
$ su password: (type password of root user) $ mkdir /opt/jdk $ mv jdk-1.8.0_60 /opt/jdk/
Шаг 1.4 - Задаем path
Чтобы установить переменные path и JAVA_HOME, добавьте в файл ~/.bashrc.следующие команды:
export JAVA_HOME =/usr/jdk/jdk-1.8.0_60 export PATH=$PATH:$JAVA_HOME/bin
Теперь примените все изменения для модификации ОС.
$ source ~/.bashrc
Шаг 1.5 – Java - alternatives
Для изменения Java - выполните следующую команду:
update-alternatives --install /usr/bin/java java /opt/jdk/jdk1.8.0_60/bin/java 100
Шаг 1.6
Теперь проверьте версию Java, используя команду проверки (java -version), описанную в шаге 1.
Шаг 2 – Устанавливаем ZooKeeper
Шаг 2.1 - Загружаем ZooKeeper
Для того, чтобы установить фреймворк ZooKeeper, перейдите по следующей ссылке и загрузите последнюю версию ZooKeeper.
http://zookeeper.apache.org/releases.html
На сегодняшний момент самая последняя версия ZooKeeper - это 3.4.6 (ZooKeeper-3.4.6.tar.gz).
Шаг 2.2 - Извлекаем tar файл
Извлекаем tar файл с помощью следующей команды:
$ cd opt/ $ tar -zxf zookeeper-3.4.6.tar.gz $ cd zookeeper-3.4.6 $ mkdir data
Шаг 2.3 – Создаем файл конфигурации
Откройте файл конфигурации под названием conf/zoo.cfg с помощью команды vi «conf/zoo.cfg» и установите следующие параметры в качестве начальной точки:
$ vi conf/zoo.cfg tickTime=2000 dataDir=/path/to/zookeeper/data clientPort=2181 initLimit=5 syncLimit=2
После успешного сохранения файла конфигурации и возвращения в терминал Вы можете запустить сервер zookeeper.
Шаг 2.4 – запускаем сервер ZooKeeper
$ bin/zkServer.sh start
После выполнения этой команды Вы увидите следующее:
$ JMX enabled by default $ Using config: /Users/../zookeeper-3.4.6/bin/../conf/zoo.cfg $ Starting zookeeper ... STARTED
Шаг 2.5 - Запускаем CLI
$ bin/zkCli.sh
После ввода вышеуказанной команды Вы будете подключены к серверу zookeeper и получите следующий ответ: Connecting to localhost:2181 ................ ................ ................ Welcome to ZooKeeper! ................ ................ WATCHER:: WatchedEvent state:SyncConnected type: None path:null [zk: localhost:2181(CONNECTED) 0]
Шаг 2.6 – Остановите сервер Zookeeper
После подключения к серверу и выполнения всех операций, указанных выше, остановите сервер zookeeper с помощью следующей команды –
$ bin/zkServer.sh stop
Поздравляю, Вы успешно установили Java и ZooKeeper! Предлагаю двигаться дальше и установить Apache Kafka.
Шаг 3 – Устанавливаем Apache Kafka
Для установки Apache Kafka воспользуемся следующим алгоритмом действий.
Шаг 3.1 - Загружаем Kafka
Для установки Kafka пройдите по следующей ссылке:
https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz
На сегодняшний день самая последняя версия - это kafka_2.11_0.9.0.0.tgz
Шаг 3.2 – Извлекаем tar файл
Извлекаем необходимый нам файл с помощью следующей команды: −
$ cd opt/ $ tar -zxf kafka_2.11.0.9.0.0 tar.gz $ cd kafka_2.11.0.9.0.0
Поздравляю Вас, Вы установили самую последнюю версию Kafka.
Шаг 3.3 – Запускаем сервер
$ bin/kafka- server-start.sh config/server.properties
После запуска сервера Вы увидите на экране следующее:
$ bin/kafka-server-start.sh config/server.properties [2016-01-02 15:37:30,410] INFO KafkaConfig values: request.timeout.ms = 30000 log.roll.hours = 168 inter.broker.protocol.version = 0.9.0.X log.preallocate = false security.inter.broker.protocol = PLAINTEXT ……………………………………………. …………………………………………….
Шаг 4 – Останавливаем сервер
После выполнения всех операций Вы можете остановить сервер с помощью следующей команды –
$ bin/kafka-server-stop.sh config/server.properties
Теперь, когда мы обсудили установку Kafka, мы можем узнать, как выполнять основные операции в данной системе.
