【大數(shù)據(jù)基礎(chǔ)知識(shí)】Kafka集群安裝與和測(cè)試如何操作

一、 安裝JDK &配置JAVA_HOME

JDK安裝和JAVA_HOME配置，大家都應(yīng)該很熟悉了，我們?cè)诖瞬辉儋樖觥?/p>

二、 安裝Zookeeper

參照Zookeeper官網(wǎng)搭建一個(gè)ZK集群， 并啟動(dòng)ZK集群。

三、 解壓Kafka安裝包

1. 修改配置文件config/server.properties

vi server.properties

broker.id=0 //集群中唯一id,依次增長(zhǎng)：0、1、2、3、4

log.dirs=/root/kafkaData/ // 設(shè)置Kafka的消息數(shù)據(jù)存儲(chǔ)路徑

zookeeper.connect=node1:2181,node2:2181,node3:2181 //zookeeperServers列表，節(jié)點(diǎn)間以逗號(hào)分開

delete.topic.enable=true

listeners=PLAINTEXT:/node1:9092

log.dirs=/root/kafkaData/

num.partitions=3

# 往其他節(jié)點(diǎn)分發(fā)安裝包

for i in 2 3 ; do scp -r kafka_2.11-0.10.2.1/node$i:$PWD ;done

在其它幾臺(tái)節(jié)點(diǎn)上，分別修改此配置文件：broker.id依次增長(zhǎng)。

2. 啟動(dòng)Kafka

啟動(dòng)kafka之前，必須要保證在每個(gè)節(jié)點(diǎn)上zookeeper都是啟動(dòng)的。

在每個(gè)節(jié)點(diǎn)上啟動(dòng)Kafka：

bin/kafka-server-start.sh [-daemon] config/server.properties

3. 集群測(cè)試

(1)進(jìn)入kafka根目錄，創(chuàng)建test主題(topic)

bin/kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 3 --partitions 1 --topic test

(2)顯示已創(chuàng)建的topic列表

bin/kafka-topics.sh --list --zookeeper node1:2181