Kafka-0.8.2.1安装配置

发表于 | 分类于 | | 阅读次数

一、官方地址

官方地址：http://kafka.apache.org/

github地址：https://github.com/apache/kafka

二、Kafka下载

下载地址：http://apache.claz.org/kafka/0.8.2.1/kafka_2.10-0.8.2.1.tgz

其他版本下载地址：http://apache.claz.org/kafka/

注：由于我最近要做一个Kafka滚动升级测试，内部使用版本为0.8.2.1，因此在这里采用了0.8.2.1版本的Kafka。无特殊需求，推荐使用最新版本0.10.2.0。

三、Kafka安装

下载成功后，执行命令，完成解压缩

tar -xvf kafka_2.10-0.8.2.1

注：2.10表示Kafka采用Scala版本为2.10。后缀的0.8.2.1为Kafka的版本。

四、Zookeeper集群安装与配置

Zookeeper-3.4.9集群安装与配置

五、Kafka配置

Kafka推荐使用集群模式，在这里，我启动了两台Kafka实例，构成了Kafka集群。

安装目录分别为

/home/yqshi/kafka/kafka_2.10-0.8.2.1
/home/yqshi/kafka/kafka_2.10-0.8.2.1_2

第一台broker配置

首先进入第一台Kafka实例/home/yqshi/kafka/kafka_2.10-0.8.2.1/config/目录，配置server.properties文件。

其中几个最关键的参数如下：

broker.id=0  
port=9092 
log.dirs=/home/yqshi/kafka/kafka-logs/kafka_2.10-0.8.2.1
zookeeper.connect=172.18.55.21:2181,172.18.55.21:2182

参数说明:

  • broker.id：表示Kafka集群中当前broker的id，需保证唯一
  • port：部署的broker占用的port
  • log.dirs：指定当前broker的logs存放地址
  • zookeeper.connect：指定Zookeeper集群。Kafka是强依赖Zookeeper的，会将很多配置信息，消费者状态，topic信息等内容写入到Zookeeper结点中。

第二台broker配置

再进入第二台Kafka实例/home/yqshi/kafka/kafka_2.10-0.8.2.1_2/config/目录，配置server.properties文件。

broker.id=1  
port=9093 
log.dirs=/home/yqshi/kafka/kafka-logs/kafka_2.10-0.8.2.1_2
zookeeper.connect=172.18.55.21:2181,172.18.55.21:2182

其中需要注意的是

  • broker.id：需要唯一
  • port：在伪集群模式（即同一台服务器部署多个Kafka实例）下不能冲突
  • log.dirs：要与其他Kafka实例的log.dirs区分开
  • zookeeper.connect：Zookeeper地址要与其他broker相同

六、Kafka启动

进入第一台broker目录

/home/yqshi/kafka/kafka_2.10-0.8.2.1

执行

sh ./bin/kafka-server-start.sh ./config/server.properties &

进入第二台broker目录

/home/yqshi/kafka/kafka_2.10-0.8.2.1_2

执行

sh ./bin/kafka-server-start.sh ./config/server.properties &

七、创建一个topic

进入broker目录

/home/yqshi/kafka/kafka_2.10-0.8.2.1

执行

sh kafka-topics.sh --create --topic topic_1 --partitions 2 --replication-factor 2 --zookeeper 172.18.55.21:2181,172.18.55.21:2182

参数说明：

  • –topic：指定topic名称
  • –partitions：指定当前topic的partitions（分区）数量
  • –replication-factor：指定当前topic每一个partition的replica数量
  • –zookeeper：指定Zookeeper集群地址

同样操作，创建第二个topic

sh kafka-topics.sh --create --topic topic_2 --partitions 2 --replication-factor 2 --zookeeper 172.18.55.21:2181,172.18.55.21:2182

八、查看topic列表

进入broker目录

/home/yqshi/kafka/kafka_2.10-0.8.2.1

执行

sh kafka-topics.sh --list --zookeeper 172.18.55.21:2181,172.18.55.21:2182

查看结果

kafka_topic_list

九、查看topic详细信息

进入broker目录

/home/yqshi/kafka/kafka_2.10-0.8.2.1

执行

sh kafka-topics.sh --zookeeper 172.18.55.21:2181,172.18.55.21:2182 --describe

查看结果

kafka_topic_describe

十、版权声明

转载请注明出处：https://shiyueqi.github.io/2017/04/27/Kafka-0.8.2.1安装配置/

Author: Yueqi Shi

Date: 2017-04-27 10:20:00 AM