一、官方地址https://zookeeper.apache.org/ 二、Zookeeper下载安装下载地址：http://apache.claz.org/zookeeper/zookeeper-3.4.9/ 下载成功后，执行命令，完成解压缩 tar -xvf zookeeper-3.4.9.tar.gz 三、Zookeeper配置Zookeeper推荐使用集群模式，由于服务器有限，在这里采用伪集群模式，即在同一台服务器上，启动两个或多个Zookeeper进程实例。 第一台Zookeeper实例配置首先配置第一个Zookeeper实例，进入zookeeper下conf目录，配置zoo.cfg文件。配置信息如下： # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # ...

Kafka-开源monitor调研Kafka-web-console Kafka-web-console开源项目已不再继续维护，开源开发者推荐使用Kafka-manage进行替代。 Scala语言开发。 Github: https://github.com/claudemamo/kafka-web-console KafkaOffsetMonitor KafkaOffsetMonitor开源项目已不再继续开发。功能简单，直观，提供查询功能，jar包部署。 Scala语言开发。 Github: https://github.com/quantifind/KafkaOffsetMonitor Availability-Monitor-for-Kafka Availability-Monitor-for-Kafka是微软Microsoft开源的Kafka监控项目。使用简单，jar包部署。 社区一般活跃，暂无release版本。 Java语言开发；与maven集成；与SQL Server集成。 最新支持到Kafka 0.8.1.1版本 Github: https://github.com/ ...

Kafka版本差异Kafka 0.8 版本更新具有新特性 High level api 和low level api。 0.8版本支持high level api，0.7版本只支持low level api。 从0.8版本开始，consumer不用关心自己消费那个broker、partition、offset，都集成在high lever api，同时新版本对于producer更新了自定义的partition的策略。 0.8新版本partition支持独立备份replication factor，当partition发现宕机，启用replication factor。 同时，新版本对于partition与备份之间关系为一个为leader负责直接与consumer、producer交互，follower备份负责与leader通信，完成更新。（引入了相关leader-follower相关机制）。 Offset Management 在0.8.2之前，comsumer定期提交已经消费的kafka消息的offset位置到zookeeper中保存 对zookeeper而言，每次 ...

Kafka升级方案一、0.10.x版本协议更新0.10.x有协议的改变。按照下面建议的滚动升级方案，可以保证无宕机升级。 0.10.1.0更新Kafka broker Kafka broker集群是向前兼容的，可以兼容老版本的客户端。即0.10.1.x版本的broker也支持老版本的客户端。 Kafka客户端 客户端一般是向后兼容的，不与老版本的broker兼容。即0.10.1.x客户端仅支持0.10.1.x或者更高版本的brokers。 由于引入了新协议，在升级客户端之前，需要先升级Kafka broker集群的版本。 0.10.2.0更新Kafka broker 0.10.2.0版本的brokers支持0.8.x或更高版本的客户端。 Kafka客户端 从0.10.2.0版本开始，Kafka的Java客户端(producer和consumer)实现了与部分老版本的broker(0.10.x)通信的兼容性。 0.10.2.0版本的客户端可以与0.10.0或更高版本的broker通信。但是，如果broker的版本低于0.10.0，必须先升级所有Kafka集群中的brokers的版本，才可 ...

Kafka-0.10.2.0版本更新一、从0.8.x, 0.9.x , 0.10.0.x或0.10.1.x到0.10.2.0的更新0.10.2.0有协议的改变。按照下面建议的滚动升级方案，可以保证无宕机升级。但在升级前，需要注意0.10.2.0版本中显著的更新内容。 从0.10.2.0版本开始，Kafka的Java客户端(producer和consumer)实现了与部分老版本的broker(0.10.x)通信的兼容性。0.10.2.0版本的客户端可以与0.10.0或更高版本的broker通信。但是，如果broker的版本低于0.10.0，必须先升级所有Kafka集群中的brokers的版本，才可以继续升级客户端的版本。 0.10.2.0版本的brokers支持0.8.x或更高版本的客户端。 1.滚动升级 更新所有brokers上的server.properties文件，并增加以下配置broker.protocol.version=CURRENT_KAFKA_VERSION (e.g. 0.8.2, 0.9.0,0.10.0 or 0.10.1).message.format.versi ...