Kafka故障转移示例演示

在本示例中,我们将运行多个Kafka节点。所以本地开发机器至少需要16G的内存。如果内存小于16G,则可以只运行两台服务器。

我们将创建一个复制的主题。然后,我们将演示消费者故障转移和Broker故障转移,以及Kafka消费者的负载平衡。我们将展示在多个消费者组中,Kafka像发布/订阅系统一样工作。但是,当我们把所有的消费者放在同一个消费者组时,Kafka将负载共享消息给在同一组的消费者。

接下来,请按以下步骤操作。

创建三个新的Kafka server-n.properties文件

首先,复制现有的Kafka server.properties到server-0.properties、server-1.properties和server-2.properties。然后使用文本编辑器分别打开进行修改。

修改server-0.properties:

broker.id=0
port=9092
log.dirs=./logs/kafka-0
......

修改server-1.properties:

broker.id=1
port=9093
log.dirs=./logs/kafka-1
......

修改server-2.properties:

broker.id=2
port=9094
log.dirs=./logs/kafka-2 ......
          

......

抱歉,只有登录会员才可浏览!会员登录


《Spark原理深入与编程实战》