kafka命令

kafka是一款优秀且常见的MQ，具有安装方便，使用方便，应用场景广泛等一系列优点，个人认为是最好用的MQ之一。

基本变量

# kafka version
version=kafka_2.12-1.1.0

# kafka topic
topic=ChristmasEvent

# kafka bootstrap server
Kafka_server=19.94.08.13:19092

# kafka zookeeper server
zk_server=19.14.08.13:21810

# kafka consumer group
consumer_group=bless-server

创建Topic

创建kafka topic，其中replication-factor代表副本数，partitions代表分区数。

~/bin/kafka-topics.sh --create --zookeeper ${zk_server} --replication-factor 1 --partitions 1 --topic ${topic}

查看Topic内容（当前开始）

从当前时刻开始，用于实时查看kafka的消息。

~/bin/kafka-console-consumer.sh --bootstrap-server ${kafka_server} --topic ${topic}

查看Topic内容（从头开始）

从头开始，用于实时查看kafka消息，仅限开发调测环境使用，当kafka消息过多时可能会导致异常问题。

~/bin/kafka-console-consumer.sh --bootstrap-server ${kafka_server} --topic ${topic} --from-beginning

查看消费组（旧版本）

查看消费者组情况，适用于用于旧版本kafka客户端。

~/bin/kafka-consumer-groups.sh --list --bootstrap-server ${kafka_server}

查看消费组（新版本）

查看消费者组情况，适用于用于新版本kafka客户端。

~/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server ${kafka_server} --list

查看消费组（使用ZK连接而非Java Api）

查看消费者组情况，仅限于使用zk连接的消费者。

~/bin/kafka-consumer-groups.sh --zookeeper ${zk_server} --list

查看单个消费组详情（Java Api）

查看单个消费者组情况，使用Java Api连接的消费者。

~/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server ${kafka_server} --group ${consumer_group} --describe

查看单个消费组详情（ZK）

查看单个消费者组情况，使用zk连接的消费者。

~/bin/kafka-consumer-groups.sh --zookeeper ${zk_server} --group ${consumer_group} --describe

生产者

直接在命令行发布一条消息，可以用于开发环境调测，重放消息等。

~/bin/kafka-console-producer.sh --broker-list ${kafka_server} --topic ${topic}

查看Topic列表

查看kafka当前Topic列表。

~/bin/kafka-topics.sh --zookeeper ${zk_server} --list

查看单个Topic详情

查看单个Topic详情。

~/bin/kafka-topics.sh --zookeeper ${zk_server} --topic ${topic} --describe