一、KAFKA啟停命令
1. 前臺啟動
kafka 前臺啟動命令:
bin/kafka-server-start.shconfig/server.properties
2. 后臺啟動
kafka 后臺啟動命令:
后臺常駐方式,帶上參數 -daemon,如:
bin/kafka-server-start.sh-daemonconfig/server.properties
或者
nohupbin/kafka-server-start.shconfig/server.properties&
指定 JMX port 端口啟動,指定 jmx,可以方便監控 Kafka 集群
JMX_PORT=9991/usr/local/kafka/bin/kafka-server-start.sh-daemon/usr/local/kafka/config/server.properties
3. 停止命令
kafka 停止命令:
bin/kafka-server-stop.sh
二、Topic 相關命令
2.1. 創建 Topic
參數 --topic 指定 Topic 名,–partitions 指定分區數,–replication-factor 指定備份(副本)數
創建名為 test_kafka_topic 的 Topic
bin/kafka-topics.sh-zookeeperlocalhost:2181--create--partitions5--replication-factor1--topictest_kafka_topic
注意,如果配置文件 server.properties 指定了 Kafka 在 zookeeper 上的目錄,則參數也要指定,否則會報無可用的 brokers(下面部分命令也有同樣的情況),如:
/usr/local/kafka/bin/kafka-topics.sh--create--zookeeperlocalhost:2181/kafka--replication-factor1--partitions1--topictest
2.2. 查詢 Topic 列表
列出所有 Topic
bin/kafka-topics.sh--list--zookeeperlocalhost:2181
2.3. 查詢 Topic 詳情
查詢 Topic 的詳細信息
bin/kafka-topics.sh--describe--zookeeperlocalhost:2181--topictest_kafka_topic
說明:如果未指定 topic 則輸出所有 topic 的信息
2.4. 增加 Topic 的 partition 數
bin/kafka-topics.sh--zookeeperlocalhost:2181--alter--topictest_kafka_topic--partitions5
2.5. 查看 topic 指定分區 offset 的最大值或最小值
time 為 -1 時表示最大值,為 -2 時表示最小值:
bin/kafka-run-class.shkafka.tools.GetOffsetShell--topictest_kafka_topic--time-1--broker-list127.0.0.1:9092--partitions0
2.6. 刪除Topic
刪除名為 test_kafka_topic 的 Topic
bin/kafka-topics.sh--delete--zookeeperlocalhost:2181--topictest_kafka_topic
說明:在${KAFKA_HOME}/config/server.properties中配置 delete.topic.enable 為 true,這樣才能生效,刪除指定的 topic主題
三、消息 相關命令
3.1. 發送消息
生產者發送消息
bin/kafka-console-producer.sh--broker-listlocalhost:9092--topictest_kafka_topic
3.2. 消費消息(從頭開始)
消費者查詢消息
bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--from-beginning--topictest_kafka_topic
3.3. 消費消息(從尾開始)
從尾部開始取數據
bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictest_kafka_topic--offsetlatest
3.4. 消費消息(從尾開始指定分區)
從尾部開始取數據,指定分區消費:
bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictest_kafka_topic--offsetlatest--partition0
3.5. 消費消息(指定分區指定偏移量)
–partition 指定起始偏移量消費–offset:
bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictest_kafka_topic--partition0--offset100
3.6. 指定分組->消費消息
消費者消費消息(指定分組)
注意給客戶端命名之后,如果之前有過消費,那么–from-beginning就不會再從頭消費了
bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--from-beginning--topictest_kafka_topic--groupt1
說明:
–from-beginning:表示從頭開始接收數據
–group:指定消費者組
3.7. 取指定個數
bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictest_kafka_topic--offsetlatest--partition0--max-messages1
四、消費者 Group
4.1. 指定 Group
指定分組從頭開始消費消息(應該會指定偏移量)
/usr/local/kafka/bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictest-grouptest_group--from-beginning
4.2. 消費者 Group 列表
bin/kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--list
4.3. 查看 Group 詳情
bin/kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--grouptest_group--describe
輸出日志:
Consumergroup'test_group'hasnoactivemembers. TOPICPARTITIONCURRENT-OFFSETLOG-END-OFFSETLAGCONSUMER-IDHOSTCLIENT-ID test0550--- #CURRENT-OFFSET:當前消費者群組最近提交的offset,也就是消費者分區里讀取的當前位置 #LOG-END-OFFSET:當前最高水位偏移量,也就是最近一個讀取消息的偏移量,同時也是最近一個提交到集群的偏移量 #LAG:消費者的CURRENT-OFFSET與broker的LOG-END-OFFSET之間的差距
4.4. 刪除 Group 中 Topic
bin/kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--grouptest_group--topictest--delete
4.5. 刪除 Group
/usr/local/kafka/bin/kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--grouptest_group--delete
五、補充命令
5.1.平衡 leader
bin/kafka-preferred-replica-election.sh--bootstrap-serverlocalhost:9092
5.2. 自帶壓測工具
bin/kafka-producer-perf-test.sh--topictest--num-records100--record-size1--throughput100--producer-propsbootstrap.servers=localhost:9092
審核編輯:湯梓紅
-
參數
+關注
關注
11文章
1834瀏覽量
32221 -
端口
+關注
關注
4文章
964瀏覽量
32079 -
命令
+關注
關注
5文章
684瀏覽量
22027 -
kafka
+關注
關注
0文章
51瀏覽量
5222
原文標題:kafka常用命令
文章出處:【微信號:網絡技術干貨圈,微信公眾號:網絡技術干貨圈】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論