在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

kafka相關命令詳解

網絡技術干貨圈 ? 來源:網絡技術干貨圈 ? 2023-10-20 11:34 ? 次閱讀

一、KAFKA啟停命令

1. 前臺啟動

kafka 前臺啟動命令:

bin/kafka-server-start.shconfig/server.properties

2. 后臺啟動

kafka 后臺啟動命令:
后臺常駐方式,帶上參數 -daemon,如:

bin/kafka-server-start.sh-daemonconfig/server.properties

或者

nohupbin/kafka-server-start.shconfig/server.properties&

指定 JMX port 端口啟動,指定 jmx,可以方便監控 Kafka 集群

JMX_PORT=9991/usr/local/kafka/bin/kafka-server-start.sh-daemon/usr/local/kafka/config/server.properties

3. 停止命令

kafka 停止命令:

bin/kafka-server-stop.sh

二、Topic 相關命令

2.1. 創建 Topic

參數 --topic 指定 Topic 名,–partitions 指定分區數,–replication-factor 指定備份(副本)數

創建名為 test_kafka_topic 的 Topic

bin/kafka-topics.sh-zookeeperlocalhost:2181--create--partitions5--replication-factor1--topictest_kafka_topic

注意,如果配置文件 server.properties 指定了 Kafka 在 zookeeper 上的目錄,則參數也要指定,否則會報無可用的 brokers(下面部分命令也有同樣的情況),如:

/usr/local/kafka/bin/kafka-topics.sh--create--zookeeperlocalhost:2181/kafka--replication-factor1--partitions1--topictest

2.2. 查詢 Topic 列表

列出所有 Topic

bin/kafka-topics.sh--list--zookeeperlocalhost:2181

2.3. 查詢 Topic 詳情

查詢 Topic 的詳細信息

bin/kafka-topics.sh--describe--zookeeperlocalhost:2181--topictest_kafka_topic

說明:如果未指定 topic 則輸出所有 topic 的信息

2.4. 增加 Topic 的 partition 數

bin/kafka-topics.sh--zookeeperlocalhost:2181--alter--topictest_kafka_topic--partitions5

2.5. 查看 topic 指定分區 offset 的最大值或最小值

time 為 -1 時表示最大值,為 -2 時表示最小值:

bin/kafka-run-class.shkafka.tools.GetOffsetShell--topictest_kafka_topic--time-1--broker-list127.0.0.1:9092--partitions0

2.6. 刪除Topic

刪除名為 test_kafka_topic 的 Topic

bin/kafka-topics.sh--delete--zookeeperlocalhost:2181--topictest_kafka_topic

說明:在${KAFKA_HOME}/config/server.properties中配置 delete.topic.enable 為 true,這樣才能生效,刪除指定的 topic主題

三、消息 相關命令

3.1. 發送消息

生產者發送消息

bin/kafka-console-producer.sh--broker-listlocalhost:9092--topictest_kafka_topic

3.2. 消費消息(從頭開始)

消費者查詢消息

bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--from-beginning--topictest_kafka_topic

3.3. 消費消息(從尾開始)

從尾部開始取數據

bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictest_kafka_topic--offsetlatest

3.4. 消費消息(從尾開始指定分區)

從尾部開始取數據,指定分區消費:

bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictest_kafka_topic--offsetlatest--partition0

3.5. 消費消息(指定分區指定偏移量)

–partition 指定起始偏移量消費–offset:

bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictest_kafka_topic--partition0--offset100

3.6. 指定分組->消費消息

消費者消費消息(指定分組)
注意給客戶端命名之后,如果之前有過消費,那么–from-beginning就不會再從頭消費了

bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--from-beginning--topictest_kafka_topic--groupt1

說明:
–from-beginning:表示從頭開始接收數據
–group:指定消費者組

3.7. 取指定個數

bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictest_kafka_topic--offsetlatest--partition0--max-messages1

四、消費者 Group

4.1. 指定 Group

指定分組從頭開始消費消息(應該會指定偏移量)

/usr/local/kafka/bin/kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictest-grouptest_group--from-beginning

4.2. 消費者 Group 列表

bin/kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--list

4.3. 查看 Group 詳情

bin/kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--grouptest_group--describe

輸出日志:

Consumergroup'test_group'hasnoactivemembers.

TOPICPARTITIONCURRENT-OFFSETLOG-END-OFFSETLAGCONSUMER-IDHOSTCLIENT-ID
test0550---

#CURRENT-OFFSET:當前消費者群組最近提交的offset,也就是消費者分區里讀取的當前位置
#LOG-END-OFFSET:當前最高水位偏移量,也就是最近一個讀取消息的偏移量,同時也是最近一個提交到集群的偏移量
#LAG:消費者的CURRENT-OFFSET與broker的LOG-END-OFFSET之間的差距

4.4. 刪除 Group 中 Topic

bin/kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--grouptest_group--topictest--delete

4.5. 刪除 Group

/usr/local/kafka/bin/kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--grouptest_group--delete

五、補充命令

5.1.平衡 leader

bin/kafka-preferred-replica-election.sh--bootstrap-serverlocalhost:9092

5.2. 自帶壓測工具

bin/kafka-producer-perf-test.sh--topictest--num-records100--record-size1--throughput100--producer-propsbootstrap.servers=localhost:9092

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 參數
    +關注

    關注

    11

    文章

    1834

    瀏覽量

    32221
  • 端口
    +關注

    關注

    4

    文章

    964

    瀏覽量

    32079
  • 命令
    +關注

    關注

    5

    文章

    684

    瀏覽量

    22027
  • kafka
    +關注

    關注

    0

    文章

    51

    瀏覽量

    5222

原文標題:kafka常用命令

文章出處:【微信號:網絡技術干貨圈,微信公眾號:網絡技術干貨圈】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    Kafka存儲機制詳解

    kafka通過topic來分主題存放數據,主題內有分區,分區可以有多個副本,分區的內部還細分為若干個segment。所謂的分區其實就是在kafka對應存儲目錄下創建的文件夾,文件夾的名字是主題名加上
    發表于 05-08 16:26

    詳解消息中間件&Kafka

    消息中間件&Kafka
    發表于 09-11 07:54

    詳解Kafka學習

    Kafka學習筆記
    發表于 10-12 15:11

    kafka相關問題解答

    常見的kafka面試題
    發表于 10-25 06:16

    淺析kafka相關組件

    kafka相關組件topic、broker、producer、consumer原理及負載均衡策略
    發表于 04-03 11:34

    Kafka集群環境的搭建

    :2181,zk02:2181,zk03:2181注意:broker.id安裝集群服務個數編排即可,集群下不能重復。5、啟動kafka集群# 啟動命令[root@node02 kafka2.11]# bin
    發表于 01-05 17:55

    CAM填銅皮命令詳解

    CAM填銅皮命令詳解
    發表于 01-28 23:28 ?0次下載

    C2xx命令詳解

    C2xx命令詳解
    發表于 08-03 09:19 ?11次下載
    C2xx<b class='flag-5'>命令</b><b class='flag-5'>詳解</b>

    Linux關機命令詳解

    Linux關機命令詳解 在linux下一些常用的關機/重啟命令有shutdown、halt、reboot、及init,它們都 可以達到重啟系統的目的,但每個命令的內部工作過程是不同的
    發表于 01-18 12:52 ?3631次閱讀

    Kafka和消息隊列的關系

    本文的目的是讓讀者快速了解Kafka與消息隊列之間的關系,告訴讀者為什么會考慮使用它的原因。以下為譯文。 Kafka最初是由Linkedin社區開發的一項技術。簡而言之,它有點像消息隊列系統,但它
    發表于 09-28 17:15 ?0次下載
    <b class='flag-5'>Kafka</b>和消息隊列的關系

    Kafka的概念及Kafka的宕機

    問題要從一次Kafka的宕機開始說起。 筆者所在的是一家金融科技公司,但公司內部并沒有采用在金融支付領域更為流行的 RabbitMQ ,而是采用了設計之初就為日志處理而生的 Kafka ,所以我一直
    的頭像 發表于 08-27 11:21 ?2103次閱讀
    <b class='flag-5'>Kafka</b>的概念及<b class='flag-5'>Kafka</b>的宕機

    Backup-和Restore-命令詳解

    Backup-和Restore-命令詳解(力普拉斯電源技術有限公司)-文檔為Backup-和Restore-命令詳解總結文檔,是一份不錯的參考資料,感興趣的可以下載看看,,,,,,,,
    發表于 09-17 12:00 ?5次下載
    Backup-和Restore-<b class='flag-5'>命令</b><b class='flag-5'>詳解</b>

    Oracle-SQLPLUS基礎及sqlplus命令詳解

    Oracle-SQLPLUS基礎及sqlplus命令詳解(開關電源技術發展方向)-該文檔為Oracle-SQLPLUS基礎及sqlplus命令詳解文檔 ,是一份還算不錯的參考文檔,感興
    發表于 09-28 13:26 ?13次下載
    Oracle-SQLPLUS基礎及sqlplus<b class='flag-5'>命令</b><b class='flag-5'>詳解</b>

    kafka基本原理詳解

    今天浩道跟大家分享一篇關于kafka相關原理的硬核干貨,可以說即使你沒有接觸過kafka,也可以秒懂,一起看看!
    的頭像 發表于 01-03 09:57 ?892次閱讀
    <b class='flag-5'>kafka</b>基本原理<b class='flag-5'>詳解</b>

    詳解kubectl常用命令

    詳解kubectl常用命令
    的頭像 發表于 11-05 15:39 ?241次閱讀
    <b class='flag-5'>詳解</b>kubectl常用<b class='flag-5'>命令</b>
    主站蜘蛛池模板: 日本大片免费观看视频| 精品国产香港三级| 国产成人教育视频在线观看| 奇米影视大全| 国产精品漂亮美女在线观看| 四虎4444hu4影视最新地址| 成人午夜免费视频| 手机在线精品视频| ww欧洲ww在线视频看ww| you ji z z日本人在线观看| 亚洲视频你懂的| 国产一区二区三区 韩国女主播| 色爽爽爽| 二区三区在线| 精品国内一区二区三区免费视频| 屁屁影院在线| 在线天堂中文www官网| 激情综合六月| h视频日本| 色婷婷精品视频| 亚洲一本之道在线观看不卡| 37pao强力打造免费高速高清| 三级毛片网| 天天爱添天天爱添天天爱添| 老司机精品视频免费| 花怜write. as| 1000rt人体1000欧美| 国产在线99| 好吊操免费视频| 在线观看网站黄| 日韩卡1卡2卡三卡四卡二卡免| 天天射天天射天天射| wwwwwww色| www.av在线免费观看| 很黄很黄的网站免费的| 日本色色图| 精品黄色片| 色狠狠一区二区| 久久天天躁夜夜躁狠狠85台湾 | 欧美不卡一区| 黄色片啪啪|