在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

電子發燒友App

硬聲App

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示
電子發燒友網>電子資料下載>電子資料>Taier分布式可視化DAG任務調度系統

Taier分布式可視化DAG任務調度系統

2022-06-14 | zip | 11.01 MB | 次下載 | 2積分

資料介紹

授權協議 Apache 2.0
開發語言 Java TypeScript
操作系統 跨平臺
軟件類型 開源軟件
所屬分類 程序開發、 作業/任務調度

軟件簡介

Taier是袋鼠云數棧大數據家族的開源項目之一 ,它是一個分布式可視化的DAG任務調度系統,旨在降低ETL開發成本、提高大數據平臺穩定性,讓大數據開發人員可以在Taier直接進行業務邏輯的開發,而不用關心任務錯綜復雜的依賴關系與底層的大數據平臺的架構實現,將工作的重心更多地聚焦在業務之中。

一、架構設計和功能詳解

在架構設計與功能特點上,Taier整體架構是使用插件式的開發模式,在任務開發下面有調度模塊和各項組件,也包括數棧開源家族的Chunjun等等。

poYBAGKhzbSAZhb7AAEyVzhN-a0307.png

(一)Taier功能特點

Taier的功能特點有下面幾個比較重要的方面:

1.任務類型Spark SQL、數據同步(流計算任務);

2.控制臺:包括隊列管理、資源管理、多集群管理等;

3.運維中心比如任務管理、周期調度、補數據等;

4.插件化開發:具體包括 taier-plugin、、DatasourceX、Chunjun等幾個插件。

poYBAGKhzbaAD5AOAAJJa2jHggI230.png

(二)Taier功能特征

隨著不斷更新完善,現在的Taier已經具有以下的幾種特性:

1、拓展性

  • 單點故障:去中心化的分布式模式

  • 高可用方式:Zookeeper

  • 過載處理∶分布式節點+兩級存儲策略+隊列機制。每個節點都可以處理任務調度與提交;任務多時會優先緩存在內存隊列,超出可配置的隊列最大數量值后會全部落數據庫;任務處理以隊列方式消費,隊列異步從數據庫獲取可執行實例

  • 實戰檢驗:得到數百家企業客戶生產環境實戰檢驗

2、易用性

  • 支持大數據作業Spark、Flink的調度;

  • 支持眾多的任務類型,目前支持Spark SQL、Chunjun

  • 可視化工作流配置︰支持封裝工作流、支持單任務運行,不必封裝工作流、支持拖拽模式繪制;

  • DAG監控界面:運維中心、支持集群資源查看,了解當前集群資源的剩余情況、支持對調度隊列中的任務批量停止、任務狀態、任務類型、重試次數、任務運行機器、可視化變量等關鍵信息一目了然;

  • 調度時間配置:可視化配置;

  • 多集群連接:支持一套調度系統連接多套Hadoop集群。

3、多版本引擎

  • 支持Spark 、Flink等引擎的多個版本共存,例如可同時支持Flink1.10、Flink1.12(后續開源)

  • Kerberos支持Spark、Flink

  • 豐富,支持3種時間基準,且可以靈活設置輸出格式。

4、拓展性

  • 設計之處就考慮分布式模式,目前支持整體Taier 水平擴容方式;調度能力也隨集群線性增長。

?

二、Taier重要概念

下面從原理和操作層面給大家進一步介紹Taier,還有一些具體概念的解釋。

pYYBAGKhzbiAW8B2AAI784FywuE674.png

(一)任務與實例

方便起見,數棧在Taier中提出“任務”和“實例”兩個概念,例如數據開發的數據同步這項工作稱之為“任務”,而已經提交并且配置了周期屬性的任就稱之為“實例”。

poYBAGKhzbmAceE6AAD5Qt5iQVQ003.png

(二)實例具體操作

在Taier中,實例有這幾種構建的方式:

1.基于Zookeeper選舉Master節點參與Job 實例構建,T+1構建JobGraph

2. JobGraph構建前check &clean DirtyData

3.依據Task、TaskTask的數據(JobGraph)生成Job .JobJob實例數據

4.Master節點控制實例數據的負載均衡持久化入數據庫

pYYBAGKhzbyAPx6IAAEzl6MA0IE084.png

構建完畢后,實例處理的幾種方式如下圖所示:

pYYBAGKhzb2AIY0mAAD7YKXUZFA720.png

其中:

1.三種任務類型:周期任務、補數據任務、重跑任務,統一調度方式

2. Job 優先入隊列(1),隊列容量不足入DB (2)

3.當隊列容量空余時,異步線程從DB加載數據入隊列(3)

4. Job出隊列后進行任務提交

?

處理完成后,實例提交我們也做了思考,具體設計:

1.內存優先級隊列,控制Job有序執行

2.多線程并發提交(可配置)

3. Job 執行超時判斷(可配置)

4. Job資源不足/失敗重試進入延遲隊列(可配置)﹔避免長時間占用提交權

poYBAGKhzb-AOZHoAACV21hxTVU818.png

?

Taier 的實例狀態大家主要應該關注標志停止的幾個,具體有下面幾種:

1.?WaitEngine:內存隊列中的Job、內存容量不足存儲在DB中的Job(默認500 )

2.?Lacking:資源不足暫時等待的Job(默認2min)

3. Restarting:失敗重試的Job(默認2min )

4. Finshed、Failed、Canceled、Killed:結束狀態

pYYBAGKhzcCATMO_AADlEQhvU2I219.png

Taier的整個控制臺設計分為公共組件、調度組件、存儲組件和計劃組件。通過一個租戶ID,拿到這個集群下common, YARN-conf等的四個配置信息,組成包含一個任務插件所有信息的pluginlnfo。將它解析之后,一些資源初始化上傳,以便我們緩存對應的客戶端。?

poYBAGKhzcKAe_HOAAEILxVE-JE322.png

Taier Client Plugin這里,要快速開發一個插件要注意以下幾點:

  • 一種任務類型對應一個插件,即一個jar包

  • 自定義類加載器(Classloader) 破壞雙親委派優先加載( Child-First)插件

  • 插件實現IClient接口方法

  • SPI: 在classpath 下的META-INF/services/目錄下,創建以接口IClient 全限定名命名的文件,內容是上一步中實現類的全限定名

poYBAGKhzcOANQdAAAEP79vEVRQ798.png

?

?

?

?

下載該資料的人也在下載 下載該資料的人還在閱讀
更多 >

評論

查看更多

下載排行

本周

  1. 1山景DSP芯片AP8248A2數據手冊
  2. 1.06 MB  |  532次下載  |  免費
  3. 2RK3399完整板原理圖(支持平板,盒子VR)
  4. 3.28 MB  |  339次下載  |  免費
  5. 3TC358743XBG評估板參考手冊
  6. 1.36 MB  |  330次下載  |  免費
  7. 4DFM軟件使用教程
  8. 0.84 MB  |  295次下載  |  免費
  9. 5元宇宙深度解析—未來的未來-風口還是泡沫
  10. 6.40 MB  |  227次下載  |  免費
  11. 6迪文DGUS開發指南
  12. 31.67 MB  |  194次下載  |  免費
  13. 7元宇宙底層硬件系列報告
  14. 13.42 MB  |  182次下載  |  免費
  15. 8FP5207XR-G1中文應用手冊
  16. 1.09 MB  |  178次下載  |  免費

本月

  1. 1OrCAD10.5下載OrCAD10.5中文版軟件
  2. 0.00 MB  |  234315次下載  |  免費
  3. 2555集成電路應用800例(新編版)
  4. 0.00 MB  |  33566次下載  |  免費
  5. 3接口電路圖大全
  6. 未知  |  30323次下載  |  免費
  7. 4開關電源設計實例指南
  8. 未知  |  21549次下載  |  免費
  9. 5電氣工程師手冊免費下載(新編第二版pdf電子書)
  10. 0.00 MB  |  15349次下載  |  免費
  11. 6數字電路基礎pdf(下載)
  12. 未知  |  13750次下載  |  免費
  13. 7電子制作實例集錦 下載
  14. 未知  |  8113次下載  |  免費
  15. 8《LED驅動電路設計》 溫德爾著
  16. 0.00 MB  |  6656次下載  |  免費

總榜

  1. 1matlab軟件下載入口
  2. 未知  |  935054次下載  |  免費
  3. 2protel99se軟件下載(可英文版轉中文版)
  4. 78.1 MB  |  537798次下載  |  免費
  5. 3MATLAB 7.1 下載 (含軟件介紹)
  6. 未知  |  420027次下載  |  免費
  7. 4OrCAD10.5下載OrCAD10.5中文版軟件
  8. 0.00 MB  |  234315次下載  |  免費
  9. 5Altium DXP2002下載入口
  10. 未知  |  233046次下載  |  免費
  11. 6電路仿真軟件multisim 10.0免費下載
  12. 340992  |  191187次下載  |  免費
  13. 7十天學會AVR單片機與C語言視頻教程 下載
  14. 158M  |  183279次下載  |  免費
  15. 8proe5.0野火版下載(中文版免費下載)
  16. 未知  |  138040次下載  |  免費
主站蜘蛛池模板: 五月天婷婷视频在线观看| 天天在线看片| 深夜影院一级毛片| tube日本videos69| 亚洲成人免费| 久久亚洲综合中文字幕| 天天爽夜夜爽天天做夜夜做| 男人视频网站| 羞羞爱爱| 狠狠色丁香婷婷综合久久片| 天天综合天天色| 在厨房乱子伦在线观看| 四虎永久免费地址在线网站| 国产视频三级| 九九热在线免费| 很黄很污的视频网站| 欧美日韩高清一区| 天天色综合2| 亚洲一区二区三区高清| 日韩有色| 天天做天天爱天天一爽一毛片| xvideos69日本hd| 四虎免费永久观看| 97久久天天综合色天天综合色hd| 成人午夜网站| 亚洲美女精品| 国产男人女人做性全过程视频| 好吊788gaoco| 一本到卡二卡三卡视频| 国产片一区二区三区| good韩国理论在线三级| 香蕉久久精品| vr性资源在线观看| 2022年永久免费观看| 午夜噜噜噜| 国产性较精品视频免费| 超级乱淫视频播放日韩| 四虎影视在线影院在线观看| 色操网| 午夜免费网站| 中文字幕网资源站永久资源|