云原生計算基金會(CNCF)宣布,由華為云捐獻的業界首個云原生批量計算項目Volcano正式晉級為CNCF孵化項目。這意味著Volcano的技術生態受到業界廣泛認可,CNCF云原生技術版圖對于批量計算的支持也已趨于成熟。
華為云CTO張宇昕表示:“華為云一直致力于云原生技術、產業和生態的建設,Volcano融入了華為云在云原生、AI、大數據、HPC等領域中沉積的行業和技術經驗,促進云原生技術與企業數據資產高效融合、充分釋放數據紅利,加速企業數字化、智能化進程?!?/p>
CNCF首席技術官Chris Aniszczyk也表示:“對于復雜的Kubernetes工作負載,尤其是AI、大數據等領域,批處理可以大大簡化部署。以云原生的方式來精簡大批量數據的處理是非常新穎和有價值的實踐,Volcano使得Kubernetes能夠成為世界級的工具,助力科學研究、高性能計算等行業的發展?!?/p>
Volcano項目于2019年6月開源,2020年4月正式成為CNCF沙箱項目。Volcano自2020年進入CNCF以來,在人工智能、大數據、基因測序等海量數據計算和分析場景得到快速應用,并構建起完善的上下游生態,目前騰訊、愛奇藝、小紅書、蘑菇街、唯品會、鵬城實驗室、銳天投資等企業均已將Volcano應用于生產環境。
自加入CNCF以來,Volcano社區已吸引2.6萬全球開發者、并獲得2.3k Star和530+ Fork。Google、Facebook、Amazon、Red Hat、華為、百度、騰訊、建信金融科技等科技巨頭紛紛加入Volcano社區貢獻,海內外生產落地用戶廣泛分布于互聯網、先進制造、金融、生命科學、科研等行業。Volcano也因其創新的技術理念、活躍的社區生態獲得第二屆“中國優秀開源項目”和 “2021年OSCAR尖峰開源社區及開源項目獎”,其作業管理能力被寫入由中國信息通信研究院牽頭制定的《高性能計算(HPC)云平臺標準》,成為行業標準。
過去兩年,Volcano全球生態發展迅速,一批行業標桿用戶不僅積極地推動Volcano落地生產環境,也基于自身實踐反哺社區,實現雙贏。
小紅書技術部負責人張雷表示:“云原生批量計算項目Volcano應用于小紅書大規模機器學習平臺、大數據平臺等生產系統,支撐著搜索、推薦、廣告、內容審核等多項關鍵業務,Volcano大大簡化和加速了大數據以及AI應用在云原生環境的落地進程,小紅書業務系統借助Volcano提供的豐富功能和優越性能,實現了資源成本的降低和作業性能的提升,期待Volcano在云原生領域持續深耕,發揮更大價值。”
中科類腦研發總監常峰提出:“Volcano是最早針對批量計算場景開源的云原生項目之一,其動態可配的高級調度策略和優秀的資源管理能力解決了AI場景下作業調度、生命周期管理、異構硬件支持等多個問題。在落地實踐的過程中,我們基于Volcano的能力做擴展,有效提升了系統穩定性和資源利用效率。期待加入CNCF后,在社區的加持下Volcano能持續孕育出更多優秀的解決方案和最佳實踐。”
截止目前,Volcano社區共發布21個版本,最新版本為v1.5.1。2022年,社區將會進一步擴大技術版圖,聚焦以下能力建設:
跨云跨集群調度:跨集群一直是分布調度系統解決大規模、災備等問題的主要解決方案。同時,為了降低廠商綁定的風險,并最大限度兼顧不同云廠商的優勢,多云環境下的負載高效分發逐漸成為趨勢。Volcano將會通過多個項目構建分層調度體系,基于全局資源視圖,提供多樣化策略如成本優先、效率優先等,為作業發放提供最佳決策。
在離線作業混部:針對業界普遍存在的數據中心集群資源率低下的問題,Volcano將圍繞業務感知、在離線統一調度、資源超賣、資源隔離與搶占、動態調度等能力的構建,在保證業務穩定性的前提下實現降本增效。
彈性調度:針對彈性訓練、競價實例的場景,Volcano將會增強基于min,max的調度能力、作業感知、資源搶占能力,實現資源利用最大化。
GPU虛擬化:推理場景以及GPU開發的場景,GPU使用率普遍偏低,Volcano已實現多容器共享使用GPU,未來將進一步增強算力、顯存的隔離能力,保障在提升利用率的同時,降低業務間的干擾。
細粒度資源管理:Volcano目前通過Queue提供資源的高效復用,針對更復雜的場景,Volcano將會通過Hierarchy Queue,、Policy per Queue、Plugin per Queue等機制提供更細粒度的管理和共享。
工作流管理:工作量的編排使用越來越廣泛,Volcano將基于子項目JobFlow,構建多場景、輕量化、高性能的編排能力。
基于真實負載的動態調度與重調度:針對當前基于資源申請進行的負載調度、資源碎片化引入的節點使用率不均衡的問題,Volcano將結合監控能力構建基于真實負載的動態調度和重調度。
華為云一直是云原生新技術的探路者、產業新格局的開拓者,2015年華為作為唯一亞洲企業參與云原生計算基金會(CNCF)創建,并一直是CNCF核心項目的主要貢獻者,代碼貢獻穩居亞洲第一。除Volcano項目外,華為云還捐獻了首個智能邊緣計算項目KubeEdge、首個多云容器編排項目Karmada,完善了CNCF的技術生態;同時,華為云還擁有服務網格頂級開源社區Istio在亞洲的首個指導委員會席位。
為進一步推動云原生技術在各行業的落地、構建產業融合新格局,華為云聯合中國信通院先后發布了《云原生2.0白皮書》、《數字政府云原生基礎設施白皮書》為企業落地云原生提供體系化的理論參考,并與CNCF、中國信通院聯合成立了全球云原生交流平臺——創原會,為全球企業提供共享、共創、共贏的云原生交流平臺,已服務于500+企業的技術管理者。未來,華為云將持續與廣大客戶一起共建云原生產業生態圈,做深耕數字化的先行者。
原文標題:重磅!業界首個云原生批量計算項目Volcano正式晉級為CNCF孵化項目
文章出處:【微信公眾號:華為開發者社區】歡迎添加關注!文章轉載請注明出處。
審核編輯:湯梓紅
-
Volcano
+關注
關注
0文章
4瀏覽量
6130 -
華為云
+關注
關注
3文章
2654瀏覽量
17500 -
云原生
+關注
關注
0文章
251瀏覽量
7958
原文標題:重磅!業界首個云原生批量計算項目Volcano正式晉級為CNCF孵化項目
文章出處:【微信號:Huawei_Developer,微信公眾號:華為開發者社區】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論