在當今數字化時代,算力與存力的協同增長已成為驅動各行各業發展的關鍵力量。特別是在人工智能(AI)這一前沿領域,隨著數據量的爆炸式增長,對存儲系統的需求日益復雜和多樣。近期,在首屆CCF中國存儲大會上,浪潮信息存儲首席架構師孫斌深刻剖析了智能時代數據存儲領域面臨的挑戰與機遇。
算力增長與新范式
近年來,數據中心計算性能的增長呈現出前所未有的態勢。據統計,過去20年間,數據中心的計算性能已經增長了超過1000倍。2018年,我們迎來了特定領域架構(Domain Specific Architecture, DSA)發展的黃金時代,這標志著算力增長的新范式已經到來。這一范式以通用算力與AI算力的緊密結合為基礎,通過集群擴展和xPU多元編程模式,支撐未來20年計算性能的持續增長。
在傳統CPU場景中,邏輯控制遵循摩爾定律,盡管近年來性能增長放緩,但眾核與集群擴展技術的應用仍然推動了性能的不斷提升。而在GPU/TPU/NPU多場景中,并行計算能力的迅速提升更是令人矚目,近6年來每年性能增長達2.5倍。CUDA、HIP、OneAPI等編程模型的出現,為AI計算提供了強有力的支持。
智能時代多元存力需求
然而,隨著AI技術的廣泛應用,智能時代對存力的需求也呈現出多維度、多層次的特征,數據的高效匯聚、析取、流動與算子部署成為了關鍵所在。據預測,AI合成新數據的規模增速將顯著加快,到2025年,其在全球數據總量中的占比將達到10%。為了實時獲取洞察力并加速數據價值的變現,存儲系統需要滿足計算、存儲、網絡吞吐率1:1:1的比例,而未來20年存力的增長需求更是高達100倍以上。
此外,智能時代的存儲需求還體現在多源、多維、多模、多態、多域等多個方面。數據來源于多個行業、設備、階段,形態也多種多樣,包括文本、二進制、數據庫等。這些數據需要在云數據中心、邊緣數據中心和大型數據中心之間高效流動和協同處理。
制約存儲性能提升的隱形枷鎖
盡管存儲系統在性能上取得了顯著進步,但存儲節點仍面臨諸多挑戰。I/O棧依賴的硬件技術發展進入平緩期,單核IOPS效率、多核擴展性、內存和IO帶寬與CPU核的比例均呈現下降趨勢。這意味著,保持成本與能耗不變的情況下,兩年翻番的紅利期已經結束。
首先,存儲節點的緊耦合設計限制了其靈活性和擴展性。傳統存儲節點通常采用2/4/5U固定高度,并靜態配置CPU、內存、磁盤和網絡設備。這種設計雖然簡化了部署和管理,但導致了資源利用率低的問題。由于器部件、設備、數據生命周期不匹配,部分硬件提前淘汰,從而造成資源浪費。同時,SSD存控耦合也限制了單盤容量的提升,進一步制約了存儲性能的增長。
其次,以CPU為中心編程的I/O棧存在數據通量受限的問題。在處理小規模數據時,這種設計可能表現良好,但隨著數據量的增加,CPU逐漸成為瓶頸,限制了數據通量。這使得CPU對數據I/O的五類算子(編碼、搬移、比較、查詢、插取)的處理效率不高,導致單節點性能上限僅為百萬級IOPS。
此外,I/O驅動的存儲架構還導致AI就緒數據準備周期長。AI就緒數據通常需要經過清洗、轉換、聚合等多個預處理步驟,在I/O驅動的存儲架構下,這些步驟往往耗時較長,導致數據準備時間占比超過80%,模型迭代緩慢。
面向未來數據中心的存儲底座
為了應對數據洪流的洶涌澎湃,存力必須實現百倍的增長。這一需求不僅是對存儲容量的簡單擴張,更是對存儲架構設計范式的根本性變革。重構存儲節點硬件資源的耦合設計、打破以CPU為中心的傳統編程模式,將成為支撐未來20年存儲效率與擴展能力百倍提升的關鍵。
在此背景下,浪潮信息存儲首次提出了打造“機柜級存儲底座(Bottom of Rack, BoR)”和“數據中心級存儲底座(Bottom of Datacenter, BoD)”的創新理念。BoR支持近計算端按需組合存儲節點配置和軟件微服務,能夠重構多形態存儲系統,滿足全場景綜合負載需求。而BoD則支持全域、全局、全生命周期的數據編制服務,能夠解決數據孤島問題,提升數據流動效率,為AI應用提供高質量的實時數據,進一步簡化部署和運維。
浪潮信息在今年5月份CCF秀湖會議提出的“三層三面兩體”新型存儲架構理念為BoR和BoD的實施提供了具體的方向:即向內不斷優化存儲算法、提升硬件性能、完善軟件功能,以實現對存儲資源的高效利用和靈活擴展;向外積極與云計算、大數據、人工智能等新興技術融合,推動存儲系統的智能化、自動化和云化發展。
近年來,浪潮信息存儲積極探索新型存儲系統與架構技術,以應對智能時代的存儲需求。其中,解耦可組合存儲硬件/軟件設計v2.0是關鍵的創新方向。這一研究深入探索控制/計算、多層異構介質硬件資源的解耦與互連,以及存儲功能軟件組件的微服務化與通信機制。通過AI統籌的存儲I/O棧微服務、線程、協程并發調度,實現近線性擴展。同時,基于新協議互連,實現軟件動態定義邏輯控制節點,實現存算資源按需彈性組合,SSD模組解耦控制服務軟硬件與定義盤控協同規范,從而支撐SSD容量密度達到PB級。
此外,浪潮信息存儲還致力于面向數據算子的xPU協同編程新模式的研究。該模式通過聚焦傳統存儲數據I/O流和AI就緒的數據算子硬件加速技術,旨在建立xPU協同編程的新模式。通過分布式共享緩存架構和數據算子硬件加速技術,這一模式能夠實現單節點千萬級IOPS高通量和跨節點近線性擴展,從而大幅提升存儲系統的性能。
在全域全局全生命周期數據編織服務平臺方面浪潮信息存儲也進行了深入研究。通過構建全域、全局、全生命周期的數據編織服務平臺,實現API驅動的數據容納、處理、安全、流動、共享和管理。該平臺突破了數據與存儲系統解耦技術,建立了數據流通技術規范,驅動數據跨應用、跨系統、跨云共享。同時,主動元數據管理引擎、數據與算子的統籌部署為AI實時提供高質量的就緒數據,進一步提升了存儲系統的智能化和自動化水平。
在智能時代的大背景下,浪潮信息存儲不斷探索和突破新型存儲系統與架構技術,以應對日益復雜和多樣的存儲需求,通過創新舉措正逐步構建起一個高效、可擴展、智能化的存儲生態系統。未來,隨著技術的不斷進步和應用場景的不斷拓展,浪潮信息存儲將繼續引領存儲行業的發展潮流,為數字經濟的繁榮發展貢獻力量。
-
浪潮
+關注
關注
1文章
461瀏覽量
23878 -
存儲系統
+關注
關注
2文章
413瀏覽量
40866 -
算力
+關注
關注
1文章
985瀏覽量
14836
原文標題:浪潮信息存儲首席架構師孫斌:智能時代的新型存儲系統與架構創新
文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論