超大規模數據讓存儲發生根本改變
IT技術的不斷突破和廣泛應用,讓物理世界和數字世界逐漸“破壁”。隨著物理世界發展局限性的日益顯現,人們意識到數字世界的擴大不能只是信息的重復疊加。物理世界和數字世界應打破壁壘,相互感知、充分交互,最后實現高度融合。受兩個世界融合的影響,云計算、物聯網、大數據、人工智能、區塊鏈等新技術快速發展,數據指數級爆發,數據中心規模如同滾雪球般越來越大。
據麥肯錫估計,過去三年超大用戶對數據中心的投資達到了1850億美元,僅2017年就約有750億美元。超大用戶所占據的網絡流量達到整個數據中心網絡流量的近1/3,未來三年,該比例將躍升至55%以上,而這些用戶所控制的數據中心IT基礎設施將達到總數的50%以上。
【云計算、大數據、AI等新技術驅動數據存儲變革】
在舊數據時代,存儲面對的應用主要是數據庫、文件和流媒體這類傳統應用;而今天,在新興技術驅動下,存儲主要面對的是Cloud、Big Data和AI這些大規模數據應用場景。傳統存儲在性能、安全性、可靠性上的局限性,讓他們在面對這些新興應用時,往往表現出了很大的瓶頸。
首先是存儲規模。從云計算行業來看,云計算的用戶與應用眾多,平臺隨時都在運行成百上千、甚至成千上萬業務虛主機,而且業務負載隨時在動態增長,這樣后臺就需要巨的集群規模、存儲空間、IO性能來作為支撐;從大數據或者AI來看,其數據量非常之龐大,可能擁有十億或者百億的文件,構成一個龐大的數據鏈。這就決定了云、大數據或AI需要借助一個很大的集群,實現海量數量的管理和高性能數據運算。
其次,新數據時代對存儲性能提出了很高的挑戰。無論是面向文件和對象的OPS的性能,還是面向云虛擬機環境下IOPS的性能,新興應用對存儲系統性都提出了非常高的要求,大規模業務系統的高效運行、數億網民手機支付的即時響應、車票訂票高峰的訂單確認、視頻應用的高速訪問與下載,都要求后臺的存儲基礎設備,擁有百萬甚至千萬級的IOPS性能、GB級甚至TB的吞吐帶寬,以滿足前端優質的服務體驗。
第三,云、大數據、AI需要在設施資源和數據資源的共享基礎上進行再利用,這對數據的共享與管理帶來挑戰?,F在及未來,客戶追求的是全局最大化共享,而不僅僅是局部或內部共享。大數據或AI應用實際上需要把一些之前扔掉的數據重新拿回來做分析,扔掉的數據反而會產生很大的價值。數據要實現共享和流動,可能牽扯到幾百個乃至更多的數據存儲節點,涉及數萬個數據卷或者數百萬個文件。這些數據資源,需要通過統一架構來支撐、統一管理平臺來調度和組織,在共享和管理上有很多技術上的挑戰。
軟件定義存儲主導未來
據Gartner調研,目前大約40%的企業數據存儲在可橫向擴展的企業數據中心或云數據中心,到2022年,這一比例將超過80%。
在標準通用的硬件架構下,通過存儲軟件的設計優化,即可打造高性能、高可靠、彈性擴容、管理簡單的存儲系統,甚至可以感知用戶定義的策略和需求, 并在策略的驅動下自主調整工作狀態, 這就可以稱之為軟件定義存儲。軟件定義存儲把存儲服務從專用存儲設備中抽象出來, 這樣就降低了與硬件的耦合度, 可以更廣泛的選擇和使用更多配置與更高性能的通用硬件,并開發出更豐富的人工智能、云計算管理、大數據應用接口,匹配滿足新數據時代的六大業務需求。
浪潮SDS多維出擊
從產業發展角度來看,只有跨越物理世界和數字世界的交點(即進行新數據時代的業務轉型),才能獲得完整的產業機會。而IT廠商的使命,就是為各行各業的再一次轉型提供專業的數字化產品和方案。只有通過技術創新,去幫助用戶設計架構和建設基礎設施,促進用戶做出更好的業務決策或者創建更多的業務機會,從而幫助企業增加收入,在商業方面才有可能更加成功。
【浪潮超大規模軟件定義存儲】
首先,提升元數據管理能力,讓EB級數據存得下、取得出。
浪潮軟件定義存儲之打破了傳統文件系統的元數據集中式存儲和管理這一限制,對浪潮軟件定義存儲集群系統的目錄實行分而治之,讓集群中所有服務器來一起存儲和管理元數據及數據,從而實現負荷分擔、負載均衡,實現10億級別的文件管理。
由于浪潮軟件定義存儲擁有更為強大的計算資源和存儲資源來快速索引文件,所以其容量規模、管理文件數目的能力要遠遠優于傳統架構存儲。另外多活元數據服務也是浪潮軟件定義存儲的顯著優勢:多個元數據服務形成集群,共同對外提供文件索引服務,并且通過元數據副本、緩存加速、熱點目錄分片、動態子樹分區等技術,來實現負載均衡及元數據服務故障高可用等一系列功能。
目前浪潮軟件定義存儲系統可擴展至數千個,可以形成EB級海量存儲空間、百億數據文件管理、億級IOPS和百GB帶寬,加上不斷進步的數據自動修復和自動運維機制,使之廣泛適用于海量數據存儲場景。
【浪潮參加2018中國存儲峰會,展示新數據時代的新存儲】
其次,從架構到功能,一切皆為場景服務。
浪潮存儲很早就看到了云計算、大數據和人工智能對大規模存儲的需求,并啟動了在軟件定義存儲方面的布局與投入,并通過Scale-out架構基礎上不斷進行技術創新和產品迭代,推出了自己的軟件定義存儲產品AS13000,并在一套架構下實現了文件、塊、對象和大數據四種數據服務。
云計算、大數據和AI是智能應用的上層建筑,存儲與服務器、網絡和云平臺則構成基礎設施。首先,存儲作為基礎設施之一,其系統架構是本。架構的一致性和歸一性會給數據中心基礎實施帶來互聯互通、共享統管方面的保證,帶來全方位的CAPEX和OPEX節省。其次,生長于架構上的新技術、新特性、新功能,則是標,通過這些創新,存儲可以完美適配不同的應用場景。
【浪潮軟件定義存儲AS13000的技術優勢】
最后,從介質到算法優化,從外部到內存,閃存化提升了浪潮SDS的性能。
對于數據訪問性能問題。關鍵應用和虛擬機集群要求高IOPS,全閃存軟件定義存儲無疑是更好的選擇。全閃存儲使用固態存儲介質技術,比如NVMe、3D xpoint等。通過全閃存軟件定義存儲內的介質更新,軟件算法優化,可以大幅提高IOPS、時延和帶寬。此外,基于固態存儲技術,浪潮正在將存儲技術模塊打包,從快速存儲向內存存儲來改變,帶動內存計算技術的發展。在內存計算技術發展起來之后,業界在數據庫的設計、應用設計這些方面都要得到改變,而浪潮可以很快適應以上變化,通過產品優化轉型,繼續發揮在存儲方面的積累與技術優勢。
評論
查看更多