“新基建”正在成為業(yè)界關注的熱點,5G、大數(shù)據(jù)中心、人工智能、工業(yè)互聯(lián)網(wǎng)等新型基礎設施建設正在加速推進?!靶禄ā敝饕?5G 基建、特高壓、城際高速鐵路和城際軌道交通、新能源汽車充電樁、大數(shù)據(jù)中心、人工智能、工業(yè)互聯(lián)網(wǎng)等七大領域的建設,涉及到通信、電力、交通、數(shù)字等多個社會民生重點行業(yè)。
在新基建中,尤其引人注目的是大數(shù)據(jù)中心。IT從業(yè)者都知道,大數(shù)據(jù)中心是承載海量數(shù)據(jù)的平臺,新興產(chǎn)業(yè)的未來發(fā)展將大量依賴于數(shù)字世界,從國家治理、政務服務到各個產(chǎn)業(yè) ,建好數(shù)據(jù)中心將有助于促進行業(yè)轉型和發(fā)展數(shù)字經(jīng)濟。
大數(shù)據(jù)中心的最重要的特征是數(shù)據(jù)量和規(guī)模的高速增長:到2025年全球新創(chuàng)建的數(shù)據(jù)將達到175ZB;企業(yè)對實時數(shù)據(jù)需求增加,到2023年實時數(shù)據(jù)占全球數(shù)據(jù)圈24.5%的份額;核心數(shù)據(jù)中心的數(shù)據(jù)存儲容量占比將超過50%。
隨著數(shù)據(jù)量和數(shù)據(jù)中心規(guī)模的擴大,以及各種新存儲介質(zhì)和技術的應用,存儲系統(tǒng)變得越來越復雜。用戶需要的存儲專業(yè)知識越來越多,而用好存儲對用戶來說越來越難。
AI智能化技術可以解決存儲系統(tǒng)使用的復雜性問題。AI系統(tǒng)會不斷地從存儲及其運行環(huán)境中采集存儲的各種狀態(tài)信息和性能數(shù)據(jù),用機器學習算法分析,學習用戶的存儲使用情況,進而自動化的調(diào)整并優(yōu)化存儲系統(tǒng),使存儲服務能更好地適應用戶的需求。
比如:智能化的把數(shù)據(jù)保存在合適的區(qū)域;自動的完成數(shù)據(jù)均衡;預測未來的需求;預防潛在的問題;智能調(diào)優(yōu)等。有AI加持的智能化存儲可以增強系統(tǒng)的可靠性,降低存儲的復雜性和維護成本。因此,“新基建”需要智能化的“新存儲”。
1
客戶的未來,從智能化新存儲開始
IDC在2018年6月完成了一項全球存儲客戶的智能化特性調(diào)查,客戶對使用AI / ML算法推動存儲系統(tǒng)的改進抱以積極的態(tài)度,如下圖,
IDC調(diào)研:客戶對AI智能化存儲的需求同時,IDC還調(diào)研了已經(jīng)使用了智能化存儲的客戶,詢問他們從中得到了哪些好處。下圖展示了客戶目前最關心的五項智能服務。其中,排名第一的是改善系統(tǒng)的整體可用性;其次是加快問題解決速度及提高性能容量規(guī)劃,預測性地識別任何即將發(fā)生的故障,監(jiān)視與存儲相關的其他IT基礎架構也被客戶重點關注。
IDC調(diào)研:用戶最希望使用的智能化存儲特性
2
智能化存儲的關鍵技術
一個完整的智能化存儲框架包括下圖所示的5個過程:
存儲的AIOps框架
1) 監(jiān)控:系統(tǒng)首先通過日志、SNMP、RestAPI等技術手段抓取并保存存儲系統(tǒng)中的運行狀態(tài)、性能和故障報錯數(shù)據(jù),這為AI自優(yōu)化系統(tǒng)創(chuàng)造了數(shù)據(jù)基礎。
2) 學習:在長時間、海量的監(jiān)控數(shù)據(jù)基礎上,AI會不斷分析用戶的IO模型和系統(tǒng)狀態(tài)信息,學習最佳的應用實踐,并自動分析問題根因和發(fā)現(xiàn)異常行為。
3) 預測:對于新發(fā)現(xiàn)的問題,AI算法都可以自動學習并提取可重復的模式,并將新的算法模型應用到其他尚未發(fā)現(xiàn)該問題的設備上,從而準確預測風險和故障。
4) 推薦:除了智能化預測新問題外,AI還會學習出解決和優(yōu)化問題的具體建議。如修改內(nèi)外部配置參數(shù)、更換部件、系統(tǒng)軟件升級等。
5) 實施:AI系統(tǒng)可以自動運行優(yōu)化措施并解決問題。如果處于安全考慮,也可以停止自動優(yōu)化系統(tǒng),人工操作來解決現(xiàn)場問題。
學術界也非常關注智能化存儲技術。國外的存儲和系統(tǒng)領域的頂級會議FAST、ATC、SRE、KDD有很多相關文章,清華大學、中科院、華中科技大學等國內(nèi)科研機構也在故障預測、根因分析、異常檢測、自動調(diào)優(yōu)等方面有優(yōu)秀的科研成果。
清華大學在《計算機學會通訊》上系統(tǒng)地闡述了智能化存儲的關鍵技術。文中把存儲的智能化歸納為歷史事件、當前事件、未來事件三類應用場景。
歷史事件場景中瓶頸分析指的是制約存儲或系統(tǒng)服務的硬件或軟件瓶頸;熱點分析指的是自動挖掘出大于正常閾值性能指標;KPI聚類是對類似的指標曲線進行聚類;KPI曲線關聯(lián)挖掘是針對兩條曲線的關聯(lián)關系進行挖掘;全鏈路模塊調(diào)用分析能分析出模塊間的調(diào)用關系;異常事件關聯(lián)挖掘是指對異常事件之間的關系進行關聯(lián)分析;故障傳播關系圖融合了以上四種技術,推斷出異常事件之間的故障傳播關系。
當前事件場景主要是根據(jù)當前的日志和告警、快速檢測和定位異常,并完成故障的根因分析,最終實現(xiàn)快速止損,控制故障的影響范圍。
未來事件場景的技術原理都是通過AI技術自動挖掘故障發(fā)生前的日志、性能參數(shù)指標,找到故障前可重復的模式,從而在今后出現(xiàn)類似的日志模式時,提前預測故障、性能容量變化趨勢以及系統(tǒng)可能的熱點瓶頸。根據(jù)IDC的客戶調(diào)查來看,針對未來事件的預測場景是存儲用戶關注的重點。
存儲智能化的關鍵場景和技術
3
智能化存儲的實踐應用
在存儲產(chǎn)業(yè)界中,Nimble Storage在2010年推出了智能化的存儲軟件Infosight,提供了預測性分析、端到端的故障定位、性能洞察等一系列的智能化功能。幫助用戶分析復雜應用環(huán)境下從虛擬機到后端存儲端到端的性能瓶頸,確定影響性能瓶頸的主要因素,并最終給出可行的優(yōu)化或解決問題的建議。
全球存儲廠商Netapp、IBM、DELL EMC也在2017年以后推出了自己的智能化產(chǎn)品ActiveIQ、StorageInsights和CloudIQ。
作為新數(shù)據(jù)時代下“新存儲”的引領者,浪潮存儲也推出了領先且獨具特色的智能化存儲管理平臺InView,實現(xiàn)了磁盤故障預測、性能容量預測的智能化功能,幫助客戶預判硬件故障,規(guī)避硬件故障帶來的風險和損失,并給出具體的擴容建議,為客戶提供更好的存儲服務。
責任編輯:pj
-
人工智能
+關注
關注
1791文章
47352瀏覽量
238791 -
大數(shù)據(jù)
+關注
關注
64文章
8894瀏覽量
137494 -
工業(yè)互聯(lián)網(wǎng)
關注
28文章
4323瀏覽量
94148
發(fā)布評論請先 登錄
相關推薦
評論