當AlphaZero在2018年12月登上頂級期刊Science的封面——基于神經網絡在數據和算法上的突破以及5000個TPU提供的強大算力,AlphaZero從零訓練8小時擊敗最強圍棋AI(李世石版AlphaGo);當自動駕駛、人臉識別、4K/8K以及VR 2K等加速商用……接踵而來的新應用催生了新數據時代的到來,指數級增長的數據需要存儲做出根本性改變。
12月11-12日,2018中國存儲與數據峰會(DSS2018)在北京國際飯店舉辦。浪潮存儲研發總監李輝在現場做了題為“新數據時代,新存儲之道”的主題演講。李輝表示:“當前,客戶和組織已經走入了一個由數據變化帶來的新數據時代,數據在數據形態、 部署環境、應用模式和價值需求四大方面均出現了更為精細化的需求,并在不同行業和場景中出現了更為差異化的體現。在這一時代下,應用不僅是把基礎設施的資源價值最大化地挖掘出來,更需要把整個數據資源——無論是關鍵數據還是沉睡數據的價值都能夠最大化地挖掘、貢獻出來。”
新數據時代,新存儲之道
新數據時代 行業應用場景日益細化帶來新挑戰
根據IDC預測,隨著數據的指數級增長,全球數據總量預計2020年達到44個ZB,中國數據量將達到8060個EB,占全球數據總量的18%。隨著數據量的增長,數據類型的多樣性和數據源也在增加,因而提高了IT基礎設施的復雜性。
5G、云計算、物聯網、大數據、人工智能、區塊鏈……不斷發展的新技術逐漸讓世界連成了一張大網,并驅動了自動駕駛、人臉識別等大量新應用的涌現。而IT新技術的連續性迭代,更加速推動了物理世界與數字世界的融合,構建了一個新數據時代。在新數據時代下,各個垂直行業的業務需求呈現新的特點,并為IT和存儲帶來新需求特點,存儲系統也在架構、容量、性能和管理上面臨更為差異化的挑戰。
例如,在超大規模的互聯網云數據中心和企業的中大型數據中心里,服務器變得越來越多,數據計算集群和處理應用的集群規模都非常大,會用虛擬化技術跑各種各樣的應用,在這樣的虛擬化環境下,存儲需要支撐上萬臺的物理機和數十萬臺虛擬機的運行,這成為當今存儲碰到的一大挑戰。
云計算、大數據、AI等新技術驅動數據存儲變革
在AI應用中,要拿到很多原始的數據進行標記、處理,如從視頻、圖片、語音、文本里拿出數據,從而會拿出很多小文件進行模型訓練,有時一個大型AI應用需要處理的小文件會達到萬億級別,這同樣對存儲的性能提出挑戰。
再以行業應用為例,在科研與航空衛星行業,以生物科學研究為代表的科研應用和航空航天衛星技術的持續升級,帶來了越來越精細化的應用需求,實時處理、極速響應成為常態。在廣電媒資行業,從4K到8K到VR 2K,一方面觀眾對高品質、零等待的浸入式體驗追求了無止境,另一方面短視頻、直播平臺等新產業發展,亟需廣電企業進行多元化融合,以提升用戶粘性、實現資源整合和創新。這一切,不僅對存儲提出了容量、性能、架構及管理上的新挑戰,并且要求供應商必須以場景化應用為核心,驅動產品技術與解決方案的開發。
“場景驅動開發” 賦能浪潮超大規模軟件定義存儲
浪潮聚焦新數據時代的新數據形態、新部署環境、新應用模式和新價值需求的“四新”產業趨勢,以超大規模軟件定義存儲(Large-ScaleSDS)滿足新數據時代的EB容量、億級IOPS、彈性架構及智能管理需求。
由于容量和性能能夠隨著非結構化數據的增長實現線性擴展,軟件定義存儲將成為新數據時代的主要存儲方式。這一觀點得到了分析機構的印證。據Gartner調研,目前大約40%的企業數據存儲在可橫向擴展的企業數據中心或云數據中心,到2022年,這一比例將超過80%。據IDC預測,2017年至2021年,全球軟件定義存儲(SDS)市場年復合增長率將達到13.5%,2021年營收達到約162億美元。
基于對新數據時代市場需求的洞察,浪潮積蓄力量持續發力Large-Scale SDS。李輝表示,浪潮SDS在技術上的優勢在于,依托“軟件定義+硬件重構”理念,面向客戶的實際應用,對軟件和硬件進行集成測試,并對整個研發過程的性能、可用性、適用性等進行嚴格控制,實現軟硬件緊密協同,最大程度發揮軟件定義存儲的效能,以“極致容量、極致性能、極致簡單”滿足新數據時代存儲在容量、性能、架構及管理上的需求。
浪潮超大規模軟件定義存儲
當然,在當今復雜的應用環境下,單純發力技術,是無法適配和支撐用戶大規模海量數據應用的。浪潮SDS可以作為應用場景群和技術場景群的橋梁,以場景為核心深度優化,把場景間的個性需求、場景內的共性需求、及其對應的最優技術實現路線和方案,在浪潮SDS上真正實現,從而保障各種場景的個性化需求真正得到滿足。浪潮SDS力圖做到“個性化量產”,為各類有個性需求的場景進行定向深度開發和優化,可以針對EB級數據的處理進行定制開發與戰略合作。
例如,通過與交通領域合作伙伴在平安城市應用方面的交流,浪潮以插卡的模式,將GPU引用軟件定義存儲產品中,合作伙伴由此可以抽取圖像幀對視頻圖像進行大數據分析。又如,為滿足廣電媒資視頻云對云數據中心統一管理的需求,浪潮對管理接口進行深度開發。再如,在動漫制作領域,浪潮基于軟件定義存儲AS13000為用戶的動漫影視制作提供了千萬級小文件并發的SDS大平臺。
翻開浪潮存儲的PB級大工程名單,可以看到軟件定義存儲AS13000實現了在某資源中心一套70PB、某運營商數十套每套PB級系統、某省政務云90個節點、20PB容量、成都三環路視頻監控系統中108節點、20PB容量、廣電總局141個節點、10PB的云平臺、華強方特5PB、千萬級小文件并發性能的動漫制作平臺、中石油東方物探34個節點、5PB容量的高性能計算平臺的應用部署。
正因為將應用與技術在浪潮的軟件定義存儲產品上實現了對接,浪潮連續3年浪潮軟件定義存儲銷售額同比增長超100%,在金融、通信、政府、企業、互聯網、媒資、醫療、教育等行業,進行了眾多大規模部署。2018年,浪潮存儲入圍Gartner分布式存儲魔力象限。
李輝分享軟件定義存儲的PB級大工程
李輝表示,過去3年,浪潮累計投入超過10個億,傾力開發浪潮新存儲,重構原有架構,滿足以智慧場景為代表的應用。未來,浪潮存儲將繼續堅持以“數據與介質的連接者”形象,幫助企業更好的掌握“新數據時代”下的新場景,讓企業和組織用好“新”數據,在市場上占得先機。
-
神經網絡
+關注
關注
42文章
4777瀏覽量
100985 -
云計算
+關注
關注
39文章
7848瀏覽量
137645 -
大數據
+關注
關注
64文章
8903瀏覽量
137604
原文標題:新數據時代,做好數據與介質的連接者
文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論