邊緣計算撲面而來
2018年即將過去,在年末我們回首IT行業(yè)的技術(shù)熱點時,在業(yè)界的眾多關(guān)注技術(shù)熱點之中,邊緣計算也是如此耀眼的那一個,令人難以錯過。假若數(shù)年后再次回首,你將不得不承認(rèn),2018就是邊緣計算廣泛進(jìn)入公眾視野并快速發(fā)展的一年。
在這一年里,咨詢和評論機(jī)構(gòu)對邊緣計算可以說是不吝筆墨。其中IDC給出了一些精確描述性的信息:“邊緣計算是微型數(shù)據(jù)中心的網(wǎng)狀網(wǎng)絡(luò),在本地處理或存儲關(guān)鍵數(shù)據(jù),并將所有接收到的數(shù)據(jù)推送到中央數(shù)據(jù)中心或云存儲庫,其覆蓋范圍不到100平方英尺”,不僅定性圈定了邊緣計算所處的位置,還定量給出了離數(shù)據(jù)發(fā)生地的距離數(shù)字;相對IDC這段充滿術(shù)語的描述,Ganter的副總裁兼分析師Dave Russell的定義更加文藝范:“邊緣計算就是現(xiàn)實與數(shù)字的交互之處”。
通常評測機(jī)構(gòu)對技術(shù)發(fā)展看得更早一些,而評判一個技術(shù)趨勢是否正在成為大潮,不妨去觀察業(yè)界廠商是否真正開始有所舉措。而當(dāng)我們深入探究,令人驚訝地發(fā)現(xiàn)產(chǎn)業(yè)鏈上的頭部廠商們幾乎都有所動作,涉及廠商范圍之廣,以近年的一個流行詞匯“從芯到云”正好可以描述這種情況。
芯片廠商的領(lǐng)頭羊Intel在2018年2月份推出的Xeon D-2100系列處理器,基于最新的Skylake架構(gòu),明確指明了面向邊緣計算和其他一些受限應(yīng)用場景,這些場境對密度和能耗都更為敏感。ARM幾乎同時推出了“Trillium”項目,包括一系列特別設(shè)計優(yōu)化的處理器,提高邊緣設(shè)備的機(jī)器學(xué)習(xí)、人工智能和目標(biāo)檢測能力。AMD也在18年推出了兩款嵌入式處理器,分別是EPYC 3000以及Ryzen V1000,采用“ZEN架構(gòu)”,依然是瞄準(zhǔn)邊緣計算。
系統(tǒng)廠商介入邊緣計算大部分都是通過超融合產(chǎn)品,這類產(chǎn)品多針對缺乏IT技術(shù)支持的分布式邊緣環(huán)境,在一個統(tǒng)一解決方案中提供多種功能,包括計算、存儲和網(wǎng)絡(luò)資源以及管理軟件和其他功能的一體化集成。設(shè)計上注重密集度,低能耗和低成本且易于管理。例如惠普宣布接下來4年將在邊緣計算領(lǐng)域投資40億美元。該公司的Edgeline Converged Edge Systems系統(tǒng)正是一個面向邊緣計算的拳頭產(chǎn)品,目標(biāo)客戶是那些希望獲得數(shù)據(jù)中心級計算能力,且通常在邊遠(yuǎn)地區(qū)運(yùn)營的工業(yè)合作伙伴。這個系統(tǒng)明確提出在不依賴于將數(shù)據(jù)發(fā)送到云或數(shù)據(jù)中心的情況下,為工業(yè)運(yùn)營(比如石油鉆井平臺、工廠或銅礦)提供分析計算能力。
思科通過HyperFlex超融合系統(tǒng)來支持多種云和邊緣環(huán)境,這個系統(tǒng)集合了之前的統(tǒng)一計算系統(tǒng)(UCS)、Nexus網(wǎng)絡(luò)交換機(jī)以及去年該公司收購的Springpath的軟件,強(qiáng)調(diào)了敏捷性和適應(yīng)能力。
VMware是另一家高調(diào)宣布支持邊緣計算的公司,它主要是基于自己現(xiàn)有的技術(shù),比如vSAN超融合存儲,vSphere和VMware的Pulse IoT Center,Pulse IoT Center為邊緣系統(tǒng)和網(wǎng)關(guān)提供管理、監(jiān)控和安全,以及傳感器等連接設(shè)備。在今年上半年的MWC全球移動通信大會發(fā)布了一系列三個邊緣計算解決方案,其中的首要方案正在努力將超融合基礎(chǔ)設(shè)施(HCI)引入邊緣位置,將使用VMware Pulse IoT Center和HCI工具,在邊緣對由物聯(lián)網(wǎng)設(shè)備收集的傳感器數(shù)據(jù)進(jìn)行實時分析。
老牌的互聯(lián)網(wǎng)和云廠商也都令人驚訝的大力推動邊緣計算,當(dāng)然首先是云端能力向編譯輻射。例如AWS推出的 Greengrass服務(wù)將AWS擴(kuò)展到設(shè)備上,這樣它們就可以“在本地處理它們所生成的數(shù)據(jù),同時仍然可以使用云來進(jìn)行管理、數(shù)據(jù)分析和持久的存儲”。 而微軟在這一領(lǐng)域計劃在未來4年內(nèi)大幅投入,在邊緣計算,物聯(lián)網(wǎng)領(lǐng)域?qū)⑼度?0億美元。同時他們已經(jīng)發(fā)布了Azure IoT Edge解決方案,“將云分析擴(kuò)展到邊緣設(shè)備”,支持離線使用。希望聚焦于邊緣的人工智能應(yīng)用。谷歌軟件硬件同步進(jìn)行,包括硬件芯片Edge TPU和軟件堆棧Cloud IoT Edge。谷歌表示,“Cloud IoT Edge將谷歌云強(qiáng)大的數(shù)據(jù)處理和機(jī)器學(xué)習(xí)功能擴(kuò)展到數(shù)十億臺邊緣設(shè)備,例如機(jī)器人手臂、風(fēng)力渦輪機(jī)和石油鉆井平臺,如此它們就能夠就近對終端設(shè)備的大量傳感器返回的數(shù)據(jù)進(jìn)行實時操作,并在本地直接進(jìn)行結(jié)果預(yù)測。
邊緣計算把原本打算在云中心進(jìn)行的存儲、數(shù)據(jù)處理?/?預(yù)處理、簡單分析工作分擔(dān)給邊緣節(jié)點去做?,這種方式,一方面能夠有效幫助云中心緩解壓力,同時提高系統(tǒng)的容錯能力,在部分節(jié)點出現(xiàn)異常的時候仍保證其他部分功能可以正常使用,不再“牽一發(fā)而動全身”。另一方面能夠提高響應(yīng)用戶的速度,在一些關(guān)鍵應(yīng)用上提供更好的用戶體驗。
邊緣計算和云計算在某種視角上看有點像蹺蹺板的兩端,一頭是集中,一頭是分布。云計算進(jìn)入主流視野已經(jīng)有10年以上了,從本質(zhì)上看還是大集中——將計算存儲能力都集中到云端統(tǒng)一處理,用戶或者終端能做的事只剩下連上去使用。而?邊緣計算的主要思路還是把工作切分并分布出去,能夠完成工作的部件或子系統(tǒng)直接放在網(wǎng)絡(luò)的邊緣?,?就近處理?。實在無法就地完成的工作任務(wù)再拉回云端統(tǒng)一處理。使用邊緣計算的系統(tǒng)設(shè)計的一個核心思想在于讓計算靠近數(shù)據(jù);如果以物聯(lián)網(wǎng)應(yīng)用為例,大量的物聯(lián)網(wǎng)設(shè)備在把數(shù)據(jù)傳輸上傳到云端之前,會經(jīng)過一個由一定數(shù)量的邊緣節(jié)點組成的邊緣層。這些?邊緣節(jié)點?具有一定的數(shù)據(jù)存儲能力、計算能力和應(yīng)用分析能力,會把位于邊緣局域網(wǎng)當(dāng)中的設(shè)備信息經(jīng)過篩選過濾、分析匯總之后再經(jīng)由廣域網(wǎng)交給云中心處理。而大量只需要在設(shè)備之間通信即可完成的工作,就不需要再傳輸給云中心,只需要在邊緣層上處理即可。
為何我們需要邊緣計算?美國前總統(tǒng)克林頓,在1992年美國總統(tǒng)大選時曾有一句名言——“笨蛋,根本問題是經(jīng)濟(jì)!” 有人認(rèn)為他是因為這句話戰(zhàn)勝對手老布什而當(dāng)選,可能有點夸大,但他的確一針見血找到了根本問題所在。在這里我也想引用這個句式,“是的,根本問題是網(wǎng)絡(luò)”。云計算之后再提邊緣計算的根本原因剖析到底還是網(wǎng)絡(luò),之所以云計算無法全盤通吃所有的IT系統(tǒng),網(wǎng)絡(luò)帶寬的限制,特別是網(wǎng)絡(luò)時延的難以消除,是橫亙在前的巨大鴻溝。并非所有的應(yīng)用都是所謂“云原生”,大量的應(yīng)用系統(tǒng)仍然分散部署在各處,離云端數(shù)據(jù)中心很遠(yuǎn)。尤其是一些需要實時響應(yīng)的系統(tǒng),例如自動駕駛,不可能每一個操作都等待千里之外的云端數(shù)據(jù)中心發(fā)回的反饋,數(shù)據(jù)一個來回加上處理的時間,車子可能就已經(jīng)錯過路口或發(fā)生事故了。
而邊緣計算的出現(xiàn)能夠大幅減少到云端的數(shù)據(jù)傳輸量,減少了網(wǎng)絡(luò)限制,而最關(guān)鍵的是提供了更好的實時響應(yīng)能力。當(dāng)然衍生開來闡述的話,由此還降低了時間成本和大量數(shù)據(jù)傳輸和存儲的資金成本。
超融合現(xiàn)狀
回到HCI超融合,這是一個已經(jīng)出現(xiàn)了3年多的技術(shù),經(jīng)過這些年的發(fā)展,從Gartner的技術(shù)成熟曲線上看,超融合技術(shù)明顯已經(jīng)越過了最受關(guān)注的頂點,將在2-5年內(nèi)進(jìn)入平穩(wěn)期。
從我看來,而今年最大的新消息是超融合技術(shù)分家,原本的定義里是“集成系統(tǒng):超融合(integrated systems:hyperconvergence)”分成兩個技術(shù)名詞
超融合系統(tǒng)HCIS(hyperconverged integrated systems) 超融合基礎(chǔ)設(shè)施HCI( hyperconverged infrastructure)。
主要區(qū)別在于產(chǎn)品技術(shù)形態(tài),HCIS是以硬件為中心,使用專有的優(yōu)化硬件,而HCI則以軟件為中心,硬件上采用通用設(shè)備。大部分的廠商還都是兩者兼顧的,既有HCIS也有HCI產(chǎn)品,例如Nutanix/Dell EMC/HPE(SimpliVity)/Pivot3/華為/H3C/等。而只有HCI(軟件)的代表廠商相對少一些,例如VMware /Microsoft/ Stratoscale/SmartX。(我猜想這個拆分和老牌重量級軟件廠商MicroSoft的加入會不會有關(guān)系?不得而知。)
超融合發(fā)展已經(jīng)有一些時間,曾經(jīng)有些爭議和關(guān)注點現(xiàn)在業(yè)界也有了共識,例如數(shù)據(jù)路徑引發(fā)的關(guān)于真?zhèn)纬诤系臓幾h,超融合最核心的和關(guān)鍵的難點技術(shù)在于SDS軟件定義存儲實現(xiàn)的優(yōu)劣等等,甚至關(guān)于產(chǎn)品形態(tài)也出現(xiàn)了很多新東西。
最初關(guān)于產(chǎn)品的標(biāo)準(zhǔn)化業(yè)界是一致認(rèn)可的,所有的節(jié)點硬件都是一個統(tǒng)一規(guī)格,2U或1U的X68兼容硬件,多個多核CPU,大內(nèi)存,SSD+HDD的內(nèi)置存儲。但到三年后的今天,除了標(biāo)準(zhǔn)化設(shè)備,漸漸很多廠商支持不同定位的節(jié)點,比如偏計算的節(jié)點和偏存儲的節(jié)點。
例如提供更大容量的“存儲型超融合產(chǎn)品”,單臺設(shè)備提供0.5PB~1PB左右的容量,滿足一些海量數(shù)據(jù)要求的應(yīng)用場合。再有基于ARM架構(gòu)的超融合產(chǎn)品,在基本體系架構(gòu)上有別于X86的硬件,然而實現(xiàn)的功能相差無幾,在能耗和計算核心提供數(shù)量上更有優(yōu)勢。再就是精簡型的超融合產(chǎn)品,特殊定制更小體積,無風(fēng)扇等機(jī)械部件,抗震可靠,甚至有額外增添的GPS定位等特殊功能。當(dāng)然還有不少面向AI機(jī)器學(xué)習(xí)的超融合產(chǎn)品,支持GPU,TPU和TensorFlow/Caffe等AI典型計算框架的產(chǎn)品
而處于2018年底的今天,我們不僅要看現(xiàn)狀,超融合的未來發(fā)展方向更加值得關(guān)注。有典型的幾個發(fā)展方向如下:
首當(dāng)其沖的是超融合和云的相愛相殺,我們看到一些廠商就直接以超融合直面競爭私有云,甚至在項目里也不做嚴(yán)格區(qū)分,但技術(shù)上講,更適合的未來應(yīng)該是混合云的場景;如何實現(xiàn)更強(qiáng)大的功能,如何適配于多云環(huán)境,這是超融合下一步發(fā)展的重要方向。
另一個發(fā)展方向是處于風(fēng)口浪尖AIOps,人工智能化運(yùn)維。超融合基礎(chǔ)架構(gòu)上搭載的系統(tǒng)和工作負(fù)載越來越復(fù)雜,很多關(guān)鍵應(yīng)用也加載上來,對復(fù)雜系統(tǒng)的適應(yīng)能力和本身的高可靠甚至是自愈能力都顯得更加重要,如何導(dǎo)入AI幫助更好的運(yùn)維,以達(dá)成前述的能力,必然成為超融合系統(tǒng)是否能進(jìn)入大型部署規(guī)模的一個關(guān)鍵點。
最后一個非常值得關(guān)注的方向無疑是邊緣計算,精簡型的超融合系統(tǒng)是非常適配的選擇。我們接下來將重點討論。
邊緣計算呼喚超融合
在前面我們已經(jīng)討論了邊緣計算興起的根本原因,當(dāng)由于網(wǎng)絡(luò)限制和巨大數(shù)量導(dǎo)致的計算處理能力前移,我們會發(fā)現(xiàn)最迫切的需求是處理能力和存儲資源,而且需求量很大,當(dāng)然還需要數(shù)據(jù)分析工具,將軟件和數(shù)據(jù)推送到邊緣的工具,以及跨邊緣與集中式云聯(lián)合起來的方法,甚至需要在邊緣本身處的機(jī)器學(xué)習(xí)。
這一切的一切都清晰地指出,邊緣需要一些更加強(qiáng)大的基礎(chǔ)架構(gòu)能力。
我們認(rèn)為,超融合適合邊緣計算有以下三個理由
滿足新邊緣節(jié)點的定位, 邊緣計算讓計算靠近數(shù)據(jù),數(shù)據(jù)處理應(yīng)用,分析應(yīng)用軟件都將部署到邊緣,超融合可以為邊緣節(jié)點提供更強(qiáng)大的性能和存儲空間。 HCI完全虛擬化的廣泛兼容應(yīng)用軟件,擁有合理存儲能力、計算能力和彈性擴(kuò)展能力,可以滿足更多系統(tǒng)搭載的需求。 滿足邊緣計算的受限環(huán)境 邊緣的工作環(huán)境條件低于IDC,空間,能耗,維護(hù)便利性都不樂觀。 精簡型HCI更小尺寸,占用空間小,功耗更低,散熱要求更低,模塊化快速部署能力,遠(yuǎn)程管理能力。 大幅提升中的性價比 邊緣計算規(guī)模大,大批量的采購場景中,性價比必須考慮 HCI的硬件正變得更強(qiáng)勁,價格同時也在下降 同時,超融合架構(gòu)相比傳統(tǒng)系統(tǒng),是一個“預(yù)處理”好的模塊化基礎(chǔ)架構(gòu),省掉很多逐個項目設(shè)計部署的工作,而以最適合應(yīng)用程序的標(biāo)準(zhǔn)化形式創(chuàng)建一致的范例和環(huán)境來運(yùn)行工作負(fù)載。如今許多邊緣工作負(fù)載都在Linux或VM上運(yùn)行,基本可以無縫遷移到超融合基礎(chǔ)架構(gòu)。
而關(guān)于超融合產(chǎn)品在邊緣計算里出現(xiàn)的形態(tài),目前看和普通的超融合產(chǎn)品還是有所區(qū)別的。目前超融合集中部署的情況還是比較多,很多都部署在大型企業(yè)用戶IDC或者云服務(wù)商IDC里。而針對邊緣的使用場景,更合理的形態(tài)是精簡加固型硬件平臺,具有小尺寸,低能耗,高可維護(hù)性和安全性的特點,同時還具有其他附加特性,如GPS/加密/自毀等標(biāo)準(zhǔn)產(chǎn)品上不會出現(xiàn)的功能。同時它必須具有完整系統(tǒng)的兼容性,具有相對完整的OS平臺,能夠搭載大多數(shù)的基礎(chǔ)數(shù)據(jù)分析平臺。
典型應(yīng)用場景
最后我們來看一些實際出現(xiàn)的行業(yè)應(yīng)用,在邊緣計算的很多場景都可以部署超融合,例如能源行業(yè)的石油鉆井平臺,安防監(jiān)控行業(yè)的人臉識別比對,遠(yuǎn)洋貨輪的綜合系統(tǒng)和各子系統(tǒng),環(huán)保行業(yè)的水文信息監(jiān)測,氣象行業(yè)的遙感云圖,交通行業(yè)的無人駕駛,大型客機(jī)機(jī)載系統(tǒng)和軌道交通的車載各類系統(tǒng)。
我們以火車的車輪平衡系統(tǒng)的工況監(jiān)控系統(tǒng)為例,已經(jīng)部署下去的大量傳感器能夠不停收集數(shù)據(jù),如果工程師想要了解最近三個月傳動系統(tǒng),火車車輪和剎車系統(tǒng)運(yùn)行得怎么樣,最近工況如何,未來兩周內(nèi)是否需要維修或者替換,他就得使用歷史累計的傳感器數(shù)據(jù),利用專業(yè)分析預(yù)測軟件來評估相關(guān)零部件是否需要維修。
現(xiàn)在數(shù)據(jù)有了,而在何處進(jìn)行后續(xù)處理分析就是一個問題?這種情況下,使用超融合的架構(gòu)在邊緣完成數(shù)據(jù)處理,就是一個非常適合的方案。短期分析可以就地進(jìn)行并很快返回,而避免了每次從不同地點把大量采樣數(shù)據(jù)完全返回到一個千里之外的云端數(shù)據(jù)中心處理,并等待返回結(jié)果。雖然這一應(yīng)用場景并不要求秒級或是分鐘級響應(yīng),但系統(tǒng)仍然需要在一個限定的時間窗口(例如8小時/12小時/24小時)計算完成并做出相應(yīng)反饋,這其實對計算還是有實時性的剛性需求。
使用邊緣計算超融合的方案,大數(shù)據(jù)的分析過程可以在給定的時間窗口內(nèi)實現(xiàn),精簡加固型的超融合系統(tǒng)也能夠適應(yīng)部署的糟糕環(huán)境。
其實這一類的物聯(lián)網(wǎng)應(yīng)用,感應(yīng)器產(chǎn)生數(shù)據(jù)量其實非常巨大,例如龐巴迪的C系列飛機(jī),在12小時的飛行過程中會產(chǎn)生844TB的數(shù)據(jù)量。
如果不能就近處理,通常這樣的原始數(shù)據(jù)要么丟棄,要么得等待緩慢的數(shù)據(jù)傳輸轉(zhuǎn)移的過程和占用云端大量的存儲計算資源以完成相關(guān)分析。
如果最終的應(yīng)用是一個大數(shù)據(jù)的分析,部署到邊緣的超融合節(jié)點至少可以完成第一步的數(shù)據(jù)清洗,節(jié)省大量的低信息含量的原始數(shù)據(jù)傳輸成本。
總結(jié)一下,這類系統(tǒng)有幾個典型的需求特征如下
無須分秒必爭,但確定時間窗口 數(shù)據(jù)種類多,數(shù)量大。 算法不復(fù)雜,非計算密集型 利用精簡型超融合搭建邊緣計算平臺可以提供幾個明顯優(yōu)勢點 更高可靠性硬件設(shè)備 更強(qiáng)數(shù)據(jù)存儲能力,保存更多原始數(shù)據(jù) 全虛擬化計算能力,部署分析應(yīng)用,在給定時間點即可完成短期分析,不需完全返回中央云
Gartner預(yù)測到2022年,所有企業(yè)將有75%全面展開邊緣計算戰(zhàn)略,而到2018年底,這個比例還不到10%。在未來三年邊緣計算大行其道的時刻,我們相信超融合基礎(chǔ)架構(gòu)能夠幫助大家應(yīng)對在這一全新領(lǐng)域要解決的許多新挑戰(zhàn),一些剛性需求諸如小尺寸,低能耗,極簡部署,易于管理和維護(hù)性等能夠得到滿足,有力支持邊緣計算發(fā)展。
評論
查看更多