過去幾年,全球數(shù)字化進(jìn)程加速,不斷增長的5G、人工智能、遠(yuǎn)程辦公、工業(yè)數(shù)據(jù)、政務(wù)、金融和能源上云的需求,促使云服務(wù)商增加了對數(shù)據(jù)中心基礎(chǔ)設(shè)施的投入。據(jù)第三方機(jī)構(gòu)統(tǒng)計(jì),全球云基礎(chǔ)設(shè)施增長迅猛,總支出從2020年1400億美元增長到了2021年的1900億美元,增長了36%。

數(shù)據(jù)中心基礎(chǔ)設(shè)施支出的增加包括對服務(wù)器和存儲需求的增加,存儲需求其中一大部分是企業(yè)級固態(tài)硬盤的需求。據(jù)第三方機(jī)構(gòu)統(tǒng)計(jì),2020年全球企業(yè)級固態(tài)硬盤市場規(guī)模約為161億美元,到2023年有望增至305億美元,期間年復(fù)合增長率約為24%。

市場需求的增加對于企業(yè)級SSD廠商而言無疑是利好,展望未來,在例如容量點(diǎn)、PCIe 5.0平臺適配、性能、需求、降本增效等SSD產(chǎn)品層面,如何應(yīng)對數(shù)據(jù)中心未來的需求和挑戰(zhàn),則需要企業(yè)級SSD廠商對產(chǎn)品規(guī)劃和設(shè)計(jì)進(jìn)行一些思考,本文根據(jù)今年美國FMS閃存峰會(huì)和OCP會(huì)議的一些內(nèi)容做一些思考和分享。

1. 企業(yè)級SSD容量點(diǎn)的演進(jìn)

按照Omdia對未來企業(yè)級SSD容量點(diǎn)應(yīng)用比例分布預(yù)測,隨著存儲的總?cè)萘啃枨筇嵘懊縂B價(jià)格的下降,大容量SSD部署比例將會(huì)逐年增加。按盤數(shù),2022年4T及以上容量點(diǎn)占比27%,到2026年接近51.5%。2022年8T及以上容量占比較少14.4%,但未來預(yù)測8T及以上大容量SSD占比大幅增至38.7%。大容量SSD部署比例的提升,幫助了企業(yè)和數(shù)據(jù)中心降低SSD $/GB成本,進(jìn)而幫助存儲部分降低總擁有成本TCO。

來源Omdia:未來容量點(diǎn)比例分布預(yù)測

數(shù)據(jù)中心如何部署和分配不同容量的SSD盤,一般按照:

240G-480G小容量SSD:作為服務(wù)器Boot啟動(dòng)盤,當(dāng)前以M.2/2.5寸 SATA SSD為主,企業(yè)級SATA SSD成熟、可靠和穩(wěn)定,$/GB相對較低,成本最優(yōu)。

1T:作為服務(wù)器本地存儲盤使用為主,用量較少。

2T-4T:作為服務(wù)器所在物理機(jī)(宿主機(jī))上的本地硬盤使用,本地盤適用于對存儲I/O性能和海量存儲性價(jià)比有極高要求的業(yè)務(wù)場景,具有低時(shí)延、高隨機(jī)IOPS、高吞吐量、高性價(jià)比等優(yōu)勢。

8T-16T:作為塊存儲云盤使用,云盤是云服務(wù)器提供的數(shù)據(jù)塊級別的塊存儲產(chǎn)品,采用多副本的分布式機(jī)制,具有低時(shí)延、高性能、持久性、高可靠等性能,可以隨時(shí)創(chuàng)建、擴(kuò)容以及釋放。

長江存儲企業(yè)級SATA SSD SE005容量點(diǎn)為240G～1.92T,尺寸2.5寸,順序讀寫分別高達(dá)540/510 MB/s,隨機(jī)讀寫分別高達(dá)98/59 KIOPS,小容量點(diǎn)適合作為服務(wù)器啟動(dòng)盤使用。

長江存儲SE005

2. PCIe 5.0 SSD和CPU平臺

按照Intel服務(wù)器至強(qiáng)CPU路線圖,Intel于2013年推出支持PCIe 3.0接口的Grantley平臺,2017年推出支持PCIe 3.0接口的Purley平臺,2020年推出支持PCIe 4.0接口的Whitley平臺,目前這些平臺均在企業(yè)級和數(shù)據(jù)中心中部署。支持PCIe 5.0接口的第一代Sapphire Rapids延遲到2023年Q1發(fā)布,隨后第二代支持PCIe 5.0接口的Emerald Rapids計(jì)劃于2023年發(fā)布,第三代Granite Rapids、Sierra Forest計(jì)劃于2024年發(fā)布。隨著即將到來的搭配Sapphire Rapids CPU的服務(wù)器平臺,PCIe 5.0 SSD會(huì)首發(fā)出場,登上舞臺,將服務(wù)器上的存儲帶寬提升到一個(gè)新的高度。

來源網(wǎng)絡(luò):Intel服務(wù)器至強(qiáng)CPU路線圖

AMD在今年11/12發(fā)布了Genoa系列EPYC霄龍 Zen 4處理器,支持128條以上PCIe 5.0接口,適配PCIe 5.0 SSD,并支持通過 Compute Express Link (CXL) 進(jìn)行內(nèi)存擴(kuò)展。同樣,PCIe 5.0 SSD的加載將服務(wù)器上的存儲帶寬提升到一個(gè)新的高度。

根據(jù)AMD最新公布的服務(wù)器CPU路線圖,基于Zen4架構(gòu)的Bergamo將于2023年上半年上市,Genoa-X和Siena也將在2023年某個(gè)時(shí)候上市。至于AMD在2024年在服務(wù)器CPU領(lǐng)域的路線圖中最重要的部分,可能是計(jì)劃在2024年底之前的某個(gè)時(shí)間將其代號為“Turin”的第5代EPYC處理器推向市場。

來源網(wǎng)絡(luò):AMD服務(wù)器CPU路線圖

PCIe 5.0接口速度2倍于PCIe 4.0接口,帶寬翻倍。相應(yīng)的PCIe 5.0 SSD可實(shí)現(xiàn)順序讀寫性能的翻倍和隨機(jī)讀寫性能的大幅提升,例如長江存儲企業(yè)級PCIe 4.0 NVMe固態(tài)硬盤PE310產(chǎn)品,順序讀寫分別高達(dá)6200/4500 MB/s, 隨機(jī)讀寫分別高達(dá)1000/380 KIOPS,到下一代PCIe 5.0 SSD,順序讀寫和隨機(jī)讀性能基本實(shí)現(xiàn)2倍提升。

長江存儲PE310

當(dāng)Sapphire Rapids和Genoa用上PCIe 5.0 SSD,硬件上數(shù)據(jù)中心的存儲性能已經(jīng)不再是瓶頸,性能瓶頸或許已是系統(tǒng)軟件,如何用滿和用好PCIe 5.0 SSD的性能,是擺在軟件面前的一道課題。但對于企業(yè)級SSD廠商而言,使用新一代NAND,設(shè)計(jì)一款高性能、低功耗、合適尺寸、多容量點(diǎn)、滿足客戶各種特性需求的PCIe 5.0 SSD,仍是努力要完成的工作。

3. SSD每TB性能

通常云上用戶將數(shù)據(jù)存儲在云盤,數(shù)據(jù)中心云盤按照性能高低和容量大小售賣,售賣價(jià)格也是按照不同的性能和容量大小制定的,性能越好容量越大價(jià)格越高。如下圖,阿里ESSD云盤的性能分為不同的PL0-PL3等級,對用戶而言,舉例購買到的單盤IOPS計(jì)算公式 = min(1800+50*容量,1000K or 100K or 50K…),單盤吞吐量計(jì)算公式 = min(120+0.5*容量,4000 or 750 or 350…)。單盤IOPS和吞吐量性能隨著容量增加相應(yīng)按比例提升。云盤數(shù)據(jù)存儲在后臺SSD上,因此對SSD單位容量如每TB性能有了基本的最低要求,才能滿足售賣時(shí)對用戶聲稱的性能規(guī)格。每TB性能 = 單盤性能/容量TB數(shù)。

來源阿里云:云盤性能參數(shù)表

NAND介質(zhì)繼續(xù)往前發(fā)展,層數(shù)不斷增加,一方面帶來成本和客戶感知的$/GB價(jià)格不斷下降,另一方面由于新NAND Die容量增大,對于同容量SSD而言可用NAND Die的個(gè)數(shù)隨之減少。例如NAND A Die容量是64GB,隨著下一代新層數(shù)的NAND的來臨,NAND B Die容量變?yōu)?28GB,同容量SSD中NAND Die個(gè)數(shù)減少為之前的1/2,因此對NAND讀寫的并發(fā)數(shù)減少為之前并發(fā)數(shù)的1/2,SSD的性能也降為之前的1/2,這就是導(dǎo)致SSD每TB性能下降的一個(gè)案例。

作為SSD供應(yīng)商,當(dāng)使用新的NAND開發(fā)下一代SSD產(chǎn)品之前,解決每TB性能下降變成了要面對的問題,方法有:

1) PCIe前端接口帶寬不變,使用新的NAND,設(shè)計(jì)其單Die容量仍然同前一代NAND Die容量。

2) PCIe前端接口帶寬不變,使用新的NAND,Die容量增加一倍,增加單Die內(nèi)部Plane個(gè)數(shù),相當(dāng)于增加NAND讀寫并發(fā)數(shù)來提升SSD系統(tǒng)性能。例如長江存儲最新的X3-9070 NAND從之前的X2-9060的4個(gè)Plane增加到6個(gè)Plane。

3) PCIe接口升級,如從PCIe 4.0過渡到5.0,帶寬翻倍,使用新的NAND,雖然Die容量增加一倍,但2X大容量SSD連續(xù)讀寫性能也隨著PCIe帶寬翻倍而翻倍。

4) PCIe接口升級,如PCIe 4.0過渡到5.0,帶寬翻倍,使用新的NAND,Die容量增加一倍,提升NAND Flash IO速度來適配前端PCIe翻倍的數(shù)據(jù)帶寬。例如長江存儲最新的X3-9070 NAND支持2400 MT/s接口速度, 相較上一代NAND的1600 MT/s接口速度可極大的提升SSD順序和隨機(jī)讀寫性能。

由此可見,為了滿足數(shù)據(jù)中心存儲每TB性能需求,SSD廠商當(dāng)開發(fā)下一代SSD時(shí),要站在用戶角度思考如何保持不低于上一代SSD的每TB性能,提供必要的技術(shù)方法進(jìn)行解決。

4. 需求標(biāo)準(zhǔn)化

數(shù)據(jù)中心對SSD的需求多樣化和碎片化,不僅國內(nèi)各家都不一樣,國內(nèi)和國外也不盡相同。同時(shí)由于其對SSD需求的某些細(xì)節(jié)機(jī)密無法對外公開,一部分SSD原廠供應(yīng)商憑借和客戶的良好關(guān)系可以獲取,而其它供應(yīng)商則無法獲得,導(dǎo)致這些供應(yīng)商的設(shè)計(jì)和客戶數(shù)據(jù)中心的實(shí)際應(yīng)用脫節(jié),不符合要求。基于此,Meta、Microsoft、HPE、DELL-EMC主導(dǎo)和組織發(fā)布了Datacenter NVMe SSD Specification,鏈接:https://www.opencompute.org/documents/datacenter-nvme-ssd-specification-v2-0r21-pdf。 現(xiàn)今OCP發(fā)展到了2.0版本,成為國外幾家云數(shù)據(jù)中心事實(shí)上要支持的標(biāo)準(zhǔn),同時(shí)為企業(yè)級SSD廠商理清了數(shù)據(jù)中心的關(guān)鍵需求。

啟動(dòng)盤方面,當(dāng)前以成熟的 SATA SSD為主,將來會(huì)往PCIe NVMe SSD遷移,原因:第一服務(wù)器主板和CPU會(huì)逐漸取消SATA接口;第二PCIe NVMe SSD相較SATA有更多的優(yōu)勢。為了統(tǒng)一PCIe NVMe啟動(dòng)盤的需求,OCP發(fā)布了啟動(dòng)盤SSD第一份Spec規(guī)范:https://www.opencompute.org/documents/hyperscale-nvme-boot-ssd-specification-v1-0-pdf。這份規(guī)范為啟動(dòng)盤SSD廠商規(guī)定了啟動(dòng)盤所需要的NVMe命令集、PCIe接口配置、可靠性、壽命、性能、安全、調(diào)試和FA失效分析等需求。

5. SSD安全規(guī)范

SSD作為數(shù)據(jù)中心存儲關(guān)鍵部件,其安全問題一直以來備受重視,OCP 2.0定義了數(shù)據(jù)中心對SSD的安全規(guī)范,給SSD廠商提出明確的需求:

固件升級簽名校驗(yàn)和每次啟動(dòng)時(shí)使用密碼學(xué)進(jìn)行對稱密鑰身份驗(yàn)證,防止非法升級固件和非法篡改固件。

固件版本不能回退,只能向后更新的版本升級。

用戶數(shù)據(jù)使用XTS-AES-256 or AES-256加密,SSD盤支持Opal v2.01,防止用戶數(shù)據(jù)泄密。

SSD支持安全啟動(dòng),如果遇到安全啟動(dòng)失敗,用戶將不能訪問此盤。

Telemetry和Debug日志,實(shí)施安全審查,包括固件代碼審查,防止盤上用戶數(shù)據(jù)被竊取。

SSD出廠后Debug端口被禁止,防止黑客利用Debug端口Hack SSD。

SSD vendor unique commands一般被禁止使用,只有通過一種使用非對稱密碼方案的質(zhì)詢響應(yīng)才能打開。

任何和SSD安全相關(guān)的問題,必須保持私密,和客戶確認(rèn)前不能公開。防止外界或他人了解安全漏洞后進(jìn)行Hack SSD。

SSD盤上的用戶數(shù)據(jù)和系統(tǒng)數(shù)據(jù),需要在NAND物理上分開存儲。

其他……

6. 特性需求:ZNS等

相比較傳統(tǒng)的SSD,近年來出現(xiàn)的ZNS SSD具有特別的幾點(diǎn)優(yōu)勢:

降低SSD TCO ? 零OP NAND,減少DRAM Size。

提升壽命 ? 減少寫放大。

提高性能 ? 主機(jī)控制SSD device-side垃圾回收,極大降低穩(wěn)態(tài)QoS時(shí)延和提高寫入吞吐量。

數(shù)據(jù)隔離 ? 降低多租戶因不同數(shù)據(jù)訪問造成的性能和時(shí)延的影響。

ZNS SSD在零OP條件下,寫放大可以做到近似接近1,相比較7% OP傳統(tǒng)SSD,寫放大是其1/3。使用ZNS特性的QLC(3K PE) SSD其壽命(DWPD)幾乎可以做到等同于傳統(tǒng)TLC(7-10K PE) SSD的壽命,但QLC由于一個(gè)單元存儲4比特位數(shù),相較于TLC成本可以降低20%以上,因此ZNS+QLC SSD可以獲得降本的收益。

數(shù)據(jù)中心一直在追求SSD盤的降本增效,ZNS結(jié)合TLC SSD的高性能和QLC SSD大容量特性,在數(shù)據(jù)中心可能的應(yīng)用如下:

來源FMS 2022:TLC和QLC ZNS SSD應(yīng)用場景設(shè)想

未來,數(shù)據(jù)中心會(huì)為了應(yīng)對業(yè)務(wù)應(yīng)用新需求、增加新應(yīng)用、降低存儲總擁有成本TCO,使得對于企業(yè)級SSD新特性的需求,永遠(yuǎn)不會(huì)停歇。這些新特性需求不僅僅局限于ZNS,而且包括了如CXL、SR-IOV、Stream、CMB、CSD等特性,本文暫不做展開。

7. 采用QLC SSD

目前企業(yè)級TLC SSD已經(jīng)主導(dǎo)數(shù)據(jù)中心SSD存儲部件,QLC NAND及SSD已經(jīng)推出多年,有一些少量的部署和采用,但距離普及和規(guī)模部署還有一段距離,原因大致:一是QLC SSD相較TLC SSD價(jià)格差距沒到甜蜜點(diǎn);二是供應(yīng)商單一;三是相應(yīng)的上層軟件適配和生態(tài)沒有成熟;四是缺乏燈塔應(yīng)用標(biāo)桿項(xiàng)目,所以數(shù)據(jù)中心都在觀望。

但隨著更多的供應(yīng)商提供企業(yè)級QLC SSD產(chǎn)品,QLC SSD價(jià)格的進(jìn)一步下探,應(yīng)用軟件和生態(tài)的逐漸成熟,并有新的技術(shù)如ZNS的結(jié)合以減少Q(mào)LC SSD寫放大提升其壽命,以及國內(nèi)外廠商部署使用QLC SSD的良好案例,像Vast Data帶來的示范效應(yīng),數(shù)據(jù)中心越來越多的部署和采用QLC SSD將會(huì)成為趨勢,畢竟夠用、好用及降本是數(shù)據(jù)中心對存儲一直不斷追求的目標(biāo)。

最后,數(shù)據(jù)中心SSD的未來需求當(dāng)然不止以上這些,除了一直不變的高性能、低功耗、高可靠性和降本的需求之外,隨著CPU平臺和SSD相關(guān)新技術(shù)的出現(xiàn)以及NAND介質(zhì)的發(fā)展,面向數(shù)據(jù)中心的應(yīng)用對存儲會(huì)不斷提出新的想法和新的需求,需求落地、優(yōu)化和推動(dòng)產(chǎn)品迭代,產(chǎn)生出新的更好的SSD產(chǎn)品。

長江存儲一直在持續(xù)理解和消化數(shù)據(jù)中心對SSD的需求、標(biāo)準(zhǔn)和應(yīng)用,布局企業(yè)級SSD產(chǎn)品,基于Xtacking?架構(gòu)的三維閃存技術(shù)NAND,已經(jīng)推出了包括SE005、PE310等產(chǎn)品。借助Xtacking?架構(gòu)的優(yōu)勢,實(shí)現(xiàn)行業(yè)領(lǐng)先的I/O速度、更高的存儲密度并提供高品質(zhì)保障的企業(yè)級SSD產(chǎn)品。

審核編輯黃昊宇