我們一般接觸到的存儲是機械硬盤HDD或固態硬盤SSD,其實還有磁帶庫、藍光等海量存儲介質,比如Facebook數據中心就采用了藍光存儲。
阿呆最近在SSDFans微信群看到一個華錄藍光存儲的PPT,摘錄出來分享給讀者。
一個DA-BH7010藍光存儲機柜最大容量為1.64PB,機柜的基本結構如下圖,上面是6個6U的光盤單元,最底下是電源和控制服務器。
藍光存儲基本結構
看看藍光存儲的基本結構,如下圖,左邊是光盤匣,右邊是光驅陣列,下面是機械手,最后以SAS接口連到服務器,包含了RAID和機械手控制器以及驅動。
上層系統
以各光盤匣為單位進行管理→容量為3.6TB
將光盤匣分為2組(6張碟片為一個單位),送入光驅
光驅系統,6臺光驅為一組,使用RAID0/5/6,刻錄讀取數據
【特點】
以光盤匣為單位進行數據的刻錄、讀取。
可以保證高傳輸速度、RAID冗余、離線管理等。
刻錄數據較大時,可以使用Reed-Solomon。數據小時,因為在傳輸速度上沒有優勢,所以采用方案1的方式,光驅的效率更高。
【優勢/不足】
以光盤匣為單位管理數據。使用RAID保護數據。可以進行離線管理。
若要實現設備間的冗余,需要鏡像處理,所以系統成本提高。
另一種模式就沒有RAID了,光驅分別控制。
上層系統
以各碟片為單位進行管理→容量為300GB
根據需要,將碟片送入光驅
以光驅為單位進行控制、數據的刻錄與讀取
【特點】
以碟片為單位進行數據的刻錄、讀取。雖然能夠有效的使用光驅,但是傳輸速度下降。
Reed-Solomon分割的數據,刻錄在不同的碟片中。
各碟片放置在不同的機柜中,即使設備本身出現問題,也能正常讀取數據。
如果各碟片放置在不同的數據中心,即使一個數據中心出現問題,也不影響數據的正常讀取。
【優勢/不足】
可以實現設備間冗余,數據中心間冗余。
因為搭載多個光驅,文件大小可以滿足多個用戶同時訪問的要求。
離線管理困難。
最后一種模式是最上層做成NAS、對象存儲。
上層系統
以卷為單位進行管理→容量可調
將光盤匣分為2組(6張為一個單位),分割至每個卷使用
采用NAS、Object Storage的刻錄讀取方式,可以進行文件的訪問
【特征】
有NAS、對象存儲等接口,與現存系統的連接性高。可以與普通的ISV相連接。
因為以光盤匣為單位進行數據的刻錄、讀取,可以保證高傳輸速度、RAID冗余、離線管理等
【優勢/不足】
以光盤匣為單位管理數據、使用RAID保護數據、可以進行離線管理。
若要實現設備間的冗余,需要鏡像處理,所以將提高系統成本。
Facebook藍光存儲
facebook是世界上最大的圖片分享網站
2013年活躍用戶的數量達到11.5億人,每天上傳照片數量超過3.5億張
2015年活躍用戶的數量超過15億人,單日使用量突破10億人次
facebook保存了數目龐大的照片數據
目前累計上傳照片數量超過6000億張
對于每張照片,facebook存儲大小不同的四個版本(在某些場景下只需展示縮略圖)
意味著:facebook服務器上存儲著2.4萬億張照片
下圖是社交網站圖片的訪問頻率隨時間的變化趨勢,剛上傳后訪問頻率最高,后面逐漸降低,一年后就成了偶爾訪問。存儲介質也是分級存儲,從全閃存、SSD到HDD、光盤。
facebook保存大量圖像數據。為了滿足實時性要求,在Hadoop系統上保存圖像數據。
作為Hadoop發生故障時的候補,在光存儲系統上存儲Hadoop的備份。
為了提升備份效率,使用Reed Solomon符號在光盤上分散記錄。
Facebook最終采用了藍光光盤作為冷存儲介質:
用戶照片等數據需要長期保存,現有介質成本高、可靠性低
與硬盤相比整體成本削減50%以上 [成本包括:設備成本、能耗成本、網絡成本、機房成本、人員成本、運營成本]
耗電量降低80%以上 [光盤庫工作功耗遠低于硬盤,且不需要空調冷卻系統——光盤庫工作能耗為88W,采用外部空氣過濾系統替代空調冷卻系統]
異地備份方案
在冷存儲更新頻度低的前提下,地理上分離的多個場所間作數據冗余
以冷數據為對象搭載異地備份(Geo Replication)功能
由于有數據中心間的冗余功能,數據中心內的冗余設備廢止(2系統供電、UPS、自備電源、回路2重化、防震構造等),數據中心大幅降低成本,在這個基礎上云服務成本大幅降低
facebook已在Prineville的Forest City進行商用,Google已在Spanner上實現
異地備份使可用性和吞吐量性能同時實現
藍光存儲的未來
先看看藍光存儲技術路線圖,2023年單盤可以到幾TB容量。
未來的光存儲技術還有:
全息光存儲技術(美國InPhase,日本日立、NHK);InPhace 1.6TB/盤;日立2TB-8TB/盤
雙光束超分辨技術 (澳大利亞 顧敏院士,武漢光電國家實驗室)
實驗裝置水平:可實現單盤15TB容量
最新實驗結果:9nm特征尺寸 理論上可達單盤 1PB
-
存儲
+關注
關注
13文章
4343瀏覽量
86042 -
藍光存儲
+關注
關注
0文章
4瀏覽量
2004
原文標題:藍光存儲,看這一篇就夠了!
文章出處:【微信號:SSDFans,微信公眾號:SSDFans】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論