哪些應用場景適合云存儲?存儲虛擬化、分布式存儲、對象存儲這幾種技術主要解決什么問題?技術產品選型如何考慮?

|| 企業哪些應用場景適合借助云存儲來實現?

傳統 IT 環境中使用傳統存儲的困境有那些?那些應用場景是傳統存儲不能滿足而必須借助云存儲來實現的?

分享一：

1、虛擬機存儲

虛擬機存儲是云計算平臺中運行的虛擬機以及虛擬機鏡像的存儲環境，主要特點包括：

1) 文件較大，一般為 10G 以上;

2) 單個虛擬機的 IOPS 和帶寬要求低，一般在幾十以內;

3) 可用性要求較高。

一般來說，在云計算環境下會存在大量的虛擬機，少則上千臺，多則幾萬臺甚至幾十萬臺，雖然單臺虛擬機所需資源較少，但是量變帶來質變，整體對于存儲的性能需求極高，該場景下為了滿足所有虛擬機訪問帶來的帶寬要求，使用傳統存儲的解決方案需要購置多套 SAN 或者 NAS 存儲設備并分別部署，顯然價格較貴。

云存儲可構建統一的資源池，并能夠動態擴展資源，并有效提升存儲資源的管理和使用效率。結合虛擬機存儲的使用特點，存儲資源池可使用 SAS 接口的磁盤甚至 SATA 接口的磁盤。

2、非結構化數據存儲

業務系統在運行過程中，一般會生成一些非結構化的數據，包括記錄的系統運行日志、生成的一些臨時文件等。該類型數據的特點包括：

1) 文件大小中等，一般幾十 MB 到幾百 MB 不等;

2) IOPS 和帶寬要求低，一般是連續讀寫;

3) 可用性要求較高。

該類型的應用場景類似于虛擬機存儲，差別主要在于虛擬機主要表現為隨機訪問，非結構化數據主要表現為連續訪問。另外，該場景下的文件數量會非常大，文件大小也差別較大，從幾 MB 到數 GB 都會有。

因此，云存儲也可很好的滿足上述要求，使用廉價 SAS 和 SATA 磁盤滿足大規模非結構化數據的存儲，并提供良好的擴展性。

3、數據庫存儲

業務系統運行過程中另外一個典型的存儲應用就是關系型數據庫，基本上所有的業務系統均需要存儲用戶基本信息、參數信息、業務交易信息等內容。結合數據庫使用的不同場景，包括聯機業務數據庫、批量業務數據庫和參數庫，相關的主要特點如下：

1)聯機業務數據庫：面向實時交易業務處理過程中的數據存儲和訪問，主要特點包括業務訪問并發量很高、實時性和可用性很高、每天數據量較大等，數據表內容可達到幾千萬甚至幾億條記錄;

2)批量業務數據庫：面向交易業務處理過程中的非實時數據處理，比如說基于歷史數據的統計分析，主要特點包括業務訪問并發量不高、訪問數據量較多、實時性較高等;

3)參數庫：面向業務處理過程中關聯的用戶信息、商戶信息、業務參數等內容，主要特點包括數據增加緩慢、業務訪問并發量不高、實時性較高等。

云存儲結合固態硬盤 SSD 的應用，完全可以滿足數據庫應用場景下的帶寬和 IOPS 方面的性能要求。

分享二：

首先說下傳統存儲(包括 DAS 存儲、NAS 存儲、SAN 存儲等)的困境，主要是管理不方便，容量擴展麻煩，從成本上考慮硬件成本和維護成本都很高。

如果使用云存儲，優點還是很明顯的，開箱即用，擴容也比較簡單。

至于哪些場景的話，主要是多媒體，音樂，圖片，視頻監控文件，軟件，鏡像，掃描件等其他海量文件的存儲，這些都可以使用，主要還是易用性跟性價比。

分享三：

從架構來看，云存儲比緊耦合設計的傳統存儲有更好的橫向擴展性，這樣在容量和性能上有更大的彈性，另外云存儲采用的糾刪碼技術也可以提供較之于傳統 RAID 更高的可靠性，可以應對多個數據節點的同時失效。再者基于 x86 架構的分布式云存儲較之于傳統機柜式存儲有更靈活的部署方式。市面上的云存儲普遍采用低速 sata 盤，實際上，對于沒有高性能要求的非交易型系統，對于這些系統產生的海量非結構化數據，云存儲是個不錯的選擇。另外，從對海量數據的處理性能上來看，尤其是存儲容量在幾百 TB，甚至是 PB 級，文件數量在千萬、億量級的時候，傳統的 SAN 和 NAS 實際上已經有了瓶頸，而采用扁平化數據組織方式的對象存儲就有了很明顯的優勢。

分享四：

云存儲相對傳統存儲能解決的問題：

1.節點級的高可用;傳統存儲只解決硬盤級的故障，對設備整機損壞沒有防護

2.整體接入性能隨容量線性增長，多節點并發讀寫的模式;傳統存儲的 IO 性能隨著擴展柜的增加呈拋物線分布

云存儲的適用場景：

1.開源云計算的后端存儲，如果上 openstack，cloudstack，通常后端會配分布式存儲而不是 SAN 存儲。

2.海量非結構化數據存儲，對于數 PB 的數據的統一存儲，通常需借助分布式文件系統。

3.海量小文件數據存儲，對于文件規模上億的存儲場景，通常使用對象云存儲，以獲得更高的 IO 性能和擴展性。

分享五：

從不度的維度可以有很多場景，幾乎上規模的容量、性能及文件數量要求的大前提下，基本上都可考慮采用云存儲實現。從常規容量及性能維度來看，場景有海量存儲需求(如多媒體存儲)、對容量、讀寫性能有同步橫向擴展需求(超算或高性能計算)等。從數據結構類型維度來看，如非結構化數據、大型數據庫、虛擬機存儲等。

|| 云存儲主要技術路線有哪些?各有哪些優缺點?

分享一：

存儲虛擬化：

存儲虛擬化更多是對傳統塊(FC SAN,IP SAN)的虛擬化。 其主要解決了企業內部傳統存儲資源無法有效進行存儲資源整合和統一管理的難題。可以有效的提升整體存儲資源的利用率和降低人員運維成本。

同時作為虛擬化網關，極大的方便了異構品牌平臺存儲間的數據集中和數據遷移。

很多存儲虛擬化網關本身具有遠超傳統存儲的企業級軟件功能：比如thin，壓縮，快照，clone，數據復制等。可以通過虛擬化網關進行統一的存儲復制交付功能。

所以存儲虛擬化的主要勇武之地還是在傳統IT環境及私有云環境。自然面向的也是高IO負載，低讀寫延遲等重要應用業務環境，比如數據庫。是對傳統IT環境中企業存儲陣列的一個補充和升華。

SDS軟件定義分布式存儲：

為什么對于分布式存儲我要在開頭加上“SDS軟件定義呢”? 因為我們這里討論的是云存儲關聯的分布式存儲。

分布式存儲早多少年即有之了，并且很多都耳熟能詳。比如EMC 的VMAX 高端存儲陣列就是一種緊耦合的專有硬件的，硬件和軟件相集成的傳統分布式存儲陣列。比如IBM 的XIV 高存儲陣列也是硬件和軟件相集成的高密度容量的分布式存儲陣列。這些傳統分布式存儲陣列具有傳統高端存儲的高IOPS，低讀寫延遲優點，同時有具有分布式存儲多副本，節點冗余自恢復等特色。

再說一說SDS 軟件定義分布式存儲，這個是云里面，無論是公有云還是私有云都在炒的潮流。也是云存儲的主流當家花旦。

一般的SDS 軟件定義分布式存儲產品功能協議支持都比較全：

A. 塊block協議 給輕量級數據庫,VM,提供高性能塊裸設備。

B. 文件file協議提供類似NAS 的文件共享功能或是承載非IO性能密集型的應用。

C. 支持api調用存取object 對象，用來存儲海量數據文件。

針對以上三個協議我要多說幾句：

1、首先SDS分布式存儲在block塊協議這方面相比傳統存儲在高性能低延遲、成本控制及易管理維護方面沒有任何優勢。同樣的一套oracle數據庫采用傳統存儲TCO總體擁有成本方面有可能只是SDS分布式存儲成本的1/2甚至更少，這個在以前可能是誤區，可能大家都認為開源的，或是軟件定義的自己DIY搭的東西是最便宜的，其實很多時候事實剛好相反，開源的DIY的東西反而可能是最昂貴的。

對于傳統IO密集型數據庫應用來說，當前最好的存儲模式還是采用傳統高端存儲陣列，因為這就好比存儲中的跑車法拉利，雖然價格貴，但是久經驗證，在性能和穩定性方面絕對可靠。

SDS分布式存儲當前因為三副本等原因容量成本在超大規模以下場景成本優勢不明顯，甚至是劣勢。性能方面還是只能適用于opentask、VM、輕量級數據庫場景。塊協議普遍存在IO輸出不穩定、延遲高等缺點。另外一個缺點就是在企業級存儲軟件功能方面，比如快照、clone，復制等技術方面相較傳統存儲還不是十分成熟，無法在生產環境中應用。

但是SDS 軟件定義分布式存儲是未來的大方向，也是在逐漸成熟中，未來一統天下也未可知。

2.SDS 分布式存儲在file文件協議這一塊PK的對手也慢多的,像傳統的NAS存儲，越來越火的分布式或是集群文件系統，比如GlusterFS、GPFS 等，個人感覺這一塊SDS分布式存儲會搶占很多傳統NAS的市場份額，畢竟很多使用NAS的應用在IO性能和延遲方面要求低很多， 使用分布式存儲的file協議，可以解決NAS 產品scale-out橫向擴展不足的缺點。NAS 能應用的很多場景，一款優秀的SDS分布存儲file協議應該也可以滿足。

3.對象協議。

這個放在下文對象存儲中一起討論。畢竟多數SDS 分布式存儲的底層就是調用對象來存儲和讀取數據的。塊block協議功能和file協議功能都是間接調用基于的對象來實現的。

對象存儲：

其實這個沒有什么好說的。對象存儲的出現就是為解決了互聯網上存儲海量大數據的問題。比如存儲萬億的視頻、圖片，照片等。比如進行海量的數據歸檔，數據備份等。現在很流行的用法就就是用對象存儲存儲海量非結構化數據，然后進行大數據分析。

優點：對象存儲其采用key-volume的扁平化存儲架構設計，使用簡單，調用API就能進行數據存儲和讀取。可以存儲海量數據，這點傳統存儲和NAS就沒轍。在海量數據場景中你只能選擇對象存儲。如果傳統SAN存儲是跑車，NAS是貨車，那么對象存儲就是萬億噸海上集裝箱大油輪。對對象存儲來說，單個客戶端的訪問效率不高，延遲也很高。但是你架不住他海量并發呀，互聯網上海量客戶端并發訪問，這個帶寬和總體性能一下就上去了。

缺點：單個客戶端訪問效率低，延遲高。應用功能和場景受限。對象存儲不支持隨機讀寫操作，只能全讀全寫，其面向的是一次寫入，多次讀取的非結構化數據存儲的需求場景。

|| 企業在分布式存儲技術上主要是解決那些問題?并且技術產品選型上應該如何考慮?

分享一：

SDS 軟件定義分布式存儲支持三種協議方式：

A. 塊 block 協議 給輕量級數據庫,VM,提供高性能塊裸設備

B. 文件 file 協議提供類似 NAS 的文件共享功能或是承載非 IO 性能密集型的應用

C. 支持 api 調用存取 object 對象，用來存儲海量數據文件

雖然 SDS 分布式存儲有很多中，但是仔細分析會發現不同廠商的分布式存儲都會有其清晰的市場定位和優勢場景：

比如 solidfire 其主要定位就在塊 block 協議，不提供 file 和 object 對象功能。其主要定位就是 7 成用來云 opentask，VM，2 成用在輕量級數據庫比如 mongoDB，PG，1 成用來 IOPS 2W 左右的物理機。并且其核心設計里理念就是云里面保證 qos，單個 host 提供有限的 IO，其架構不適用于高帶寬應用。 但其優勢就是用豐富的 API，和云集成比較好。不能滿足也不適合傳統高性能數據庫應用。

比如華為 Fusionstorage block 存儲其定位也是在塊 block ，主要提供高性能塊存儲，可以適用于一般的高性能數據庫。但是也不支持 file 和 object 協議。其支持應用主機通過兩種模式 SCSI 和 iSCSI 模式訪問存儲集群。

仔細分析其架構和 IO 傳輸路徑會發現：單個主機在 iSCSI 訪問模式下只能訪問部分的存儲節點，無法做到整個集群的 IO 并發響應。單個主機的 IO 路徑和 IO 性能被限制在固定的幾個存儲節點，此模式下無法發揮出分布式存儲的架構優勢，總體使用方式類似傳統 SAN 存儲(這樣還不如用傳統存儲來的高效和方便)。其他的分布式 IP SAN 存儲只要使用 iSCSI 協議也都存在這樣架構劣勢。

Fusionstorage 采用 SCSI 模式訪問存儲集群時，才真正意義上做到對單個應用主機的 IO 處理的分布式并發處理響應。

所以說在玩分布式 IP SAN 存儲時，對同一個存儲產品，其支持的那種存儲訪問協議和模式的很重要。這甚至決定了你是把一套分布式存儲當做傳統存儲在用，還是在真正意義上當做分布式存儲在用。

比如 WOS 其定位就是 objec 對象海量文件使用場景，其在塊 bolck 場景應用上就不行了。

還有 ceph 其 塊，file，object 協議都能提供，但是總體上地位比較尷尬。 塊協議方面比不上專業廠商的分布式存儲，file 功能還不成熟。 object 也比不上專業做 object 的廠商。 但好在其是開源的。

所以首先要明白你的業務類型和存儲適用場景。針對你的需求來選擇不同的分布式存儲來滿足應用業務需求。

|| 傳統存儲陣列分布式架構和 SDS 軟件定義分布式存儲架構的相同點和不同點?各自定位有何不同?

分享一：

兩者都是分布式存儲，主要是適用場景有所不同。

差異分三個層面說，

1.硬件形態：部分高端的傳統分布式陣列還是控制器架構，而后者基本是直接跑在 x86 服務器上和計算融合在一起使用

2.冗余實現：有所不同，前者更多用糾刪碼;后者更多是做副本，也有先做 RAID 再做副本，糾刪碼比較少

3.產品的商業模式：前者屬于一個完整的產品，通常來自傳統存儲公司或硬件設備廠商，例如 EMC 的Isilon，

后者主要給虛擬化提供支持，很少作為獨立產品出現，更多來自軟件廠商，例如現在 openstack 的各種后端存儲，ceph，gluster，swift

前者優勢是性能和可靠性，更適合專業的細分應用，比如廣電行業的視頻編輯應用、IO 密集型的數據庫應用等;

后者的優勢是彈性擴展、接口豐富、開源，主要是軟件廠商在使用和維護

分享二：

這兩者的第一個差異點是通用硬件和專有硬件。

SDS 明確定義是基于通用硬件，大部分情況下“通用硬件”是指 X86 服務器。如果用車子打比方那就是量產車，上 4S 店就能買到的豐田大眾寶馬奔馳。

而傳統陣列通常是專有的控制器架構，常見都是雙控或多控，所謂控制器是一個為存儲產品的使命專門設計制造的專有設備，有時候你也可以理解為嵌入式的軟硬件一體設備，為存儲這種特殊用途定制。同樣用汽車類比那就是特殊用途車，越野暴改車。

分布式架構都是基于多個硬件節點，利用軟件和其內涵的分布式算法有機地揉和成一個系統，向外提供高可靠高并發的服務。和傳統存儲相比，兩種的“基底”硬件明顯是不同的。SDS 的硬件節點是通用型，自然硬件可靠性也比較一般。因此需要在軟件和算法層面更多的考慮到硬件故障，上規模的產品通常在設計時就把設備節點故障當中常態處理，并不視為異常。而傳統存儲這邊的硬件在可靠性上明顯更強，對數據強一致性等指標更為重視。

從系統架構上看，SDS 有很多是對稱式架構，所有節點配置都相同，標準化的硬件節點，像樂高積木一樣自由增加，性能容量同步橫向擴展。傳統存儲陣列做分布式還是非對稱式多，構建系統有多種規格和角色設定的節點，甚至是異構的。這種系統一般必須有一個控制/管理節點，所謂“機頭”或者“存儲網關”，下面再掛接“后端存儲”，即各類陣列，異構兼容。

由于固態存儲的廣泛應用，基于通用 X86 服務器的 SDS 也能通過多節點聚合得到很好的性能表現，因此傳統存儲在性能上的優勢不再，兩者都能提供給應用系統足夠的性能。SDS 通常把原來依附于傳統高端存儲的企業級高級功能如快照克隆遠程復制都提煉出來放到軟件里，在某種程度上也提供了這些高級功能，但整體架構的變化，(SDS+計算虛擬化，兩者再深度結合就變成 HCI 超融合架構),導致一些容災備份實現機制有別于傳統，提供了新的可能性，是否繼續沿用舊機制值得關注。

從定位上來說，我認為傳統存儲陣列的分布式還是屬于漸進式創新，在原來的傳統 IT 環境基礎上做的小步調整，和原有應用和系統配合度比較高，改動不大。擴展規模上相對來說小一點。如果有系統改造的需求，這類架構是可以考慮的。

而 SDS 還是有較大的變化，有點顛覆性創新的意思，架構變化較大，系統移植過去能夠獲得更好的擴展性，能夠適應更大的系統規模，但是原來的舊系統很多無法利用。勉強連上也只能保證連通性，性能和高級功能就顧不上了，所以總體來說可能更適合新建的系統。

|| 企業在存儲虛擬化技術上主要是解決那些問題?并且技術產品選型上應該如何考慮?

分享一：

主要是解決：

1. 異構存儲的集中管理

2. 存儲資源的池化

3. 為存儲自動化建設蓄力

4. 為云環境準備存儲資源

5. 提高存儲使用和運營效率

6. 數據的備份和分層

……

所以啊，主要考慮：

1. 兼容性

2. 易用性

3. 對于性能的提升

4. 附加功能夠不夠滿足二期建設要求

5. 安全性

6. 價格。。。土豪無視

分享二：

補充一點。豐富的軟件功能性能也是一個重要的考慮點。

就拿 svc 和 vplex 來對比。svc 在軟件功能：thin，快照，clone，壓縮，數據復制等軟件功能方面全面并且強大。最新版本的 svc 甚至直接支持將自身數據和快照通過 s3 接口直接上傳到云和對象存儲，進行復制和備份。

而這些恰恰是 vplex 的短板。vplex 缺乏當今企業級存儲必要的軟件功能，甚至在這方面遠落后于一般的存儲陣列。如數據保護，壓縮，分層，thin 等。最為奇葩的是竟然不支持在 vplex 上做快照，clone 和復制。

這讓 vplex 僅僅只是一個虛擬化網關功能。無法做到在虛擬化層面，對存儲軟件功能進行整合和在虛擬化層對外提供一致存儲軟件功能。但是就是因為功能少，復雜度降低，在穩定性和性能方面比 svc 有優勢。并且 svc 集群不是真整意義上的分布式架構，而是分多個 iog 組每個組內的兩個節點是類似中端存儲的主被模式。

總之如果你在存儲虛擬化層不需要一些基本的軟件功能，比如 thin，快照，clone 等，那你可以選擇vplex 也可以選擇 svc。

如果你想要一個完整的存儲虛擬化解決方案。那么你沒得選，只能選擇 svc。

|| 企業在應用對象存儲技術主要是解決那些問題?并且技術產品選型上應該如何考慮?

分享一：

文件 NAS 存儲的缺點：

讀寫速率低，傳輸速率慢：以太網，上傳下載速度較慢，讀寫延遲比傳統 SAN 存儲高很多。

雖說也可以存儲海量文件，但是因為 inode，目錄層級的限制，單個目錄深度和存儲文件數量是有上限的，分層文件結構的命名空間有限，無法在真正意義上做到存儲海量數據。

塊或 SAN 存儲的缺點：

1.采用 SAN 架構組網時，需要額外為主機購買光纖通道卡，還要買光纖交換機，造價成本高。

2、主機之間的數據無法共享，在服務器不做集群的情況下，塊存儲裸盤映射給主機，再格式化使用后，對于主機來說相當于本地盤，那么主機 A 的本地盤根本不能給主機 B 去使用，共享數據受到很多限制。

3、一般都是集中使用方式，一個主機分好多的盤。擴展性方面是硬傷。單個應用容量及其容易到達單臺存儲容量上限的限制。

對象存儲綜合了 NAS 和 SAN 的優點，同時具有 SAN 的高速直接訪問和 NAS 的數據共享等優勢，提供了高可靠性、跨平臺性以及安全的數據共享的存儲體系結構。最最重要的是其接近無限擴展能力的，可以在真正意義實現非結構話數據的海量存儲。其扁平化的存入和讀取數據對象方式，使其使用方式簡單，應用通過標準 API 接口進行調用，十分契合互聯網大數據的存儲。

對象存儲典型使用場景：

數據采集(情報、監視、偵察和合法攔截)

數據采集(視頻監控)

數據備份、歸檔、版本管理

數據協同(公共數據平臺)

數據源和數據分發(CDN)

對比傳統存儲解決方案的優勢：

架構簡潔，易于維護，經濟高效

EB 級擴展能力

對象數量達萬億級

高性能

跨地域部署

分享二：

對象存儲天生具備分布式的架構優勢，擴展方便;另外它沒有多層樹級文件目錄，采用查表式訪問操作，小IO性能好，適用于海量小文件的應用模式。如果業務收益可以支撐 IT 投入，又有一定的研發維護能力，可以用開源對象存儲方案自己搭建。

分享三：

1.解決跨地域多點協同數據訪問

2.解決海量文件持續一次寫入多次訪問的問題

選型上考慮數據保護的等級和成本以及初期落地的量級等因素。

另外運維的管理能力和售后支持團隊也需要做為考慮范圍。

盡量選擇經過經久考驗的廠商品牌。

|| 分布式存儲和對象存儲應用場景有哪些不同?

分享一：

通常，分布式存儲和對象存儲是包含關系，

分布式存儲是一種存儲節點的物理組織形態，

分布式存儲可以提供塊存儲、文件存儲和對象存儲服務;

是相對傳統單機集中存儲的概念。

對象存儲是一種邏輯上的存儲訪問接口，

是指采用 restful 框架進行數據訪問的模式，本質上也是一種輕元數據、功能簡化的文件存儲，對象存儲在物理上通常是分布式的形態。

看一下上圖你就知道

傳統存儲的局是不是越來越小了?

分享一：

我說一下我個人的經驗。

sds 軟件定義存儲，分布式存儲和對象存儲是未來大的趨勢這個一定是對的。

傳統存儲在近幾年還會是主流存儲。

為什么?我只說快 block 這個方面。就拿我測試過得多家 sds 分布式塊存儲來說吧。國產 ceph，華為fusionstorage，solidfire，hedvig 等。他們有個共同的特點就是不夠成熟。展示 PPT 的時候一個比一個能吹，讓你覺得牛逼到爆。實際測試后基本見光死。

性能方面還是比傳統存儲有差距，io 穩定性方面也較差，當前階段只能用在 io 性能要求不高的輕量型應用上面，生產先不要想，先在測試上用用，并且是 io 要求較低的測試應用。

還有一個缺陷就是存儲軟件功能方面非常不成熟，快照 clone，復制完全就是不能用，大多不支持一致性快照組。這些在傳統存上平平常常的功能方案，你和 sds 軟件的研發人員聊他們壓根沒有一致性快照組，對快照，clone 卷 overwrite 刷新這些概念。

分享二：

首先，如果定義為傳統存儲，并且固守原來的架構方式，甚至缺陷和不符合新型應用需求的特點，那么毫無疑問，它注定就是要被顛覆的，新技術打破傳統，是歷史的必然。

另一方面，傳統存儲有它本身優點，結合自身的優點，有它命脈的傳承，比如閃存，存儲存儲化產品，其實某種程度上是在傳統存儲領域的拓展，是傳統存儲的進步和突破，是具備沿襲的特征的。

IT 架構就是通過不斷改變，迭代，從而進步的。