雙十二的結束,意味著2023年的所有大促已落下帷幕。雙十一全網11386億元的銷售額背后是消費的狂歡,更是一場場數據洪峰,單天貓平臺在雙十一期間累計訪問用戶數就已超8億,數據訪問的壓力不言而喻。
面對瞬時流量高并發、海量數據查詢等應用場景,固態硬盤憑借其高吞吐量、低時延等特征逐漸成為大數據時代下數據存儲的重要載體,是當前本地部署的數據倉庫產品重要搭載硬件,可滿足電商大促場景下大規模數據的存儲和查詢需求。
為更好應對含電商在內的數據密集型行業對高性能、高可靠存儲的要求,憶聯特聯合國內大數據倉儲的佼佼者——南大通用(下稱:GBase)共同探索大數據時代下數字化轉型存儲新方案。
一、GBase 8a MPP Cluster簡介
南大通用大規模分布式并行數據庫集群系統(簡稱GBase 8a MPP Cluster),是在GBase 8a系列存儲數據庫基礎上開發的一款Shared Nothing架構的分布式并行數據庫集群,具備高性能、高可用、高擴展等特性,可為各種規模數據管理提供高性價比的通用計算平臺,廣泛用于支撐各類數據倉庫系統、BI系統和決策支持系統。
圖1:GBase 8a MPP Cluster技術架構圖
GBase 8a MPP Cluster采用MPP+Shared Nothing的分布式聯邦架構,節點間通過TCP/IP網絡進行通信,每個節點采用本地磁盤來存儲數據。GBase 8a MPP Cluster系統中的每一個節點都是相對獨立的、自給的,整個系統具有非常強的擴展性,可從幾個節點擴展到上百節點,滿足業務規模增長的要求。
二、憶聯在GBase 8a MPP方案下的驗證
1
●
驗證環境
本次驗證硬件配置:
本次驗證軟件配置:
本次驗證組網規劃:
圖2:本次GBase 8a MPP組網規劃架構圖
2
●
驗證方法
步驟1:將6塊SAS UM511a配置Raid5。
步驟2:創建數據庫和表使用TPC-H工具評估數據庫分析處理能力,需要提前創建數據庫和TPC-H內置的8張表;使用TPC-DS工具評估數據庫分析處理能力,提前創建數據庫和TPC-DS內置的25張表。
步驟3:參數調優根據GBase建議進行相關參數調優。
步驟4:數據生成TCH-H通過dbgen工具可以通過設置參數生成所需的測試數據,命令參數為/dbgen -C 10 -S 1 -s 3000 –vf;TPC-DS通過dsdgen工具可以通過設置參數生成所需的測試數據,命令參數為./dsdgen -scale 3000 -dir testdata -force -parallel 10 -child 1。
步驟5:數據加載數據導入時,在GBASE集群本地節點搭建FTP服務器,通過FTP加載數據。當一個表包含多個數據文件時,將單表的多個數據文件集成一個導入語句中,以單表為粒度分別加載測試數據至8張數據庫表中。
步驟6:SQL執行獨立的客戶端,通過業務平面網絡與GBase集群通信,使用gccli工具執行TPC-H 22個SQL用例,
參考命令如下:
/home/GBase/gccli_install/gcluster/server/bin/gccli -h 10.28.100.38 -uroot -Dtpch -vvv < query_1.sql。
3
●
驗證結果
本次在GBase 8a MPP場景下驗證結果如下:
①、憶聯SAS SSD在Raid邏輯卷帶寬性能測試下的表現:
圖3:憶聯SAS盤在Raid邏輯卷帶寬性能測試下的表現
在本次測試中,將6個SAS SSD配置Raid5,12塊SATA配置Raid50,在Server主機使用FIO測試工具進行128KB順序讀寫帶寬性能壓測。從圖3結果表現可知,SAS SSD讀寫帶寬更優,讀帶寬比SATA有19.6%左右提升,寫帶寬提升34%左右,展現了SAS SSD在Raid邏輯卷帶寬下的絕對優勢,可為高并發的業務場景提供穩定、順暢的數據服務體驗。
②、憶聯SAS SSD在單盤故障降級&重構讀性能下的表現:
圖4:憶聯SAS SSD在單盤故障降級&重構讀性能下的表現
單盤降級讀性能是指RAID組在單盤故障或拔出情況下的RAID組邏輯卷讀業務性能,重構性能是指單盤故障后,RAID同時進行熱備盤數據重構和業務下發時的業務側性能。本次通過將6塊憶聯SAS SSD配置Raid5后,在一塊SSD故障條件下進行測試。
如圖4所示,不管是在單盤降級讀性能還是在重構讀帶寬條件下,SAS盤的表現都優于SATA,單盤降級讀性能優于SATA 22.7%左右,重構讀帶寬性能上比SATA最大有38.4%左右的提升,滿足在各種復雜場景下業務不中斷、數據不丟失的超高可用性要求。
③、憶聯SAS SSD在TPC-DS場景下的表現:
圖5:TPC-DS場景下憶聯SAS SSD的表現
TPC-DS測試是通過FTP協議加載數據到GBase數據庫表。從圖5可見,在相同物理硬件環境下,SAS SSD不管是在數據導入還是在SQL用例執行時間上所用時間都略低于SATA SSD,具備一定時間優勢,通過降低系統延遲,提供更快的數據訪問速度來提升用戶體驗。
④、憶聯SAS SSD在TCP-H場景下的表現
圖6:TPC-H場景下憶聯SAS SSD的表現
TPC-H測試是通過FTP協議加載數據到GBase數據庫表。圖6展現了SAS SSD以及SATA SSD在TPC-H測試下的表現,其中SAS SSD總用時略優于SATA SSD,數據導入時間優于SATA約6%,對SQL用例執行時間上相比 SATA SSD降低了3%左右,可為業務系統提供快速、可靠的決策支持服務。
Union Memory
總結:本次驗證充分體現了憶聯SAS SSD在GBase 8a MPP場景下的性能優勢,可有效支持業務高效開展,具備單盤帶寬更高,盤故障重構、降級性能更優等特點,不僅可以幫助企業節約硬件采購成本,也可幫助互聯網數據中心、運營商解決海量數據下的大數據存儲和計算問題,高效處理海量結構化數據。
憶聯深耕固態硬盤領域多年,已發布多款高性能、高可靠產品,具備應對復雜的業務環境和數據庫挑戰的能力,可滿足行業用戶海量數據處理需求。未來,憶聯將持續聯合GBase共同打造數字化轉型背景下的存儲新方案。
相關閱讀推薦
國慶特輯|憶聯SSD通過極端壓力中子實驗,為數字中國建設提質增速
多方位優化!憶聯分布式數據庫存儲解決方案,助力MySQL實現高性能、低時延
憶聯SR-IOV解決方案:助力云數據中心節能提效,向“綠”而行
長按識別關注更多憶聯資訊
原文標題:大促秒殺更順滑|憶聯攜手南大通用,提供數據密集型存儲新范式
文章出處:【微信公眾號:UnionMemory憶聯】歡迎添加關注!文章轉載請注明出處。
-
存儲
+關注
關注
13文章
4338瀏覽量
85998 -
SSD
+關注
關注
21文章
2871瀏覽量
117588
原文標題:大促秒殺更順滑|憶聯攜手南大通用,提供數據密集型存儲新范式
文章出處:【微信號:UnionMemory憶聯,微信公眾號:UnionMemory憶聯】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論