在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

不同應用程序的存儲IO類型解析

454398 ? 來源:架構師技術聯盟 ? 作者:EMC技術社區 ? 2020-11-30 15:21 ? 次閱讀

存儲系統作為數據的載體,為前端的服務器和應用程序提供讀寫服務。存儲陣列某種意義上來說,是對應用服務器提供數據服務的后端“服務器”。應用服務器對存儲系統發送數據的“讀”和“寫”的請求。然而,不同的應用程序對存儲的數據訪問類型有所不同。

本文描述典型的不同應用程序的存儲IO類型。幫助讀者了解不同應用程序存儲IO類型的同時,提供的數據也可以為存儲模擬和壓力測試的數據參考。

IO類型描述:

描述不同應用的存儲IO類型之前,先要描述存儲中的定義IO的幾個術語:

IO大小(IO Size):IO Size是應用程序發起,經過操作系統的磁盤子系統,向存儲系統發送的讀寫請求的單位大小。不同的應用程序所發送的IO大小都不相同,例如對于數據庫應用,它在數據讀寫的時候IO Size是8KB,而在事務日志的寫入的時候可能是512Bytes-64KB不等。所以,通常所說的IO Size都是一個平均的概念。即某一款應用在一段時間內的平均IO大小。

讀寫比例(Read/Write):讀寫比例比較容易理解,就是應用程序讀數據和寫數據分布。這個在規劃存儲的時候也至關重要,因為存儲系統中的保護級別(RAID)的不同,對寫有損失。例如RAID-5單次寫入需要分別對數據位和校驗位進行2次讀和2次寫。所以說,如果用RAID-5作為寫入比例較高的應用,顯然會對性能有很大影響。

順序與隨機讀寫比例(Random/Sequential):順序和隨機讀寫取決與應用的獲取數據的方式。通常情況下,如果數據的讀取和寫入是在連續的磁盤空間上,可以認為是順序讀寫。如果應用讀取的數據分布在不同磁盤空間,且無固定的順序,則視為隨機讀寫。由于傳統的機械磁盤(閃存盤不再討論之列)讀寫數據需要盤面的轉動和磁頭的移動,這使得隨機讀寫的效率在物理磁盤層面要遠小于順序讀寫。通常存儲系統都都會利用緩存來減少這部分的延遲,減緩因為磁頭的移動而帶來的性能損失。隨機讀寫的代表的是OLTP的數據庫文件,順序讀寫的代表則是數據的事務日志。

應用程序存儲IO類型:

下面的表中描述的不同的應用程序對應的IO大小、讀寫比例、隨機和順序比例。表中的比例為一個通用的參考值,比例接近真實各種應用的IO類型。當然不能包含全部的應用類型因為根據不同生產環境,數值也會有很大的差異。這里的數據提供一個參考,可以用于使用壓力測試工具,例如IOMeter,模擬不同應用的IO負載。

IOmeter是一款用于單系統和集群系統的I/O子系統度量(Measurement)和特征化(Characterization)工具,它是一個負載生成器(Workload Generator),也是一個度量工具(Measurement tool),可用于模擬任何程序或benchmark的磁盤或網絡I/O操作,在單個或多個(聯網)系統上生成并度量負載。

IOmeter由兩個程序組成,Iometer和Dynamo。Iomter是控制程序/GUI,它告訴Dynamo需要做什么,收集數據結果并總結到一個輸出文件。一次只應該運行一個Iometer,通常運行在服務器上。

Dynamo是一個負載生成器,它沒有GUI,在Iometer的命令下執行I/O操作并記錄性能信息,然后返回數據給Iometer。一次可以運行多個Dynamo,通常是一個副本運行在服務器上,另一個副本運行在每一臺客戶端上。Dynamo是多線程的,每一個副本可以模擬多個客戶端程序的工作(Workload),每一個正在運行的Dynamo副本被稱為是一個Manager,Dynamo中的每一個線程被稱為worker。

不同應用通常具有不同的I/O類型,了解應用的I/O類型是為其設計解決方案、排錯性能問題的首要工作。那I/O類型通常包括哪些需要考慮的因素?我們今天就來談一談I/O類型的幾個重要方面。

讀 vs. 寫

應用程序的讀寫請求必須量化,了解他們之間的比列,因為讀寫對存儲系統的資源消耗是不通的。了解讀寫比率直接關系到如何應用緩存、RAID類型等子系統的最佳實踐。寫通常需要比讀更多的資源,SSD的寫操作相對讀更是慢得多。

順序 vs. 隨機

傳統存儲系統通常都是機械硬盤,因此整個系統設計為盡可能順序化I/O,減少由于磁盤尋道所帶來的延遲。所以,順序I/O相對隨機I/O的性能會好很多。隨機小I/O消耗比順序大I/O更多的處理資源。隨機小I/O更在意系統處理I/O的數量,即IOPS;而順序大I/O則更在意帶寬,即MB/s。因此,如果系統承載了多種不同的應用,必須了解它們各自的需求,是對IOPS有要求,還是對帶寬有要求。這往往需要在兩種之間進行折衷考慮。閃盤是一個例外,它沒有機械尋道操作,因此對隨機小I/O的處理是非常迅速的,由此是讀操作。

大I/O vs. 小I/O

我們通常把<=16KB的I/O認為是小I/O,而>=32KB的I/O認為是大I/O。就單個I/O來講,大I/O從微觀的角度相比小I/O會需要更多處理資源,不過對于智能存儲系統來說,會盡可能把I/O整理為順序的,以單個操作執行,如此依賴,將多個小I/O整理成單個大I/O處理后,反而會更快。I/O的大小依然取決于應用程序本身,了解I/O的大小,影響到后期對緩存、RAID類型、LUN的一些屬性的調優。

位置引用

數據的位置分布影響到后期對二級緩存或存儲分層技術的應用,因為這些技術都會根據I/O的位置分布來判斷是否將I/O放置到緩存或快速的層級。位置引用是指那些被頻繁的存儲位置,我們通常認為最新創建的數據以及最近被訪問過的數據,它們周圍的數據也同時被訪問的可能性會比較大。因此,了解應用程序的I/O位置特性,有助于應用正確的性能優化技術。

穩定 vs. 爆發

I/O數量在一天中的不同時段會有不同的表現。例如,早高峰時段的I/O數量相比下班后的I/O會多出許多。如果能準確預測和估計應用的I/O在不同時間段的穩定性和爆發性,可以正確分配資源,提高資源利用率。在前期的設計階段,就應該考慮系統是否能夠處理I/O高峰期。

多線程 vs. 單線程

多線程是實現并發操作的一種方式,同時也意味著對存儲系統的資源消耗更多。這種高IOPS的請求方式,在有些情況下會造成磁盤繁忙,進而導致I/O排隊,增加了響應時間。因此,適度的調整線程數量,不僅可以實現并發,而且能在不拖累整個存儲系統的情況下,達到最優的響應時間。
編輯:hfy

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲技術
    +關注

    關注

    5

    文章

    739

    瀏覽量

    45823
  • 存儲系統
    +關注

    關注

    2

    文章

    413

    瀏覽量

    40878
收藏 人收藏

    評論

    相關推薦

    TAS2521應用程序參考指南

    電子發燒友網站提供《TAS2521應用程序參考指南.pdf》資料免費下載
    發表于 12-10 13:49 ?0次下載
    TAS2521<b class='flag-5'>應用程序</b>參考指南

    AWTK-WEB 快速入門(2) - JS 應用程序

    導讀AWTK可以使用相同的技術棧開發各種平臺的應用程序。有時我們需要使用Web界面與設備進行交互,本文介紹一下如何使用JS語言開發AWTK-WEB應用程序。用AWTKDesigner新建一個應用程序先安裝AWTKDesigner
    的頭像 發表于 12-05 01:04 ?127次閱讀
    AWTK-WEB 快速入門(2) - JS <b class='flag-5'>應用程序</b>

    λ-IO:存儲計算下的IO棧設計

    動機和背景? ? 存儲計算存儲資源的充分利用。IO棧是管理存儲器的的基本組件,包括設備驅動、塊接口層、文件系統,目前一些用戶空間IO庫(如S
    的頭像 發表于 12-02 10:35 ?218次閱讀
    λ-<b class='flag-5'>IO</b>:<b class='flag-5'>存儲</b>計算下的<b class='flag-5'>IO</b>棧設計

    AWTK-WEB 快速入門(1) - C 語言應用程序

    導讀AWTK可以使用相同的技術棧開發各種平臺的應用程序。有時我們需要使用Web界面與設備進行交互,本文介紹一下如何使用C語言開發AWTK-WEB應用程序。用AWTKDesigner新建一個應用程序
    的頭像 發表于 11-27 11:46 ?230次閱讀
    AWTK-WEB 快速入門(1) - C 語言<b class='flag-5'>應用程序</b>

    華納云監視Linux磁盤IO性能命令:iotop,iostat,vmstat,atop,dstat,ioping

    問題( input/output )是Linux系統性能不佳的最常見原因之一。當應用程序試圖在存儲設備(例如硬盤驅動器、SAN和NAS)上快速讀取或寫入過多數據時,就會發生這種情況,這迫使應用程序和用戶等待
    的頭像 發表于 10-24 14:43 ?194次閱讀

    存儲單元是指什么

    存儲單元是計算機系統中的基本元素,用于存儲和檢索數據。以下是對存儲單元的全面解析,涵蓋其定義、類型、功能、特點以及在計算機系統中的重要作用。
    的頭像 發表于 08-30 11:03 ?2870次閱讀

    Linux磁盤IO詳細解析

      在講解磁盤IO前,先簡單說下什么是磁盤。磁盤是可以持久化存儲的設備,根據存儲介質的不同,常見磁盤可以分為兩類:機械磁盤和固態磁盤。
    的頭像 發表于 08-05 15:49 ?651次閱讀
    Linux磁盤<b class='flag-5'>IO</b>詳細<b class='flag-5'>解析</b>

    存儲芯片有哪些類型

    存儲芯片,又稱為半導體存儲器,是以半導體電路作為存儲媒介的存儲器,廣泛應用于計算機、消費電子、智能終端、固態存儲硬盤等領域。按照不同的分類標
    的頭像 發表于 07-24 16:40 ?2630次閱讀

    初識IO-Link及IO-Link設備軟件協議棧

    軟件堆疊套件包括亞信IO-Link 設備軟件協議棧試用庫、IO-Link傳感器驅動程序以及演示應用程序
    的頭像 發表于 07-08 13:55 ?2740次閱讀
    初識<b class='flag-5'>IO</b>-Link及<b class='flag-5'>IO</b>-Link設備軟件協議棧

    plc存儲器中的程序斷電后如何保存

    本文將深入探討可編程邏輯控制器(PLC)在斷電情況下如何保存程序。我們將從PLC的基本概念入手,逐步分析存儲類型程序保存機制、斷電保護措施以及實際應用中的注意事項。 引言 可編程邏
    的頭像 發表于 07-01 09:55 ?2021次閱讀

    Anthropic推出iPhone應用程序和業務層

    Anthropic 推出 iPhone 應用程序和業務層,支持使用Claude 3 Opus、Sonnet 和 Haiku 模型
    的頭像 發表于 05-07 10:22 ?458次閱讀

    應用程序中的服務器錯誤怎么解決?

    在使用應用程序時,可能會遇到服務器錯誤的問題。這種錯誤通常會導致應用程序無法正常運行 ,給用戶帶來不便。下面將介紹應用程序中的服務器錯誤及其解決方法,幫助您快速解決這一問題。
    的頭像 發表于 03-12 15:13 ?6306次閱讀

    如何去提高EtherCAT IO的性能呢?

    進行EtherCAT IO性能優化涉及多個方面,包括硬件選擇、網絡配置、軟件優化和應用程序設計。
    的頭像 發表于 03-07 09:28 ?515次閱讀

    LTE MQTT通信應用程序說明

    電子發燒友網站提供《LTE MQTT通信應用程序說明.pdf》資料免費下載
    發表于 02-21 10:47 ?0次下載
    LTE MQTT通信<b class='flag-5'>應用程序</b>說明

    什么是io多路復用?IO多路復用的優缺點

    IO多路復用是一種同步IO模型,它允許單個進程/線程同時處理多個IO請求。具體來說,一個進程/線程可以監視多個文件句柄,一旦某個文件句柄就緒,就能夠通知應用程序進行相應的讀寫操作。在沒
    的頭像 發表于 01-18 15:48 ?1676次閱讀
    主站蜘蛛池模板: seetube18日本第一次| 天天舔天天色| 欧美成人xxxx| 美女又黄又免费| 好大好硬好长好爽a网站| 国产乱人视频免费播放| 久久riav国产精品| 男女一级大黄| 高清一级| 亚洲一区免费看| 中文字幕亚洲综合久久2| 视频在线免费看| 91人成网站色www免费| 欧美卡一卡二卡新区网站| 老师喂我吃她的奶水脱她胸罩| 怡红院色视频在线| 色视频在线观看| 精品三级在线| 午夜视频在线| 国产―笫一页―浮力影院xyz| 小草影院亚洲私人影院| 午夜视频在线网站| 性xxxxbbbb在线| 美女 免费 视频 黄的| 成人永久免费视频网站在线观看 | 国产成人啪精品午夜在线观看| 亚洲婷婷综合中文字幕第一页| 成人免费aaaaa毛片| 性网站视频| 亚洲色图.com| 你懂的网站在线观看| 农村妇女色又黄一级毛片卡| 国外精品视频在线观看免费| 午夜视频免费在线观看| bbbb毛片免费看| www.狠狠干| 欧美在线精品一区二区三区| 成年人www| 国产精品福利久久| wwwwwww色| 男人的天堂色偷偷之色偷偷 |