在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

小規模的web應用該怎么設置

馬哥Linux運維 ? 來源:馬哥Linux運維 ? 2023-05-22 16:06 ? 次閱讀

我在研究HikariCP(一個數據庫連接池)時無意間在HikariCP的Github wiki上看到了一篇文章(即前面給出的鏈接),這篇文章有力地消除了我一直以來的疑慮,看完之后感覺神清氣爽。故在此做譯文分享。

接下來是正文

數據庫連接池的配置是開發者們常常搞出坑的地方,在配置數據庫連接池時,有幾個可以說是和直覺背道而馳的原則需要明確。

1萬并發用戶訪問

想象你有一個網站,壓力雖然還沒到Facebook那個級別,但也有個1萬上下的并發訪問——也就是說差不多2萬左右的TPS。那么這個網站的數據庫連接池應該設置成多大呢?結果可能會讓你驚訝,因為這個問題的正確問法是:

“這個網站的數據庫連接池應該設置成多呢?”

下面這個視頻Oracle Real World Performance Group發布的,請先看完:
http://www.dailymotion.com/video/x2s8uec

(因為這視頻是英文解說且沒有字幕,我替大家做一下簡單的概括:)
視頻中對Oracle數據庫進行壓力測試,9600并發線程進行數據庫操作,每兩次訪問數據庫的操作之間sleep 550ms,一開始設置的中間件線程池大小為2048:

bc634e00-f6a6-11ed-90ce-dac502259ad0.png

初始的配置

壓測跑起來之后是這個樣子的:

bc982fda-f6a6-11ed-90ce-dac502259ad0.png

2048連接時的性能數據

每個請求要在連接池隊列里等待33ms,獲得連接后執行SQL需要77ms

此時數據庫的等待事件是這個熊樣的:

bcd07322-f6a6-11ed-90ce-dac502259ad0.png

各種buffer busy waits

各種buffer busy waits,數據庫CPU在95%左右(這張圖里沒截到CPU)

接下來,把中間件連接池減到1024(并發什么的都不變),性能數據變成了這樣:

bcebc3a2-f6a6-11ed-90ce-dac502259ad0.png

連接池降到1024后

獲取鏈接等待時長沒怎么變,但是執行SQL的耗時減少了。
下面這張圖,上半部分是wait,下半部分是吞吐量

wait和吞吐量

能看到,中間件連接池從2048減半之后,吐吞量沒變,但wait事件減少了一半。

接下來,把數據庫連接池減到96,并發線程數仍然是9600不變。

bd011554-f6a6-11ed-90ce-dac502259ad0.png

96個連接時的性能數據

隊列平均等待1ms,執行SQL平均耗時2ms。

bd1fb84c-f6a6-11ed-90ce-dac502259ad0.jpg

wait事件幾乎沒了,吞吐量上升。

沒有調整任何其他東西,僅僅只是縮小了中間件層的數據庫連接池,就把請求響應時間從100ms左右縮短到了3ms。

But why?

為什么nginx只用4個線程發揮出的性能就大大超越了100個進程的Apache HTTPD?回想一下計算機科學的基礎知識,答案其實是很明顯的。

即使是單核CPU的計算機也能“同時”運行數百個線程。但我們都[應該]知道這只不過是操作系統用時間分片玩的一個小把戲。一顆CPU核心同一時刻只能執行一個線程,然后操作系統切換上下文,核心開始執行另一個線程的代碼,以此類推。給定一顆CPU核心,其順序執行AB永遠比通過時間分片“同時”執行AB要快,這是一條計算機科學的基本法則。一旦線程的數量超過了CPU核心的數量,再增加線程數系統就只會更慢,而不是更快。

這幾乎就是真理了……

有限的資源

上面的說法只能說是接近真理,但還并沒有這么簡單,有一些其他的因素需要加入。當我們尋找數據庫的性能瓶頸時,總是可以將其歸為三類:CPU、磁盤、網絡。把內存加進來也沒有錯,但比起磁盤和網絡,內存的帶寬要高出好幾個數量級,所以就先不加了。

如果我們無視磁盤和網絡,那么結論就非常簡單。在一個8核的服務器上,設定連接/線程數為8能夠提供最優的性能,再增加連接數就會因上下文切換的損耗導致性能下降。數據庫通常把數據存儲在磁盤上,磁盤又通常是由一些旋轉著的金屬碟片和一個裝在步進馬達上的讀寫頭組成的。讀/寫頭同一時刻只能出現在一個地方,然后它必須“尋址”到另外一個位置來執行另一次讀寫操作。所以就有了尋址的耗時,此外還有旋回耗時,讀寫頭需要等待碟片上的目標數據“旋轉到位”才能進行操作。使用緩存當然是能夠提升性能的,但上述原理仍然成立。

在這一時間段(即"I/O等待")內,線程是在“阻塞”著等待磁盤,此時操作系統可以將那個空閑的CPU核心用于服務其他線程。所以,由于線程總是在I/O上阻塞,我們可以讓線程/連接數比CPU核心多一些,這樣能夠在同樣的時間內完成更多的工作。

那么應該多多少呢?這要取決于磁盤。較新型的SSD不需要尋址,也沒有旋轉的碟片。可別想當然地認為“SSD速度更快,所以我們應該增加線程數”,恰恰相反,無需尋址和沒有旋回耗時意味著更少的阻塞,所以更少的線程[更接近于CPU核心數]會發揮出更高的性能。只有當阻塞創造了更多的執行機會時,更多的線程數才能發揮出更好的性能

網絡和磁盤類似。通過以太網接口讀寫數據時也會形成阻塞,10G帶寬會比1G帶寬的阻塞少一些,1G帶寬又會比100M帶寬的阻塞少一些。不過網絡通常是放在第三位考慮的,有些人會在性能計算中忽略它們。bd319e5e-f6a6-11ed-90ce-dac502259ad0.png

上圖是PostgreSQL的benchmark數據,可以看到TPS增長率從50個連接數開始變緩。在上面Oracle的視頻中,他們把連接數從2048降到了96,實際上96都太高了,除非服務器有16或32顆核心。

計算公式

下面的公式是由PostgreSQL提供的,不過我們認為可以廣泛地應用于大多數數據庫產品。你應該模擬預期的訪問量,并從這一公式開始測試你的應用,尋找最合適的連接數值。

連接數 = ((核心數 * 2) + 有效磁盤數)

核心數不應包含超線程(hyper thread),即使打開了hyperthreading也是。如果活躍數據全部被緩存了,那么有效磁盤數是0,隨著緩存命中率的下降,有效磁盤數逐漸趨近于實際的磁盤數。這一公式作用于SSD時的效果如何尚未有分析。

按這個公式,你的4核i7數據庫服務器的連接池大小應該為((4 * 2) + 1) = 9。取個整就算是是10吧。是不是覺得太小了?跑個性能測試試一下,我們保證它能輕松搞定3000用戶以6000TPS的速率并發執行簡單查詢的場景。如果連接池大小超過10,你會看到響應時長開始增加,TPS開始下降。

筆者注:
這一公式其實不僅適用于數據庫連接池的計算,大部分涉及計算和I/O的程序,線程數的設置都可以參考這一公式。我之前在對一個使用Netty編寫的消息收發服務進行壓力測試時,最終測出的最佳線程數就剛好是CPU核心數的一倍。

公理:你需要一個小連接池,和一個充滿了等待連接的線程的隊列

如果你有10000個并發用戶,設置一個10000的連接池基本等于失了智。1000仍然很恐怖。即是100也太多了。你需要一個10來個連接的小連接池,然后讓剩下的業務線程都在隊列里等待。連接池中的連接數量應該等于你的數據庫能夠有效同時進行的查詢任務數(通常不會高于2*CPU核心數)。

我們經常見到一些小規模的web應用,應付著大約十來個的并發用戶,卻使用著一個100連接數的連接池。這會對你的數據庫造成極其不必要的負擔。

審核編輯:彭靜
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • cpu
    cpu
    +關注

    關注

    68

    文章

    10863

    瀏覽量

    211781
  • 數據庫
    +關注

    關注

    7

    文章

    3799

    瀏覽量

    64395
  • Web應用
    +關注

    關注

    0

    文章

    16

    瀏覽量

    3482

原文標題:數據庫鏈接池終于搞對了,這次直接從100ms優化到3ms!

文章出處:【微信號:magedu-Linux,微信公眾號:馬哥Linux運維】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    貼片機中小規模生產

      對于擁有中、小規模生產的企業,由于產品的品種多,往往周期緊,則企業自身需求的是對貼片機的機種的轉換快捷和操作靈活性等提出要求,—般企業擁有2~3條生產線。這種生產線配置如圖1和圖2所示。  圖1
    發表于 11-27 10:16

    請問怎么設計一種小規模的大數值運算器?

    怎么設計一種小規模的大數值運算器?CSTU安全芯片體系結構是怎么的?
    發表于 04-19 10:53

    用中小規模集成芯片設計并制作一種雙工對講機

    的應用。(3)通過實驗了解功率放大電路、電源升壓電路的主要技術指標。 課程設計任務和基本要求 設計任務:用中小規模集成芯片設計并制作一對實現甲乙雙...
    發表于 11-11 08:20

    小規模集成芯片電氣特性測試

    小規模集成芯片電氣特性測試:(1)熟悉數字電路實驗箱的基本功能和使用方法,進一步熟悉示波器和數字萬用表的使用。(2)掌握TTL與非門基本電參數的測試方法,了解TTL集
    發表于 10-29 22:05 ?0次下載

    三星2010存儲芯片將出現小規模短缺情況

    三星2010存儲芯片將出現小規模短缺情況 據國外媒體報道,全球最大的記憶體芯片制造商韓國三星電子周三表示,該公司目標要在三年內將半導體業
    發表于 11-02 16:09 ?735次閱讀

    如何在Win 2003環境中設置一個Web服務器

    如何在Win 2003環境中設置一個Web服務器   本文介紹了如何在 Windows Server 2003 環境中設置一個用于匿名訪問的WWW服務器。  
    發表于 01-29 11:35 ?571次閱讀

    多相技術以小規模實現大型濾波器

    多相技術以小規模實現大型濾波器 引言 在現代電子系統中,到處都可以看到數字信號處理( DSP )的應用,從MP3播放器、數碼相機到手機。DSP設計人員的工
    發表于 04-01 11:33 ?1228次閱讀
    多相技術以<b class='flag-5'>小規模</b>實現大型濾波器

    針對電信和數據通信應用的400V_DC微電網小規模演示系統介紹

    針對電信和數據通信應用的400V DC微電網小規模演示系統
    發表于 01-07 11:30 ?0次下載

    針對電信和數據通信應用的400V DC微電網小規模演示系統

    針對電信和數據通信應用的400V DC微電網小規模演示系統
    發表于 06-02 15:41 ?0次下載

    一種小規模LCD驅動電路IP核的設計

    一種小規模LCD驅動電路IP核的設計
    發表于 01-14 12:35 ?11次下載

    百度Apollo無人駕駛車在今年開始小規模下放

    百度Apollo無人駕駛車整體生態都非常活躍,到現在已經有近百個合作伙伴。近日百度表示,Apollo無人駕駛車2018年會小規模下線,和金龍小客車進行L4級別合作。
    發表于 01-19 12:25 ?1163次閱讀

    創造億萬人之中只屬于你的那個“人”:微軟Avatar Framework小規模公測

    (2020年1月17日 北京) 微軟小冰團隊宣布,將于下周三開始,分批啟動Avatar Framework的小規模公開測試。如測試順利,將按既定計劃,于今年春季正式公開發布全新的Avatar
    的頭像 發表于 01-17 13:09 ?1484次閱讀

    電容補償柜的參數如何設置

    電容補償柜的參數如何設置?電容補償柜的控制器需要電壓電流信號,這樣才能檢測系統需要的無功功率大小,這樣首先要設置電壓和電流的互感器變比,然后設置一些保護參數,比如過電壓倍數,過電流倍
    發表于 05-30 17:04 ?1w次閱讀

    百望云緊急完成系統升級,可滿足小規模納稅人3%減征1%開票新政

    1月9日,國家稅務總局發布了財稅2023年1號公告,明確增值稅小規模納稅人減免增值稅優惠政策,百望云已緊急完成系統升級,可滿足小規模納稅人3%減征1%開票新政,幫助用戶準確快速開具發票。 總體上
    的頭像 發表于 01-13 18:18 ?563次閱讀
    百望云緊急完成系統升級,可滿足<b class='flag-5'>小規模</b>納稅人3%減征1%開票新政

    使用ESP32 Web服務器進行家庭自動化設置

    電子發燒友網站提供《使用ESP32 Web服務器進行家庭自動化設置.zip》資料免費下載
    發表于 07-03 10:49 ?0次下載
    使用ESP32 <b class='flag-5'>Web</b>服務器進行家庭自動化<b class='flag-5'>設置</b>
    主站蜘蛛池模板: 日韩h视频| 美女视频黄视大全视频免费网址| dvd碟片色爱| 在线视频观看免费| 一区二区三区中文字幕| 亭亭色| 色老久久精品偷偷鲁一区| 不卡一级毛片免费高清| 干干人人| 网红和老师啪啪对白清晰| 日本wwwwww| 丁香六月五月婷婷| 亚洲视频色| 港台无码| 亚洲 欧美 自拍 卡通 综合| 国产亚洲高清在线精品不卡| 免费国产综合视频在线看| 丁香婷婷啪啪| 日本网站黄色| 图片区网友自拍另类图区| 亚洲高清成人| 五月综合激情网| 久久久久88色偷偷| 久久久久久免费观看| 伊人久久综合网亚洲| 全黄毛片| 欧美午夜一区| 亚洲欧美在线播放| www.四虎影院在线观看| 开心激情五月婷婷| 日本三级网站在线线观看| 深夜影院一级毛片| 911色_911色sss在线观看| 欧美亚洲三级| 午夜精品久久久久久影视riav | 亚1州区2区3区4区产品乱码| 国产成人精品日本亚洲网站| xxxx日本xx| 色综合九九| 91色爱| 涩综合|