在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

mysql磁盤碎片整理

京東云 ? 來源:jf_75140285 ? 作者:jf_75140285 ? 2024-08-27 15:26 ? 次閱讀

背景

數(shù)據(jù)結轉過程中經常進行 delete 操作,產生空白空間,如果進行新的插入操作,MySQL將嘗試利用這些留空的區(qū)域,但仍然無法將其徹底占用,于是造成了數(shù)據(jù)的存儲位置不連續(xù),以及物理存儲順序與理論上的排序順序不同,久而久之就產生了碎片。

碎片治理思路

根據(jù)線上處理經驗總結比對4種處理磁盤碎片優(yōu)缺點

?

治理方案 優(yōu)勢 缺點 備注
將數(shù)據(jù)量巨大的表設計成分區(qū)表,按時間分區(qū) 通過結轉分區(qū)數(shù)據(jù),刪除分區(qū)釋放磁盤碎片,磁盤IO抖動秒級別,對線上業(yè)務影響小 ?
估算數(shù)據(jù)量,每個分區(qū)不超過3億數(shù)據(jù)350G為佳;庫存流水,訂單表這些表應該在創(chuàng)建時就應該設計成分區(qū)表,避免以后磁盤碎片痛點
重建表存儲引擎,重新組織數(shù)據(jù)(ALTER TABLE tablename ENGINE=InnoDB;) ?
整理過程加鎖,周期長,且對線上業(yè)務影響較大:10億數(shù)據(jù)量,1000G,tp99會持續(xù)超過60s 謹慎操作
主從切換(DBA可使用一個磁盤更大的干凈的庫,進行主從切換) ?
涉及面廣,牽扯范圍較大,處理時長在分鐘級 謹慎操作
創(chuàng)建臨時表進行數(shù)據(jù)雙寫最后進行數(shù)據(jù)庫表名切換 零延遲,無抖動,對線上無任何影響 需要磁盤空間較大 ?

?

創(chuàng)建分區(qū)表

wKgaombNf52AKKGpABCZGfhqC9I055.png

上述分區(qū)表,在某一分區(qū)內數(shù)據(jù)結轉完成后,

ALTER TABLE warehouse_stock_flow drop PARTITION p24;

當然不是所有的表都是可以創(chuàng)建分區(qū)表的。如果某一張數(shù)據(jù)表在很長一段時間內沒有進行數(shù)據(jù)結轉,且無法創(chuàng)建分區(qū)表的話,可以利用以下方法。

?

表名切換

如果某一張數(shù)據(jù)表在很長一段時間內沒有進行數(shù)據(jù)結轉,可以創(chuàng)建臨時表,通過大數(shù)據(jù)將某一結轉周期內數(shù)據(jù)推送至臨時表,在代碼層面進行數(shù)據(jù)的雙寫,最后再通過表名更換的方式進行表名轉換。其實,治理磁盤碎片最好的方法就是刪除表,不同業(yè)務對數(shù)據(jù)的要求不同。如果有可能的話新建一個臨時表。

利用rename語句對數(shù)據(jù)庫表信息進行修改,不會鎖表,可以達到零延遲,無抖動,對線上無任何影響。

wKgZombNf56AMgbUAAQwDHqV6Cg590.png

rename table xx_record to xx_record_temp1,xx_temp to xx_record,xx_record_temp1 to xx_record_temp;

總結

不管是使用云還是商城數(shù)據(jù)庫,只要使用mysql,必然會遇到Mysql碎片問題痛點,數(shù)據(jù)量大的業(yè)務表應該設計成分區(qū)表方便磁盤碎片整理,降低維護成本和業(yè)務影響。碎片清理前后,IO性能會上升,SQL執(zhí)行效率更快。所以,在日常運維工作中,應對碎片進行定期清理,保證數(shù)據(jù)庫有穩(wěn)定的性能和充足的空間。

擴展

提到提高IO性能,在緊急情況下還可以考慮開啟刷盤(設置 sync_binlog=0;innodb_flush_log_at_trx_commit=0),但開啟刷盤會有數(shù)據(jù)丟失風險(集團數(shù)據(jù)庫模板配置參數(shù)默認sync_binlog=1;innodb_flush_log_at_trx_commit=1)。

附件

mysql數(shù)據(jù)庫核心參數(shù)介紹:https://www.cnblogs.com/klvchen/p/10861850.html?

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)庫

    關注

    7

    文章

    3821

    瀏覽量

    64506
  • 磁盤碎片整理

    關注

    0

    文章

    2

    瀏覽量

    5518
  • MySQL
    +關注

    關注

    1

    文章

    817

    瀏覽量

    26622
收藏 人收藏

    評論

    相關推薦

    什么是raid磁盤冗余陣列

    什么是raid 磁盤冗余陣列 這是由多塊獨立磁盤(多為硬盤)組合的一個超大容量磁盤組。 ? 大白話的解釋磁盤冗余陣列,就是將很多塊硬盤組合成一個整體,不同的RAID級別,可以實現(xiàn)不同的
    的頭像 發(fā)表于 12-16 16:41 ?217次閱讀
    什么是raid<b class='flag-5'>磁盤</b>冗余陣列

    MySQL還能跟上PostgreSQL的步伐嗎

    Percona 的老板 Peter Zaitsev最近發(fā)表一篇博客,討論了MySQL是否還能跟上PostgreSQL的腳步。Percona 作為MySQL 生態(tài)扛旗者,Percona 開發(fā)了知名
    的頭像 發(fā)表于 11-18 10:16 ?228次閱讀
    <b class='flag-5'>MySQL</b>還能跟上PostgreSQL的步伐嗎

    詳解MySQL多實例部署

    詳解MySQL多實例部署
    的頭像 發(fā)表于 11-11 11:10 ?273次閱讀

    MySQL編碼機制原理

    前言 一位讀者在本地部署 MySQL 測試環(huán)境時碰到一個問題,我覺得挺有代表性的,所以寫篇文章介紹一下,看完相信你會對 MySQL 的編碼機制有最本質的了解,本文的目錄結構如下 讀者問題簡介
    的頭像 發(fā)表于 11-09 11:01 ?260次閱讀

    適用于MySQL的dbForge架構比較

    dbForge Schema Compare for MySQL 是一種工具,用于輕松有效地比較和部署 MySQL 數(shù)據(jù)庫結構和腳本文件夾差異。該工具提供了 MySQL 數(shù)據(jù)庫架構中所有差異的全面視圖。
    的頭像 發(fā)表于 10-28 09:41 ?224次閱讀
    適用于<b class='flag-5'>MySQL</b>的dbForge架構比較

    配置MySQL主從復制和讀寫分離

    配置MySQL主從復制和讀寫分離
    的頭像 發(fā)表于 10-23 11:44 ?497次閱讀
    配置<b class='flag-5'>MySQL</b>主從復制和讀寫分離

    Jtti:MySQL初始化操作如何設置root密碼

    MySQL初始化時,可以通過以下步驟設置root密碼: 打開命令行工具,使用以下命令啟動MySQL服務: ? sudo service mysql start ? 使用以下命令登錄MySQL
    的頭像 發(fā)表于 08-08 16:45 ?392次閱讀

    Linux磁盤IO詳細解析

      在講解磁盤IO前,先簡單說下什么是磁盤。磁盤是可以持久化存儲的設備,根據(jù)存儲介質的不同,常見磁盤可以分為兩類:機械磁盤和固態(tài)
    的頭像 發(fā)表于 08-05 15:49 ?649次閱讀
    Linux<b class='flag-5'>磁盤</b>IO詳細解析

    MySQL知識點匯總

    大家好,這部分被稱為DQL部分,是每個學習MySQL必須要學會的部分,下面就讓我來介紹MySQL中的其他部分。
    的頭像 發(fā)表于 08-05 15:27 ?413次閱讀
    <b class='flag-5'>MySQL</b>知識點匯總

    華納云:如何修改MySQL的默認端口

    MySQL是世界上最流行的開源關系型數(shù)據(jù)庫管理系統(tǒng)之一。在某些情況下,由于安全性、網絡策略或端口沖突的原因,數(shù)據(jù)庫管理員可能需要更改MySQL服務的默認監(jiān)聽端口。本文將指導您如何在不同的操作系統(tǒng)上
    的頭像 發(fā)表于 07-22 14:56 ?328次閱讀
    華納云:如何修改<b class='flag-5'>MySQL</b>的默認端口

    MySQL的整體邏輯架構

    支持多種存儲引擎是眾所周知的MySQL特性,也是MySQL架構的關鍵優(yōu)勢之一。如果能夠理解MySQL Server與存儲引擎之間是怎樣通過API交互的,將大大有利于理解MySQL的核心
    的頭像 發(fā)表于 04-30 11:14 ?464次閱讀
    <b class='flag-5'>MySQL</b>的整體邏輯架構

    MySQL忘記root密碼解決方案

    mysql登錄密碼為password()算法加密,解密成本太高,以下為通用方案; 原理:mysql提供了特殊啟動方式,即跳過權限表驗證,啟動后,登錄不需要提供密碼; 登錄后,即可修改mysql數(shù)據(jù)庫的user表,重置
    的頭像 發(fā)表于 04-23 16:08 ?729次閱讀

    【服務器數(shù)據(jù)恢復】服務器raid6陣列多塊磁盤離線的數(shù)據(jù)恢復案例

    一臺網站服務器中有一組由6塊磁盤組建的RAID6磁盤陣列,操作系統(tǒng)層面運行MySQL數(shù)據(jù)庫和存放一些其他類型文件。
    的頭像 發(fā)表于 02-23 13:13 ?624次閱讀

    查詢SQL在mysql內部是如何執(zhí)行?

    我們知道在mySQL客戶端,輸入一條查詢SQL,然后看到返回查詢的結果。這條查詢語句在 MySQL 內部到底是如何執(zhí)行的呢?本文跟大家探討一下哈,我們先來看下MySQL基本架構~
    的頭像 發(fā)表于 01-22 14:53 ?586次閱讀
    查詢SQL在<b class='flag-5'>mysql</b>內部是如何執(zhí)行?

    MySQL密碼忘記了怎么辦?MySQL密碼快速重置方法步驟命令示例!

    MySQL密碼忘記了怎么辦?MySQL密碼快速重置方法步驟命令示例! MySQL是一種常用的關系型數(shù)據(jù)庫管理系統(tǒng),如果你忘記了MySQL的密碼,不必擔心,可以通過一些簡單的步驟來快速重
    的頭像 發(fā)表于 01-12 16:06 ?773次閱讀
    主站蜘蛛池模板: 国产性夜夜性夜夜爽91| 久艹精品| 国产片91人成在线观看| 人人搞人人爱| 天堂资源在线8| 手机看片国产精品| 免费又爽又黄的禁片1000部| 思思久久好好热精品国产| 日本丰满毛茸茸熟妇| 美女自熨出白浆视频在线播放| 国内精品久久久久久久久野战| 丁香六月综合网| 国产黄色的视频| 黄视频网站免费看| 一级欧美日韩| 在线视频一二三区| 中文字幕一区2区3区| 看a网站| 最近2018中文字幕免费看2019 | 成人欧美精品久久久久影院| 日本理论在线观看被窝网| 欧美1| 成人三级毛片| 神马福利| 国产黄色一级网站| 亚洲综合色在线| 亚洲乱码中文字幕综合| 日韩精品亚洲一级在线观看| 黄色免费在线视频| 97综合网| 2018天天射| 视频福利网| 人色网| 在线天堂中文有限公司| 色噜噜亚洲精品中文字幕| 久久婷婷色一区二区三区| h录音 国产 在线| 久久精品国产免费| 亚洲男人天堂岛| 色婷婷综合久久久中文字幕| 国产拍拍|