作者：京東云開發(fā)者-京東科技 梁發(fā)文

回顧 MySQL 的執(zhí)行過程，幫助介紹如何進行 sql 優(yōu)化。

（1）客戶端發(fā)送一條查詢語句到服務器；

（2）服務器先查詢緩存，如果命中緩存，則立即返回存儲在緩存中的數(shù)據(jù)；

（3）未命中緩存后，MySQL 通過關鍵字將 SQL 語句進行解析，并生成一顆對應的解析樹，MySQL 解析器將使用 MySQL 語法進行驗證和解析。

例如，驗證是否使用了錯誤的關鍵字，或者關鍵字的使用是否正確；

（4）預處理是根據(jù)一些 MySQL 規(guī)則檢查解析樹是否合理，比如檢查表和列是否存在，還會解析名字和別名，然后預處理器會驗證權限；

根據(jù)執(zhí)行計劃查詢執(zhí)行引擎，調(diào)用 API 接口調(diào)用存儲引擎來查詢數(shù)據(jù)；

（5）將結果返回客戶端，并進行緩存；

SQL 語句性能優(yōu)化常用策略

1、 為 WHERE 及 ORDER BY 涉及的列上建立索引

對查詢進行優(yōu)化，應盡量避免全表掃描，首先應考慮在 WHERE 及 ORDER BY 涉及的列上建立索引。

2、where 中使用默認值代替 null 應盡量避免在 WHERE 子句中對字段進行 NULL 值判斷，創(chuàng)建表時 NULL 是默認值，但大多數(shù)時候應該使用 NOT NULL，或者使用一個特殊的值，如 0，-1 作為默認值。

為啥建議 where 中使用默認值代替 null，四個原因：

（1）并不是說使用了 is null 或者 is not null 就會不走索引了，這個跟 mysql 版本以及查詢成本都有關；

（2）如果 mysql 優(yōu)化器發(fā)現(xiàn)，走索引比不走索引成本還要高，就會放棄索引，這些條件！=，<>，is null，is not null 經(jīng)常被認為讓索引失效；

（3）其實是因為一般情況下，查詢的成本高，優(yōu)化器自動放棄索引的；

（4）如果把 null 值，換成默認值，很多時候讓走索引成為可能，同時，表達意思也相對清晰一點；

3、慎用！= 或 <> 操作符。

MySQL 只有對以下操作符才使用索引：<，<=，=，>，>=，BETWEEN，IN，以及某些時候的 LIKE。

所以：應盡量避免在 WHERE 子句中使用！= 或 <> 操作符， 會導致全表掃描。

4、慎用 OR 來連接條件

使用 or 可能會使索引失效，從而全表掃描；

應盡量避免在 WHERE 子句中使用 OR 來連接條件，否則將導致引擎放棄使用索引而進行全表掃描，

可以使用 UNION 合并查詢：

select id from t where num=10

union all

select id from t where num=20

一個關鍵的問題是否用到索引。他們的速度只同是否使用索引有關，如果查詢需要用到聯(lián)合索引，用 UNION all 執(zhí)行的效率更高。多個 OR 的字句沒有用到索引，改寫成 UNION 的形式再試圖與索引匹配。

5、慎用 IN 和 NOT IN

IN 和 NOT IN 要慎用，否則會導致全表掃描。對于連續(xù)的數(shù)值，能用 BETWEEN 就不要用 IN：select id from t where num between 1 and 3。

6、慎用 左模糊 like ‘%…’

模糊查詢，程序員最喜歡的就是使用 like，like 很可能讓索引失效。

比如：

select id from t where name like‘% abc%’ select id from t where name like‘% abc’ 而 select id from t where name like‘a(chǎn)bc%’才用到索引。

所以：

首先盡量避免模糊查詢，如果必須使用，不采用全模糊查詢，也應盡量采用右模糊查詢， 即 like ‘…%’，是會使用索引的；左模糊 like ‘%…’無法直接使用索引，但可以利用 reverse + function index 的形式，變化成 like ‘…%’；全模糊查詢是無法優(yōu)化的，一定要使用的話建議使用搜索引擎，比如 ElasticSearch。備注：如果一定要用左模糊 like ‘%…’檢索， 一般建議 ElasticSearch+Hbase 架構

7、WHERE 條件使用參數(shù)會導致全表掃描。

如下面語句將進行全表掃描：

select id from t where num=@num

因為 SQL 只有在運行時才會解析局部變量，但優(yōu)化程序不能將訪問計劃的選擇推 遲到 運行時；

它必須在編譯時進行選擇。然而，如果在編譯時建立訪問計劃，變量的值還是未知的，因而無法作為索引選擇的輸入項。

所以， 可以改為強制查詢使用索引：

select id from t with (index (索引名)) where num=@num

8、用 EXISTS 代替 IN 是一個好的選擇

很多時候用 exists 代替 in 是一個好的選擇：

select num from a where num in (select num from b) 用下面的語句替換：select num from a where exists (select 1 from b where num=a.num)

9、索引并不是越多越好

索引固然可以提高相應的 SELECT 的效率，但同時也降低了 INSERT 及 UPDATE 的效。

因為 INSERT 或 UPDATE 時有可能會重建索引，所以怎樣建索引需要慎重考慮，視具體情況而定。

一個表的索引數(shù)最好不要超過 6 個，若太多則應考慮一些不常使用到的列上建的索引是否有必要。

10、盡量使用數(shù)字型字段

（1）因為引擎在處理查詢和連接時會逐個比較字符串中每一個字符；

（2）而對于數(shù)字型而言只需要比較一次就夠了；

（3）字符會降低查詢和連接的性能，并會增加存儲開銷；

所以：盡量使用數(shù)字型字段，若只含數(shù)值信息的字段盡量不要設計為字符型，這會降低查詢和連接的性能，并會增加存儲開銷。

11、盡可能的使用 varchar, nvarchar 代替 char, nchar

（1）varchar 變長字段按數(shù)據(jù)內(nèi)容實際長度存儲，存儲空間小，可以節(jié)省存儲空間；

（2）char 按聲明大小存儲，不足補空格；

（3）其次對于查詢來說，在一個相對較小的字段內(nèi)搜索，效率更高；

因為首先變長字段存儲空間小，可以節(jié)省存儲空間，其次對于查詢來說，在一個相對較小的字段內(nèi)搜索效率顯然要高些。

14、查詢 SQL 盡量不要使用 select *，而是具體字段

最好不要使用返回所有：select * from t ，用具體的字段列表代替 “*”，不要返回用不到的任何字段。

select * 的弊端：

（1）增加很多不必要的消耗，比如 CPU、IO、內(nèi)存、網(wǎng)絡帶寬；

（2）增加了使用覆蓋索引的可能性；

（3）增加了回表的可能性；

（4）當表結構發(fā)生變化時，前端也需要更改；

（5）查詢效率低；

15、將需要查詢的結果預先計算好

將需要查詢的結果預先計算好放在表中，查詢的時候再 Select，而不是查詢的時候進行計算。

16、IN 后出現(xiàn)最頻繁的值放在最前面

如果一定用 IN，那么：在 IN 后面值的列表中，將出現(xiàn)最頻繁的值放在最前面，出現(xiàn)得最少的放在最后面，減少判斷的次數(shù)。

17、盡量使用 EXISTS 代替 select count (1) 來判斷是否存在記錄。

count 函數(shù)只有在統(tǒng)計表中所有行數(shù)時使用，而且 count (1) 比 count (*) 更有效率。

18、用批量插入或批量更新

當有一批處理的插入或更新時，用批量插入或批量更新，絕不會一條條記錄的去更新。

（1）多條提交

INSERT INTO user (id,username) VALUES(1,'xx'); INSERT INTO user (id,username) VALUES(2,'yy');

（2）批量提交

INSERT INTO user (id,username) VALUES (1,'xx'),(2,'yy'); 默認新增 SQL 有事務控制，導致每條都需要事務開啟和事務提交，而批量處理是一次事務開啟和提交，效率提升明顯，達到一定量級，效果顯著，平時看不出來。

19、將不需要的記錄在 GROUP BY 之前過濾掉

提高 GROUP BY 語句的效率，可以通過將不需要的記錄在 GROUP BY 之前過濾掉。

下面兩個查詢返回相同結果，但第二個明顯就快了許多。

低效：

SELECT JOB, AVG (SAL) FROM EMP GROUP BY JOB HAVING JOB = 'PRESIDENT' OR JOB = 'MANAGER' 高效：

SELECT JOB, AVG(SAL) FROM EMP WHERE JOB = 'PRESIDENT' OR JOB = 'MANAGER' GROUP BY JOB

20、避免死鎖

在你的存儲過程和觸發(fā)器中訪問同一個表時總是以相同的順序；事務應經(jīng)可能地縮短，在一個事務中應盡可能減少涉及到的數(shù)據(jù)量；永遠不要在事務中等待用戶輸入。

21、索引創(chuàng)建規(guī)則：

表的主鍵、外鍵必須有索引；

數(shù)據(jù)量超過 300 的表應該有索引；

經(jīng)常與其他表進行連接的表，在連接字段上應該建立索引；

經(jīng)常出現(xiàn)在 WHERE 子句中的字段，特別是大表的字段，應該建立索引；

索引應該建在選擇性高的字段上；

索引應該建在小字段上，對于大的文本字段甚至超長字段，不要建索引；

復合索引的建立需要進行仔細分析，盡量考慮用單字段索引代替；

正確選擇復合索引中的主列字段，一般是選擇性較好的字段；

復合索引的幾個字段是否經(jīng)常同時以 AND 方式出現(xiàn)在 WHERE 子句中？單字段查詢是否極少甚至沒有？如果是，則可以建立復合索引；否則考慮單字段索引；

如果復合索引中包含的字段經(jīng)常單獨出現(xiàn)在 WHERE 子句中，則分解為多個單字段索引；

如果復合索引所包含的字段超過 3 個，那么仔細考慮其必要性，考慮減少復合的字段；

如果既有單字段索引，又有這幾個字段上的復合索引，一般可以刪除復合索引；

頻繁進行數(shù)據(jù)操作的表，不要建立太多的索引；刪除無用的索引，避免對執(zhí)行計劃造成負面影響；

表上建立的每個索引都會增加存儲開銷，索引對于插入、刪除、更新操作也會增加處理上的開銷。

另外，過多的復合索引，在有單字段索引的情況下，一般都是沒有存在價值的；相反，還會降低數(shù)據(jù)增加刪除時的性能，特別是對頻繁更新的表來說，負面影響更大。盡量不要對數(shù)據(jù)庫中某個含有大量重復的值的字段建立索引。

22、在寫 SQL 語句時，應盡量減少空格的使用

查詢緩沖并不自動處理空格，因此，在寫 SQL 語句時，應盡量減少空格的使用，尤其是在 SQL 首和尾的空格（因為查詢緩沖并不自動截取首尾空格）。

23、每張表都設置一個 ID 做為其主鍵

我們應該為數(shù)據(jù)庫里的每張表都設置一個 ID 做為其主鍵，而且最好的是一個 INT 型的（推薦使用 UNSIGNED），并設置上自動增加的 AUTO_INCREMENT 標志。

24、使用 explain 分析你 SQL 執(zhí)行計劃

（1）type

system：表僅有一行，基本用不到；

const：表最多一行數(shù)據(jù)配合，主鍵查詢時觸發(fā)較多；

eq_ref：對于每個來自于前面的表的行組合，從該表中讀取一行。這可能是最好的聯(lián)接類型，除了 const 類型；

ref：對于每個來自于前面的表的行組合，所有有匹配索引值的行將從這張表中讀取；

range：只檢索給定范圍的行，使用一個索引來選擇行。當使用 =、<>、>、>=、<、<=、IS NULL、<=>、BETWEEN 或者 IN 操作符，用常量比較關鍵字列時，可以使用 range；

index：該聯(lián)接類型與 ALL 相同，除了只有索引樹被掃描。這通常比 ALL 快，因為索引文件通常比數(shù)據(jù)文件小；

all：全表掃描；

性能排名：system > const > eq_ref > ref > range > index > all。實際 sql 優(yōu)化中，最后達到 ref 或 range 級別。

（2）Extra 常用關鍵字

Using index：只從索引樹中獲取信息，而不需要回表查詢；

Using where：WHERE 子句用于限制哪一個行匹配下一個表或發(fā)送到客戶。除非你專門從表中索取或檢查所有行，如果 Extra 值不為 Using where 并且表聯(lián)接類型為 ALL 或 index，查詢可能會有一些錯誤。需要回表查詢。

Using temporary：mysql 常建一個臨時表來容納結果，典型情況如查詢包含可以按不同情況列出列的 GROUP BY 和 ORDER BY 子句時；

25、當只要一行數(shù)據(jù)時使用 LIMIT 1

當你查詢表的有些時候，你已經(jīng)知道結果只會有一條結果，但因為你可能需要去 fetch 游標，或是你也許會去檢查返回的記錄數(shù)。

在這種情況下，加上 LIMIT 1 可以增加性能。

這樣一來，MySQL 數(shù)據(jù)庫引擎會在找到一條數(shù)據(jù)后停止搜索，而不是繼續(xù)往后查少下一條符合記錄的數(shù)據(jù)。

26、將大的 DELETE，UPDATE、INSERT 查詢變成多個小查詢

能寫一個幾十行、幾百行的 SQL 語句是不是顯得逼格很高？然而，為了達到更好的性能以及更好的數(shù)據(jù)控制，你可以將他們變成多個小查詢。

27、合理分表 盡量控制單表數(shù)據(jù)量的大小，建議控制在 500 萬以內(nèi)

500 萬并不是 MySQL 數(shù)據(jù)庫的限制，過大會造成修改表結構，備份，恢復都會有很大的問題。

可以用歷史數(shù)據(jù)歸檔（應用于日志數(shù)據(jù)），分庫分表（應用于業(yè)務數(shù)據(jù)）等手段來控制數(shù)據(jù)量大小。