1. 程式人生 > 實用技巧 >1、一條sql查詢語句的執行過程

1、一條sql查詢語句的執行過程

mysql> select * from T where id =10;
看似如此簡單的一條語句,其執行過程也大有門道。

首先先熟悉MYSQL基本架構示意圖,分為 Server 層和儲存引擎層兩部分

Server 層包括聯結器、查詢快取、分析器、優化器、執行器等,涵蓋 MySQL 的大多數核心服務功能,以及所有的內建函式(如日期、時間、數學和加密函式等),所有跨儲存引擎的功能都在這一層實現,比如儲存過程、觸發器、檢視等。tcp連線資料庫後,聯結器管理連線,許可權校驗;隨後查詢快取,若命中快取則直接返回結果,否則進入分析器;分析器對sql語句進行語法分析;優化器制定執行計劃,索引的選擇;執行器操作引擎,返回結果

而儲存引擎層負責資料的儲存和提取。其架構模式是外掛式的,支援 InnoDB、MyISAM、Memory 等多個儲存引擎。現在最常用的儲存引擎是 InnoDB,它從 MySQL 5.5.5 版本開始成為了預設儲存引擎。

不同儲存引擎的表資料存取方式不同,支援的功能也不同,但是不同的儲存引擎共用一個server層

聯結器

聯結器負責跟客戶端建立連線、獲取許可權、維持和管理連線。連線命令一般是這麼寫的:
mysql -h $ip -p $port -u suer -p

連線命令中的 mysql 是客戶端工具,用來跟服務端建立連線。在完成經典的 TCP 握手後,聯結器就要開始認證你的身份,這個時候用的就是你輸入的使用者名稱和密碼。

  • 如果使用者名稱或密碼不對,你就會收到一個"Access denied for user"的錯誤,然後客戶端程式結束執行。
  • 如果使用者名稱密碼認證通過,聯結器會到許可權表裡面查出你擁有的許可權。之後,這個連線裡面的許可權判斷邏輯,都將依賴於此時讀到的許可權。

連線完成後,如果你沒有後續的動作,這個連線就處於空閒狀態,你可以在 show processlist 命令中看到它。文字中這個圖是 show processlist 的結果,其中的 Command 列顯示為“Sleep”的這一行,就表示現在系統裡面有一個空閒連線。如果太長時間空閒,聯結器會自動將它斷開。這個時間由引數 wait_timeout 控制,預設是8小時。

如果在連線被斷開之後,客戶端再次傳送請求的話,就會收到一個錯誤提醒: Lost connection to MySQL server during query。這時候如果你要繼續,就需要重連,然後再執行請求了。所以有時候程式開發時,設定的超時連線引數時需結合實際考慮引數大小 。

資料庫裡面,長連線是指連線成功後,如果客戶端持續有請求,則一直使用同一個連線。短連線則是指每次執行完很少的幾次查詢就斷開連線,下次查詢再重新建立一個。

建立連線的過程通常是比較複雜的,所以我建議你在使用中要儘量減少建立連線的動作,也就是儘量使用長連線。但是全部使用長連線後,你可能會發現,有些時候 MySQL 佔用記憶體漲得特別快,這是因為 MySQL 在執行過程中臨時使用的記憶體是管理在連線物件裡面的。這些資源會在連線斷開的時候才釋放。所以如果長連線累積下來,可能導致記憶體佔用太大,被系統強行殺掉(OOM),從現象看就是 MySQL 異常重啟了。

那怎麼解決這個問題呢?有以下兩種方案。

1、定期斷開長連線。一段時間斷開,或者判斷執行過一個佔用記憶體的大查詢後,斷開連線;
2、如果你用的是 MySQL 5.7 或更新版本,可以在每次執行一個比較大的操作後,通過執行 mysql_reset_connection 來重新初始化連線資源。這個過程不需要重連和重新做許可權驗證,但是會將連線恢復到剛剛建立完時的狀態。實現初始化長連線,釋放記憶體。

查詢快取

MYSQL拿到一個查詢請求後,會先到查詢快取看看,之前是不是執行過這條語句,之前執行過的結果可能會以 key-value對的形式,被直接快取到記憶體中。key是查詢語句,value是查詢結果。對於重複的查詢,快取大大提高了效率。

但是大多數情況,不建議使用查詢快取,因為查詢快取往往利大於弊,其查詢失效非常頻繁,只要有對錶的更新,這個表上所有的快取都將被清空。對於更新頻繁的資料庫來說,命中快取的效率非常低。除非業務上是一張靜態表或者更新次數少,那麼查詢快取才有意義。

好在 MySQL 也提供了這種“按需使用”的方式。你可以將引數 query_cache_type 設定成 DEMAND,這樣對於預設的 SQL 語句都不使用查詢快取。而對於你確定要使用查詢快取的語句,可以用 SQL_CACHE 顯式指定,像下面這個語句一樣:
mysql> select SQL_CACHE * from T where ID=10; 8.0 版本直接將快取的整塊功能刪除,也就是8.0版本徹底拋棄快取功能。

分析器

分析器先會做“詞法分析”。你輸入的是由多個字串和空格組成的一條 SQL 語句,MySQL 需要識別出裡面的字串分別是什麼,代表什麼。MySQL 從你輸入的"select"這個關鍵字識別出來,這是一個查詢語句。它也要把字串“T”識別成“表名 T”,把字串“ID”識別成“列 ID”。做完了這些識別以後,就要做“語法分析”。根據詞法分析的結果,語法分析器會根據語法規則,判斷你輸入的這個 SQL 語句是否滿足 MySQL 語法。如果你的語句不對,就會收到“You have an error in your SQL syntax”的錯誤提醒,比如下面這個語句 select 少打了開頭的字母“s”。

優化器

在開始執行之前,還要先經過優化器的處理。優化器是在表裡面有多個索引的時候,決定使用哪個索引;或者在一個語句有多表關聯(join)的時候,決定各個表的連線順序。比如你執行下面這樣的語句,這個語句是執行兩個表的 join:

mysql> select * from t1 join t2 using(ID) where t1.c=10 and t2.d=20;

  • 既可以先從表 t1 裡面取出 c=10 的記錄的 ID 值,再根據 ID 值關聯到表 t2,再判斷 t2 裡面 d 的值是否等於 20。
  • 也可以先從表 t2 裡面取出 d=20 的記錄的 ID 值,再根據 ID 值關聯到 t1,再判斷 t1 裡面 c 的值是否等於 10。
    這兩種執行方法的邏輯結果是一樣的,但是執行的效率會有不同,而優化器的作用就是決定選擇使用哪一個方案。

執行器

開始執行的時候,要先判斷一下你對這個表 T 有沒有執行查詢的許可權,如果沒有,就會返回沒有許可權的錯誤,如下所示 (在工程實現上,如果命中查詢快取,會在查詢快取返回結果的時候,做許可權驗證。查詢也會在優化器之前呼叫 precheck 驗證許可權)。

如果有許可權,就開啟表繼續執行。開啟表的時候,執行器就會根據表的引擎定義,去使用這個引擎提供的介面。

有索引的話,則通過索引(B+ 樹)快速查詢,否則遍歷查詢