1. 程式人生 > 資料庫 >跟大家聊聊mysql主從複製原理

跟大家聊聊mysql主從複製原理

https://mp.weixin.qq.com/s/HJYkDheKbCdANj91zRDx2g

 

0、為什麼需要主從複製?

1、在業務複雜的系統中,有這麼一個情景,有一句sql語句需要鎖表,導致暫時不能使用讀的服務,那麼就很影響執行中的業務,使用主從複製,讓主庫負責寫,從庫負責讀,這樣,即使主庫出現了鎖表的情景,通過讀從庫也可以保證業務的正常運作。

2、做資料的熱備

3、架構的擴充套件。業務量越來越大,I/O訪問頻率過高,單機無法滿足,此時做多庫的儲存,降低磁碟I/O訪問的頻率,提高單個機器的I/O效能。

1、什麼是mysql的主從複製?

MySQL 主從複製是指資料可以從一個MySQL資料庫伺服器主節點複製到一個或多個從節點。MySQL 預設採用非同步複製方式,這樣從節點不用一直訪問主伺服器來更新自己的資料,資料的更新可以在遠端連線上進行,從節點可以複製主資料庫中的所有資料庫或者特定的資料庫,或者特定的表。

2、mysql複製原理

原理:

(1)master伺服器將資料的改變記錄二進位制binlog日誌,當master上的資料發生改變時,則將其改變寫入二進位制日誌中;

(2)slave伺服器會在一定時間間隔內對master二進位制日誌進行探測其是否發生改變,如果發生改變,則開始一個I/OThread請求master二進位制事件

(3)同時主節點為每個I/O執行緒啟動一個dump執行緒,用於向其傳送二進位制事件,並儲存至從節點本地的中繼日誌中,從節點將啟動SQL執行緒從中繼日誌中讀取二進位制日誌,在本地重放,使得其資料和主節點的保持一致,最後I/OThread和SQLThread將進入睡眠狀態,等待下一次被喚醒。

也就是說:
  • 從庫會生成兩個執行緒,一個I/O執行緒,一個SQL執行緒;
  • I/O執行緒會去請求主庫的binlog,並將得到的binlog寫到本地的relay-log(中繼日誌)檔案中;
  • 主庫會生成一個log dump執行緒,用來給從庫I/O執行緒傳binlog;
  • SQL執行緒,會讀取relay log檔案中的日誌,並解析成sql語句逐一執行;
注意:

1--master將操作語句記錄到binlog日誌中,然後授予slave遠端連線的許可權(master一定要開啟binlog二進位制日誌功能;通常為了資料安全考慮,slave也開啟binlog功能)。

2--slave開啟兩個執行緒:IO執行緒和SQL執行緒。其中:IO執行緒負責讀取master的binlog內容到中繼日誌relay log裡;SQL執行緒負責從relay log日誌裡讀出binlog內容,並更新到slave的資料庫裡,這樣就能保證slave資料和master資料保持一致了。

3--Mysql複製至少需要兩個Mysql的服務,當然Mysql服務可以分佈在不同的伺服器上,也可以在一臺伺服器上啟動多個服務。

4--Mysql複製最好確保master和slave伺服器上的Mysql版本相同(如果不能滿足版本一致,那麼要保證master主節點的版本低於slave從節點的版本)

5--master和slave兩節點間時間需同步

具體步驟:

1、從庫通過手工執行change  master to 語句連線主庫,提供了連線的使用者一切條件(user 、password、port、ip),並且讓從庫知道,二進位制日誌的起點位置(file名 position 號);   start  slave

2、從庫的IO執行緒和主庫的dump執行緒建立連線。

3、從庫根據change  master  to 語句提供的file名和position號,IO執行緒向主庫發起binlog的請求。

4、主庫dump執行緒根據從庫的請求,將本地binlog以events的方式發給從庫IO執行緒。

5、從庫IO執行緒接收binlog  events,並存放到本地relay-log中,傳送過來的資訊,會記錄到master.info中

6、從庫SQL執行緒應用relay-log,並且把應用過的記錄到relay-log.info中,預設情況下,已經應用過的relay 會自動被清理purge

3、mysql主從形式

(一)一主一從

 

 

(二)主主複製

 

 

(三)一主多從

 

 

(四)多主一從

 

 

(五)聯級複製

 

 

4、mysql主從同步延時分析

mysql的主從複製都是單執行緒的操作,主庫對所有DDL和DML產生的日誌寫進binlog,由於binlog是順序寫,所以效率很高,slave的sql thread執行緒將主庫的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是隨機的,不是順序,所以成本要高很多,另一方面,由於sql thread也是單執行緒的,當主庫的併發較高時,產生的DML數量超過slave的SQL thread所能處理的速度,或者當slave中有大型query語句產生了鎖等待,那麼延時就產生了。

解決方案:

1.業務的持久化層的實現採用分庫架構,mysql服務可平行擴充套件,分散壓力。

2.單個庫讀寫分離,一主多從,主寫從讀,分散壓力。這樣從庫壓力比主庫高,保護主庫。

3.服務的基礎架構在業務和mysql之間加入memcache或者redis的cache層。降低mysql的讀壓力。

4.不同業務的mysql物理上放在不同機器,分散壓力。

5.使用比主庫更好的硬體裝置作為slave,mysql壓力小,延遲自然會變小。

6.使用更加強勁的硬體裝置