MySQL高效匯入多個.sql檔案方法詳解

阿新 • • 發佈：2020-01-09

MySQL有多種方法匯入多個.sql檔案（裡面是sql語句），常用的有兩個命令：mysql和source。

但是這兩個命令的匯入效率差別很大，具體請看最後的比較。

（還有sqlimport和LOAD DATA INFILE等匯入方法，不過它們主要用於匯入.csv或.xml檔案資料，不是.sql檔案）

假設我們有一個 users.sql 大檔案，為方便我們將其拆分成：user1.sql、user2.sql、user3.sql 三個獨立的小sql檔案。

1、mysql命令匯入

mysql命令匯入多個sql檔案方法：

$ for SQL in *.sql; do mysql -uroot -p"123456" mydb < $SQL; done

2、source命令匯入

source命令需要首先進入MySQL命令列：

$ mysql -uroot -p"123456"

匯入多個sql檔案需要先建立一個額外的檔案，名字隨意，這裡我們取：all.sql，內容：

source user1.sql
source user2.sql
source user3.sql

注意，這裡每行一條，必須以source命令開頭。

然後用source命令執行該檔案：

mysql > use mydb;
mysql > source /home/gary/all.sql

3、如何提高匯入速度？

對於百M級以上檔案，如果光這樣匯入，速度是極其緩慢的，

根據MySQL官方建議，我們有幾個措施可以極大提高匯入的速度，如下：

對於MyISAM，調整系統引數：bulk_insert_buffer_size（至少單個檔案大小的2倍以上）

對於InnoDB，調整系統引數：innodb_log_buffer_size（至少單個檔案大小的2倍以上，匯入完成後可以改回預設的8M，注意不是innodb_buffer_pool_size。）

除主鍵外，刪除其他索引，匯入完成後重建索引。

關閉自動提交：autocommit=0。（請勿用set global autocommit=1;命令來關閉，否則整個MySQL系統都會停止自動commit，innodb log buffer很快就會爆滿，5和6項也請僅在會話中有效，正確做法請往下看）

關閉唯一索引檢查：unique_checks=0。（關閉了這一項會影響on duplicate key update的效果）

關閉外來鍵檢查：foreign_key_checks=0。

insert值寫在一條語句內，如：INSERT INTO yourtable VALUES (1,2),(5,5),...;

有自增列的，設定：innodb_autoinc_lock_mode的值為2,

其中，第1-2、8條在修改my.cnf檔案，然後重啟MySQL：

bulk_insert_buffer_size=2G;
innodb_log_buffer_size=2G;
innodb_autoinc_lock_mode=2;

第3條用到的命令：

#刪除索引
DROP INDEX index_name ON talbe_name
ALTER TABLE table_name DROP INDEX index_name
ALTER TABLE table_name DROP PRIMARY KEY

＃　新增索引
ALTER TABLE table_name ADD INDEX index_name (column_list)
ALTER TABLE table_name ADD UNIQUE (column_list)
ALTER TABLE table_name ADD PRIMARY KEY (column_list)

第４-6條寫在.sql中，批量bash指令碼如下：

for SQL in *.sql;
do
  echo $SQL;
  sed -i '1i\SET autocommit=0;\nSET unique_checks=0;\nSET foreign_key_checks=0;' $SQL
  sed -i '$a\COMMIT;\nSET autocommit=1;\nSET unique_checks=1;\nSET foreign_key_checks=1;' $SQL
done

按照以上幾個步驟調整後，插入速度必會有大幅度的提高。

4、mysql和source效率比較

在sql檔案較小的情況下，source速度比mysql高，

在實際測試匯入時，5個合計25M的sql檔案，mysql命令的速度比source要快2秒（我自己的測試，不代表普遍的結果），

可以粗略得出，在匯入大的sql檔案時，建議使用mysql命令。

以上既是MySQL高效匯入多個.sql檔案的方法，希望能幫助到大家