前言

mongodb的副本集架構，主庫和從庫的資料相同步，如果主庫的機器壞掉，沒什麼關係，從庫上還有相同的副本資料。但如果某人惡意操作或誤操作，一下子批量刪除或drop整個庫，這樣主庫和從庫的資料都會沒有，造成巨大損失。因此，對mongodb資料庫定期備份是非常重要的。備份如果每次都全量備份，會消耗大量時間，並且對 mongodb效能也有影響，從而需要能增量備份。mongodb的增量備份網上沒有現成的工具，故仔細研究了下寫了個指令碼。

mongodb叢集架構時，從庫是通過非同步複製主庫的Oplog檔案，從而達到與主庫的同步。

Oplog 記錄了MongoDB資料庫的更改操作資訊，其儲存在local庫的oplog.rs表，在叢集架構才存在，單機不會有，故增量備份不能在單機下使用。 oplog有大小限制，超過指定大小，新的記錄會覆蓋舊的操作記錄。

mongodb增量備份原理

如何將某段時間的oplog下載下來，我拼接好的例子：

mongodump -h 127.0.0.1 --port 27117 -d local -c oplog.rs -u admin -p xxx --authenticationDatabase admin -q '{ts:{$gt:{$timestamp:{t:1451355000,i:1}},$lt:{$timestamp:{t:1451357430,i:1}}},ns:/^test_db\\./}' -o oplog_backup

上述是匯出1451355000-1451357430時間之間的oplog,匯出oplog需要切換到admin許可權賬戶。

原理很簡單，但具體實現還是需要很多考慮，具體看程式碼。指令碼在一個週期內（如一星期）先備份一次全量資料庫，後面每次進行增量備份。指令碼地址：http://git.oschina.net/passer/mongodb_backup_script

增量指令碼執行時的流程

1. 讀取上一個週期執行資訊判斷是否需要建立新的週期
2. 獲得mongodb上oplog最近記錄的時間點current timestamp position
3. 從本地讀取上一次執行時mongodb的oplog時間點
4. dump匯出全量資料或增量oplog檔案到本地，增量oplog檔案的匯出範圍是 上次oplog記錄點到最新時間內的oplog檔案
5. 儲存步驟2獲取的current timestamp position到本地，作為下一次執行步驟3中的時間點
6. 進行壓縮
7. 上傳到oss
8. 刪除本地備份檔案

全量指令碼執行時的流程

• 備份mongodb資料庫到本地
• 進行壓縮
• 上傳到oss
• 檢驗oss與本地檔案的大小是否相同
• 刪除本地備份檔案

恢復時指令碼執行的流程

1. 從oss上下載指定週期的備份檔案到本地
2. 對全量檔案和增量oplog的zip檔案進行解壓
3. 用 mongorestore對全量檔案進行匯入
4. 用 mongorestore --oplogReplay 分別對各時間段的oplog檔案進行匯入

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對我們的支援。