1. 程式人生 > 資料庫 >redis學習之RDB、AOF與複製時對過期鍵的處理教程

redis學習之RDB、AOF與複製時對過期鍵的處理教程

生成RDB檔案

在執行SAVE命令或者BGSAVE命令建立一個新的RDB檔案時,程式會對資料庫中的鍵進行檢查,已過期的鍵不會被儲存到新建立的RDB檔案中。

舉個例子,如果資料庫中包含三個鍵k1、k2、k3,並且k2已經過期,那麼當執行SAVE命令或者BGSAVE命令時,程式只會將k1和k3的資料儲存到RDB檔案中,而k2則會被忽略。

因此,資料庫中包含過期鍵不會對生成新的RDB檔案造成影響。

可參考rdb.c中函式rdbSave()函式原始碼:

/* Iterate this DB writing every entry 
   *
   * 遍歷資料庫,並寫入每個鍵值對的資料
   */
  while((de = dictNext(di)) != NULL) {
   sds keystr = dictGetKey(de);
   robj key,*o = dictGetVal(de);
   long long expire;
   
   // 根據 keystr ,在棧中建立一個 key 物件
   initStaticStringObject(key,keystr);

   // 獲取鍵的過期時間
   expire = getExpire(db,&key);

   // 儲存鍵值對資料
   if (rdbSaveKeyValuePair(&rdb,&key,o,expire,now) == -1) goto werr;
  }

rdbSaveKeyValuePair函式實現如下:

/* Save a key-value pair,with expire time,type,key,value.
 *
 * 將鍵值對的鍵、值、過期時間和型別寫入到 RDB 中。
 *
 * On error -1 is returned.
 *
 * 出錯返回 -1 。
 *
 * On success if the key was actually saved 1 is returned,otherwise 0
 * is returned (the key was already expired). 
 *
 * 成功儲存返回 1 ,當鍵已經過期時,返回 0 。
 */
int rdbSaveKeyValuePair(rio *rdb,robj *key,robj *val,long long expiretime,long long now)
{
 /* Save the expire time 
  *
  * 儲存鍵的過期時間
  */
 if (expiretime != -1) {
  /* If this key is already expired skip it 
   *
   * 不寫入已經過期的鍵
   */
  if (expiretime < now) return 0;

  if (rdbSaveType(rdb,REDIS_RDB_OPCODE_EXPIRETIME_MS) == -1) return -1;
  if (rdbSaveMillisecondTime(rdb,expiretime) == -1) return -1;
 }
 /* Save type,value 
  *
  * 儲存型別,鍵,值
  */
 if (rdbSaveObjectType(rdb,val) == -1) return -1;
 if (rdbSaveStringObject(rdb,key) == -1) return -1;
 if (rdbSaveObject(rdb,val) == -1) return -1;
 return 1;
}

載入RDB檔案

在啟動Redis伺服器時,如果伺服器開啟了RDB功能,那麼伺服器將對RDB檔案進行載入:

  • 如果伺服器以主伺服器模式執行,那麼在載入RDB檔案時,程式會對檔案中儲存的鍵進行檢查,未過期的鍵會被載入到資料庫中,而過期鍵則會被忽略,所以過期鍵對載入RDB檔案的主伺服器不會造成影響;
  • 如果伺服器以從伺服器模式執行,那麼在載入RDB檔案時,檔案中儲存的所有鍵,不論是否過期,都會被載入到資料庫中。不過,因為主從伺服器在進行資料同步的時候,從伺服器的資料庫就會被清空,所以一般來講,過期鍵對載入RDB檔案的從伺服器也不會造成影響;

這部分程式碼可以檢視rdb.c中rdbLoad()函式原始碼:

/* Check if the key already expired. This function is used when loading
   * an RDB file from disk,either at startup,or when an RDB was
   * received from the master. In the latter case,the master is
   * responsible for key expiry. If we would expire keys here,the
   * snapshot taken by the master may not be reflected on the slave. 
   *
   * 如果伺服器為主節點的話,
   * 那麼在鍵已經過期的時候,不再將它們關聯到資料庫中去
   */
  if (server.masterhost == NULL && expiretime != -1 && expiretime < now) {
   decrRefCount(key);
   decrRefCount(val);
   // 跳過
   continue;
  }

AOF檔案寫入

當伺服器以AOF持久化模式執行時,如果資料庫中的某個鍵已經過期,但它還沒有被惰性刪除或者定期刪除,那麼AOF檔案不會因為這個過期鍵而產生任何影響。

當過期鍵被惰性刪除或者定期刪除之後,程式會向AOF檔案追加(append)一條DEL命令,來顯式地記錄該鍵已被刪除。
舉個例子,如果客戶端使用GET message命令,試圖訪問過期的message鍵,那麼伺服器將執行以下三個動作:

1)從資料庫中刪除message鍵。

2)追加一條DEL message命令到AOF檔案。(根據AOF檔案增加的特點,AOF只有在客戶端進行請求的時候才會有這個DEL操作)

3)向執行GET命令的客戶端返回空回覆。

這部分就是Redis中的惰性刪除策略中expireIfNeeded函式的使用。關於惰性刪除策略這一部分在Redis惰性刪除策略一篇中有講。所以這裡就不贅述了。

需要提示一下的是:expireIfNeeded函式是在db.c/lookupKeyRead()函式中被呼叫,lookupKeyRead函式用於在執行讀取操作時取出鍵key在資料庫db中的值。

AOF重寫

和生成RDB檔案時類似,在執行AOF重寫的過程中,程式會對資料庫中的鍵進行檢查,已過期的鍵不會被儲存到重寫後的AOF檔案中。

舉個例子,如果資料庫中包含三個鍵k1、k2、k3,並且k2已經過期,那麼在進行重寫工作時,程式只會對k1和k3進行重寫,而k2則會被忽略。

這一部分如果掌握了AOF重寫的方法的話,那就自然理解了。

複製

當伺服器執行在複製模式下時,從伺服器的過期鍵刪除動作由主伺服器控制:

  • 主伺服器在刪除一個過期鍵之後,會顯式地向所有從伺服器傳送一個DEL命令,告知從伺服器刪除這個過期鍵;
  • 從伺服器在執行客戶端傳送的讀命令時,即使碰到過期鍵也不會將過期鍵刪除,而是繼續像處理未過期的鍵一樣來處理過期鍵;
  • 從伺服器只有在接到主伺服器發來的DEL命令之後,才會刪除過期鍵。

舉個例子,有一對主從伺服器,它們的資料庫中都儲存著同樣的三個鍵message、xxx和yyy,其中message為過期鍵,如圖所示

如果這時有客戶端向從伺服器傳送命令GET message,那麼從伺服器將發現message鍵已經過期,但從伺服器並不會刪除message鍵,而是繼續將message鍵的值返回給客戶端,就好像message鍵並沒有過期一樣。

假設在此之後,有客戶端向主伺服器傳送命令GET message,那麼主伺服器將發現鍵message已經過期:主伺服器會刪除message鍵,向客戶端返回空回覆,並向從伺服器傳送DEL message命令,如圖所示:

從伺服器在接收到主伺服器發來的DEL message命令之後,也會從資料庫中刪除message鍵,在這之後,主從伺服器都不再儲存過期鍵message了,如圖所示:

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對我們的支援。