1. 程式人生 > 資料庫 >分析Mysql事務和資料的一致性處理問題

分析Mysql事務和資料的一致性處理問題

這篇文章通過安全性,用法,併發處理等方便詳細分析了Mysql事務和資料的一致性處理問題,以下就是全部內容:

在工作中,我們經常會遇到這樣的問題,需要更新庫存,當我們查詢到可用的庫存準備修改時,這時,其他的使用者可能已經對這個庫存資料進行修改了,導致,我們查詢到的資料會有問題,下面我們就來看解決方法。

在MySQL的InnoDB中,預設的Tansaction isolation level 為REPEATABLE READ(可重讀)

如果SELECT 後面若要UPDATE 同一個表單,最好使用SELECT ... UPDATE。

舉個例子:

假設商品表單products 內有一個存放商品數量的quantity ,在訂單成立之前必須先確定quantity 商品數量是否足夠(quantity>0) ,然後才把數量更新為1。程式碼如下:

SELECT quantity FROM products WHERE id=3; UPDATE products SET quantity = 1 WHERE id=3;

為什麼不安全呢?

少量的狀況下或許不會有問題,但是大量的資料存取「鐵定」會出問題。如果我們需要在quantity>0 的情況下才能扣庫存,假設程式在第一行SELECT 讀到的quantity 是2 ,看起來數字沒有錯,但是當MySQL 正準備要UPDATE 的時候,可能已經有人把庫存扣成0 了,但是程式卻渾然不知,將錯就錯的UPDATE 下去了。因此必須透過的事務機制來確保讀取及提交的資料都是正確的。

於是我們在MySQL 就可以這樣測試,程式碼如下:

SET AUTOCOMMIT=0; BEGIN WORK; SELECT quantity FROM products WHERE id=3 FOR UPDATE;

此時products 資料中id=3 的資料被鎖住(注3),其它事務必須等待此次事務 提交後才能執行

SELECT * FROM products WHERE id=3 FOR UPDATE 

如此可以確保quantity 在別的事務讀到的數字是正確的。

UPDATE products SET quantity = '1' WHERE id=3 ; COMMIT WORK;

提交(Commit)寫入資料庫,products 解鎖。

注1: BEGIN/COMMIT 為事務的起始及結束點,可使用二個以上的MySQL Command 視窗來互動觀察鎖定的狀況。

注2: 在事務進行當中,只有SELECT ... FOR UPDATE 或LOCK IN SHARE MODE 同一筆資料時會等待其它事務結束後才執行,一般SELECT ... 則不受此影響。

注3: 由於InnoDB 預設為Row-level Lock,資料列的鎖定可參考這篇。

注4: InnoDB 表單儘量不要使用LOCK TABLES 指令,若情非得已要使用,請先看官方對於InnoDB 使用LOCK TABLES 的說明,以免造成系統經常發生死鎖。

更高階用法

如果我們需要先查詢,後更新資料的話,最好可以這樣使用語句:

UPDATE products SET quantity = '1' WHERE id=3 AND quantity > 0;

這樣,可以不用新增事物就可處理。

mysql處理高併發,防止庫存超賣

看到了一篇非常好的文章,特轉此學習。

今天王總又給我們上了一課,其實mysql處理高併發,防止庫存超賣的問題,在去年的時候,王總已經提過;但是很可惜,即使當時大家都聽懂了,但是在現實開發中,還是沒這方面的意識。今天就我的一些理解,整理一下這個問題,並希望以後這樣的課程能多點。

先來就庫存超賣的問題作描述:一般電子商務網站都會遇到如團購、秒殺、特價之類的活動,而這樣的活動有一個共同的特點就是訪問量激增、上千甚至上萬人搶購一個商品。然而,作為活動商品,庫存肯定是很有限的,如何控制庫存不讓出現超買,以防止造成不必要的損失是眾多電子商務網站程式設計師頭疼的問題,這同時也是最基本的問題。

從技術方面剖析,很多人肯定會想到事務,但是事務是控制庫存超賣的必要條件,但不是充分必要條件。

舉例:

總庫存:4個商品

請求人:a、1個商品 b、2個商品 c、3個商品

程式如下:

beginTranse(開啟事務)
try{
 $result = $dbca->query('select amount from s_store where postID = 12345');
 if(result->amount > 0){
  //quantity為請求減掉的庫存數量
  $dbca->query('update s_store set amount = amount - quantity where postID = 12345');
 }
}catch($e Exception){
 rollBack(回滾)
}
commit(提交事務)

以上程式碼就是我們平時控制庫存寫的程式碼了,大多數人都會這麼寫,看似問題不大,其實隱藏著巨大的漏洞。資料庫的訪問其實就是對磁碟檔案的訪問,資料庫中的表其實就是儲存在磁碟上的一個個檔案,甚至一個檔案包含了多張表。例如由於高併發,當前有三個使用者a、b、c三個使用者進入到了這個事務中,這個時候會產生一個共享鎖,所以在select的時候,這三個使用者查到的庫存數量都是4個,同時還要注意,mysql innodb查到的結果是有版本控制的,再其他使用者更新沒有commit之前(也就是沒有產生新版本之前),當前使用者查到的結果依然是就版本;

然後是update,假如這三個使用者同時到達update這裡,這個時候update更新語句會把併發序列化,也就是給同時到達這裡的是三個使用者排個序,一個一個執行,並生成排他鎖,在當前這個update語句commit之前,其他使用者等待執行,commit後,生成新的版本;這樣執行完後,庫存肯定為負數了。但是根據以上描述,我們修改一下程式碼就不會出現超買現象了,程式碼如下:

beginTranse(開啟事務)
try{
 //quantity為請求減掉的庫存數量
 $dbca->query('update s_store set amount = amount - quantity where postID = 12345');
 $result = $dbca->query('select amount from s_store where postID = 12345');
 if(result->amount < 0){
  throw new Exception('庫存不足');
 }
}catch($e Exception){
 rollBack(回滾)
}
commit(提交事務)

另外,更簡潔的方法:

beginTranse(開啟事務)
try{
 //quantity為請求減掉的庫存數量
 $dbca->query('update s_store set amount = amount - quantity where amount>=quantity and postID = 12345');
}catch($e Exception){
 rollBack(回滾)
}
commit(提交事務)

1、在秒殺的情況下,肯定不能如此高頻率的去讀寫資料庫,會嚴重造成效能問題的。

必須使用快取,將需要秒殺的商品放入快取中,並使用鎖來處理其併發情況。當接到使用者秒殺提交訂單的情況下,先將商品數量遞減(加鎖/解鎖)後再進行其他方面的處理,處理失敗在將資料遞增1(加鎖/解鎖),否則表示交易成功。
當商品數量遞減到0時,表示商品秒殺完畢,拒絕其他使用者的請求。

2、這個肯定不能直接操作資料庫的,會掛的。直接讀庫寫庫對資料庫壓力太大,要用快取。

把你要賣出的商品比如10個商品放到快取中;然後在memcache裡設定一個計數器來記錄請求數,這個請求書你可以以你要秒殺賣出的商品數為基數,比如你想賣出10個商品,只允許100個請求進來。那當計數器達到100的時候,後面進來的就顯示秒殺結束,這樣可以減輕你的伺服器的壓力。然後根據這100個請求,先付款的先得後付款的提示商品以秒殺完。

3、首先,多使用者併發修改同一條記錄時,肯定是後提交的使用者將覆蓋掉前者提交的結果了。

這個直接可以使用加鎖機制去解決,樂觀鎖或者悲觀鎖。

樂觀鎖:,就是在資料庫設計一個版本號的欄位,每次修改都使其+1,這樣在提交時比對提交前的版本號就知道是不是併發提交了,但是有個缺點就是隻能是應用中控制,如果有跨應用修改同一條資料樂觀鎖就沒辦法了,這個時候可以考慮悲觀鎖。

悲觀鎖:,就是直接在資料庫層面將資料鎖死,類似於oralce中使用select xxxxx from xxxx where xx=xx for update,這樣其他執行緒將無法提交資料。

除了加鎖的方式也可以使用接收鎖定的方式,思路是在資料庫中設計一個狀態標識位,使用者在對資料進行修改前,將狀態標識位標識為正在編輯的狀態,這樣其他使用者要編輯此條記錄時系統將發現有其他使用者正在編輯,則拒絕其編輯的請求,類似於你在作業系統中某檔案正在執行,然後你要修改該檔案時,系統會提醒你該檔案不可編輯或刪除。

4、不建議在資料庫層面加鎖,建議通過服務端的記憶體鎖(鎖主鍵)。當某個使用者要修改某個id的資料時,把要修改的id存入memcache,若其他使用者觸發修改此id的資料時,讀到memcache有這個id的值時,就阻止那個使用者修改。

5、實際應用中,並不是讓mysql去直面大併發讀寫,會藉助“外力”,比如快取、利用主從庫實現讀寫分離、分表、使用佇列寫入等方法來降低併發讀寫。

悲觀鎖和樂觀鎖

首先,多使用者併發修改同一條記錄時,肯定是後提交的使用者將覆蓋掉前者提交的結果了。這個直接可以使用加鎖機制去解決,樂觀鎖或者悲觀鎖。

悲觀鎖(Pessimistic Lock),顧名思義,就是很悲觀,每次去拿資料的時候都認為別人會修改,所以每次在拿資料的時候都會上鎖,這樣別人想拿這個資料就會block直到它拿到鎖。傳統的關係型資料庫裡邊就用到了很多這種鎖機制,比如行鎖,表鎖等,讀鎖,寫鎖等,都是在做操作之前先上鎖。

樂觀鎖(Optimistic Lock),顧名思義,就是很樂觀,每次去拿資料的時候都認為別人不會修改,所以不會上鎖,但是在更新的時候會判斷一下在此期間別人有沒有去更新這個資料,可以使用版本號等機制。樂觀鎖適用於多讀的應用型別,這樣可以提高吞吐量,像資料庫如果提供類似於write_condition機制的其實都是提供的樂觀鎖。

兩種鎖各有優缺點,不能單純的定義哪個好於哪個。樂觀鎖比較適合資料修改比較少,讀取比較頻繁的場景,即使出現了少量的衝突,這樣也省去了大量的鎖的開銷,故而提高了系統的吞吐量。但是如果經常發生衝突(寫資料比較多的情況下),上層應用不不斷的retry,這樣反而降低了效能,對於這種情況使用悲觀鎖就更合適。

實戰

對這個表的 amount 進行修改,開兩個命令列視窗

第一個視窗A;

SET AUTOCOMMIT=0; BEGIN WORK; SELECT * FROM order_tbl WHERE order_id='124' FOR UPDATE;

第二個視窗B:

# 更新訂單ID 124 的庫存數量
UPDATE `order_tbl` SET amount = 1 WHERE order_id = 124;

我們可以看到視窗A加了事物,鎖住了這條資料,視窗B執行時會出現這樣的問題:

第一個視窗完整的提交事物:

SET AUTOCOMMIT=0; BEGIN WORK; SELECT * FROM order_tbl WHERE order_id='124' FOR UPDATE;
UPDATE `order_tbl` SET amount = 10 WHERE order_id = 124;
COMMIT WORK;

mysql處理高併發,防止庫存超賣,以上就是本篇文章的全部內容,如果大家還有不明白的可以在下方留言討論。