1. 程式人生 > 資料庫 >一條sql語句完成MySQL去重留一

一條sql語句完成MySQL去重留一

前幾天在做一個需求的時候,需要清理mysql中重複的記錄,當時的想法是通過程式碼遍歷寫出來,然後覺得太複雜,心裡想著應該可以通過一個sql語句來解決問題的。查了資料,請教了大佬之後得出了一個很便利的sql語句,這裡分享下這段sql語句和思路。

需求分析

資料庫中存在重複記錄,刪除保留其中一條(是否重複判斷基準為多個欄位)

解決方案

碰到這個需求的時候,心裡大概是有思路的。最快想到的是可以通過一條sql語句來解決,無奈自己對於複雜sql語句的道行太淺,所以想找大佬幫忙。

找人幫忙

因為這個需求有點著急,所以最開始想到的是,可以找這方面的同行來解決,然後分享這個問題給同事,結果這貨隨便百度了一下,就甩給我一個從未用過的sql語句,讓我自己嘗試,心裡萬匹那啥啥啥奔騰而過...

自己百度

找到了一條sql語句:

DELETE
FROM
 vitae a
WHERE
 (a.peopleId,a.seq) IN (
  SELECT
   peopleId,seq
  FROM
   vitae
  GROUP BY
   peopleId,seq
  HAVING
   count(*) > 1
 )
AND rowid NOT IN (
 SELECT
  min(rowid)
 FROM
  vitae
 GROUP BY
  peopleId,seq
 HAVING
  count(*) > 1
)

這條語句是在 【MySQL中刪除重複資料只保留一條】 這篇文章裡找到的。這條sql思路很明顯,有以下3步:

SELECT peopleId,seq FROM vitae GROUP BY peopleId,seq HAVING count(*) > 1 查詢出表中重複記錄作為條件

SELECT min(rowid) FROM vitae GROUP BY peopleId,seq HAVING count(*) > 1 查詢出表中重複記錄中ID最小的值為第二個條件

最後根據以上兩個條件,刪除 重複記錄中最小ID的其餘重複記錄

但是很無奈的是,執行這條語句出現了錯誤,大致報錯意思是,不能在查詢的時候同時更新這個表。

程式碼解決

根據上面這個sql語句想到或許可以通過程式碼的方式,兩步來達到同樣的目的:

先取出重複的資料集

根據查詢到的資料集,迴圈刪除其餘的重複資料

想法是有了,寫出來也很快,但是一執行嚇我一跳,竟然需要 116s 左右,然後自己就想一定要找到可以使用的sql語句,貼一下程式碼和執行結果:

完美的【去重留一】SQL

最後在一個技術群裡得到了完美的答案,看這條sql語句:

DELETE consum_record
FROM
 consum_record,(
  SELECT
   min(id) id,user_id,monetary,consume_time
  FROM
   consum_record
  GROUP BY
   user_id,consume_time
  HAVING
   count(*) > 1
 ) t2
WHERE
 consum_record.user_id = t2.user_id 
 and consum_record.monetary = t2.monetary
 and consum_record.consume_time = t2.consume_time
AND consum_record.id > t2.id;

上面這條sql語句,仔細看一下,揣摩出思路也不難,大概也分為3步來理解:

(SELECT min(id) id,consume_time FROM consum_record GROUP BY user_id,consume_time HAVING count(*) > 1 ) t2 查詢出重複記錄形成一個集合(臨時表t2),集合裡是每種重複記錄的最小ID

consum_record.user_id = t2.user_id and consum_record.monetary = t2.monetary and consum_record.consume_time = t2.consume_time 關聯 判斷重複基準的欄位

根據條件,刪除原表中id大於t2中id的記錄

看到這個語句的時候,心裡想這也太厲害了。這麼一個簡單的sql語句,竟然可以解決這麼複雜的問題,漲姿勢了~

執行起來也超級快,原先的程式碼迴圈執行,需要 116s 左右,而這裡 0.3s 就可以了,厲害了~

總結

作為一個php程式猿,按理來說sql這裡是不能拖後腿的,無奈實際中,需要忙碌的事情太多,現在的sql水平也只是處於在一個普通的層次中,以後找機會一定要補一下這方面的知識。

今天就分享到這裡啦。