2. 程式人生 > 實用技巧 >URL 去重的 6 種方案！(附詳細實現程式碼)

URL 去重的 6 種方案！(附詳細實現程式碼)

阿新 • • 發佈：2020-09-10

URL 去重在我們日常工作中和麵試中很常遇到，比如這些：

可以看出，包括阿里，網易雲、優酷、作業幫等知名網際網路公司都出現過類似的面試題，而且和 URL 去重比較類似的，如 IP 黑/白名單判斷等也經常出現在我們的工作中，所以我們本文就來“盤一盤”URL 去重的問題。

URL 去重思路

在不考慮業務場景和資料量的情況下，我們可以使用以下方案來實現 URL 的重複判斷：

  1. 使用 Java 的 Set 集合，根據新增時的結果來判斷 URL 是否重複（新增成功表示 URL 不重複）；
  2. 使用 Redis 中的 Set 集合，根據新增時的結果來判斷 URL 是否重複；
  3. 將 URL 都儲存在資料庫中，再通過 SQL 語句判斷是否有重複的 URL；
  4. 把資料庫中的 URL 一列設定為唯一索引，根據新增時的結果來判斷 URL 是否重複；
  5. 使用 Guava 的布隆過濾器來實現 URL 判重；
  6. 使用 Redis 的布隆過濾器來實現 URL 判重。

以上方案的具體實現如下。

URL 去重實現方案

1.使用 Java 的 Set 集合判重

Set 集合天生具備不可重複性，使用它只能儲存值不相同的元素，如果值相同新增就會失敗，因此我們可以通過新增 Set 集合時的結果來判定 URL 是否重複，實現程式碼如下：

public class URLRepeat {
    // 待去重 URL
    public static final String[] URLS = {
            "www.apigo.cn",
            "www.baidu.com",
            "www.apigo.cn"
    };
    public static void main(String[] args) {
        Set<String> set = new HashSet();
        for (int i = 0; i < URLS.length; i++) {
            String url = URLS[i];
            boolean result = set.add(url);
            if (!result) {
                // 重複的 URL
                System.out.println("URL 已存在了：" + url);
            }
        }
    }
}

程式的執行結果為：

URL 已存在了：www.apigo.cn

從上述結果可以看出，使用 Set 集合可以實現 URL 的判重功能。

2.Redis Set 集合去重

使用 Redis 的 Set 集合的實現思路和 Java 中的 Set 集合思想思路是一致的，都是利用 Set 的不可重複性實現的，我們先使用 Redis 的客戶端 redis-cli 來實現一下 URL 判重的示例：

從上述結果可以看出，當新增成功時表示 URL 沒有重複，但新增失敗時（結果為 0）表示此 URL 已經存在了。

我們再用程式碼的方式來實現一下 Redis 的 Set 去重，實現程式碼如下：

// 待去重 URL
public static final String[] URLS = {
    "www.apigo.cn",
    "www.baidu.com",
    "www.apigo.cn"
};

@Autowired
RedisTemplate redisTemplate;

@RequestMapping("/url")
public void urlRepeat() {
    for (int i = 0; i < URLS.length; i++) {
        String url = URLS[i];
        Long result = redisTemplate.opsForSet().add("urlrepeat", url);
        if (result == 0) {
            // 重複的 URL
            System.out.println("URL 已存在了：" + url);
        }
    }
}

以上程式的執行結果為：

URL 已存在了：www.apigo.cn

以上程式碼中我們藉助了 Spring Data 中的 RedisTemplate 實現的，在 Spring Boot 專案中要使用 RedisTemplate 物件我們需要先引入 spring-boot-starter-data-redis 框架，配置資訊如下：

<!-- 新增操作 RedisTemplate 引用 -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

然後需要再專案中配置 Redis 的連線資訊，在 application.properties 中配置如下內容：

spring.redis.host=127.0.0.1
spring.redis.port=6379
#spring.redis.password=123456 # Redis 伺服器密碼，有密碼的話需要配置此項

經過以上兩個步驟之後，我們就可以在 Spring Boot 的專案中正常的使用 RedisTemplate 物件來操作 Redis 了。

3.資料庫去重

我們也可以藉助資料庫實現 URL 的重複判斷，首先我們先來設計一張 URL 的儲存表，如下圖所示：

此表對應的 SQL 如下：

/*==============================================================*/
/* Table: urlinfo                                               */
/*==============================================================*/
create table urlinfo
(
   id                   int not null auto_increment,
   url                  varchar(1000),
   ctime                date,
   del                  boolean,
   primary key (id)
);

/*==============================================================*/
/* Index: Index_url                                             */
/*==============================================================*/
create index Index_url on urlinfo
(
   url
);

其中 id 為自增的主鍵，而 url  欄位設定為索引，設定索引可以加快查詢的速度。

我們先在資料庫中新增兩條測試資料，如下圖所示：

我們使用 SQL 語句查詢，如下圖所示：

如果結果大於 0 則表明已經有重複的 URL 了，否則表示沒有重複的 URL。

4.唯一索引去重

我們也可以使用資料庫的唯一索引來防止 URL 重複，它的實現思路和前面 Set 集合的思想思路非常像。

首先我們先為欄位 URL 設定了唯一索引，然後再新增 URL 資料，如果能新增成功則表明 URL 不重複，反之則表示重複。

建立唯一索引的 SQL 實現如下：

create unique index Index_url on urlinfo
(
   url
);

5.Guava 布隆過濾器去重

布隆過濾器（Bloom Filter）是1970年由布隆提出的。它實際上是一個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索一個元素是否在一個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法，缺點是有一定的誤識別率和刪除困難。

布隆過濾器的核心實現是一個超大的位陣列和幾個雜湊函式，假設位陣列的長度為 m，雜湊函式的個數為 k。

以上圖為例，具體的操作流程：假設集合裡面有 3 個元素 {x, y, z}，雜湊函式的個數為 3。首先將位陣列進行初始化，將裡面每個位都設定位 0。對於集合裡面的每一個元素，將元素依次通過 3 個雜湊函式進行對映，每次對映都會產生一個雜湊值，這個值對應位陣列上面的一個點，然後將位陣列對應的位置標記為 1，查詢 W 元素是否存在集合中的時候，同樣的方法將 W 通過雜湊對映到位陣列上的 3 個點。如果 3 個點的其中有一個點不為 1，則可以判斷該元素一定不存在集合中。反之，如果 3 個點都為 1，則該元素可能存在集合中。注意：此處不能判斷該元素是否一定存在集合中，可能存在一定的誤判率。可以從圖中可以看到：假設某個元素通過對映對應下標為 4、5、6 這 3 個點。雖然這 3 個點都為 1，但是很明顯這 3 個點是不同元素經過雜湊得到的位置，因此這種情況說明元素雖然不在集合中，也可能對應的都是 1，這是誤判率存在的原因。

我們可以藉助 Google 提供的 Guava 框架來操作布隆過濾器，實現我們先在 pom.xml 中新增 Guava 的引用，配置如下：

<!-- 新增 Guava 框架 -->
<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>28.2-jre</version>
</dependency>

URL 判重的實現程式碼：

public class URLRepeat {
    // 待去重 URL
    public static final String[] URLS = {
            "www.apigo.cn",
            "www.baidu.com",
            "www.apigo.cn"
    };

    public static void main(String[] args) {
        // 建立一個布隆過濾器
        BloomFilter<String> filter = BloomFilter.create(
                Funnels.stringFunnel(Charset.defaultCharset()),
                10, // 期望處理的元素數量
                0.01); // 期望的誤報概率
        for (int i = 0; i < URLS.length; i++) {
            String url = URLS[i];
            if (filter.mightContain(url)) {
                // 用重複的 URL
                System.out.println("URL 已存在了：" + url);
            } else {
                // 將 URL 儲存在布隆過濾器中
                filter.put(url);
            }
        }
    }
}

以上程式的執行結果為：

URL 已存在了：www.apigo.cn

6.Redis 布隆過濾器去重

除了 Guava 的布隆過濾器，我們還可以使用 Redis 的布隆過濾器來實現 URL 判重。在使用之前，我們先要確保 Redis 伺服器版本大於 4.0（此版本以上才支援布隆過濾器），並且開啟了 Redis 布隆過濾器功能才能正常使用。

以 Docker 為例，我們來演示一下 Redis 布隆過濾器安裝和開啟，首先下載 Redis 的布隆過器，然後再在重啟 Redis 服務時開啟布隆過濾器，如下圖所示：

布隆過濾器使用
布隆過濾器正常開啟之後，我們先用 Redis 的客戶端 redis-cli 來實現一下布隆過濾器 URL 判重了，實現命令如下：

在 Redis 中，布隆過濾器的操作命令不多，主要包含以下幾個：

  • bf.add 新增元素；
  • bf.exists 判斷某個元素是否存在；
  • bf.madd 新增多個元素；
  • bf.mexists 判斷多個元素是否存在；
  • bf.reserve 設定布隆過濾器的準確率。

接下來我們使用程式碼來演示一下 Redis 布隆過濾器的使用：

import redis.clients.jedis.Jedis;
import utils.JedisUtils;

import java.util.Arrays;

public class BloomExample {
    // 布隆過濾器 key
    private static final String _KEY = "URLREPEAT_KEY";
    
    // 待去重 URL
    public static final String[] URLS = {
            "www.apigo.cn",
            "www.baidu.com",
            "www.apigo.cn"
    };

    public static void main(String[] args) {
        Jedis jedis = JedisUtils.getJedis();
         for (int i = 0; i < URLS.length; i++) {
            String url = URLS[i];
            boolean exists = bfExists(jedis, _KEY, url);
            if (exists) {
                // 重複的 URL
                System.out.println("URL 已存在了：" + url);
            } else {
                bfAdd(jedis, _KEY, url);
            }
        }
    }

    /**
     * 新增元素
     * @param jedis Redis 客戶端
     * @param key   key
     * @param value value
     * @return boolean
     */
    public static boolean bfAdd(Jedis jedis, String key, String value) {
        String luaStr = "return redis.call('bf.add', KEYS[1], KEYS[2])";
        Object result = jedis.eval(luaStr, Arrays.asList(key, value),
                Arrays.asList());
        if (result.equals(1L)) {
            return true;
        }
        return false;
    }

    /**
     * 查詢元素是否存在
     * @param jedis Redis 客戶端
     * @param key   key
     * @param value value
     * @return boolean
     */
    public static boolean bfExists(Jedis jedis, String key, String value) {
        String luaStr = "return redis.call('bf.exists', KEYS[1], KEYS[2])";
        Object result = jedis.eval(luaStr, Arrays.asList(key, value),
                Arrays.asList());
        if (result.equals(1L)) {
            return true;
        }
        return false;
    }
}

以上程式的執行結果為：

URL 已存在了：www.apigo.cn

總結

本文介紹了 6 種 URL 去重的方案，其中 Redis Set、Redis 布隆過濾器、資料庫和唯一索引這 4 種解決方案適用於分散式系統，如果是海量的分散式系統，建議使用 Redis 布隆過濾器來實現 URL 去重，如果是單機海量資料推薦使用 Guava 的布隆器來實現 URL 去重。

相關推薦

URL 去重的 6 種方案！(附詳細實現程式碼)

URL 去重在我們日常工作中和麵試中很常遇到，比如這些： 可以看出，包括阿里，網易雲、優酷、作業幫等知名網際網路公司都出現過類似的面試題，而且和 URL 去重比較類似的，如 IP 黑/白名單判斷等也經常出現在我們的

簡述Java List去重五種方法

前言 去重，對於很多場合必不可少。寫此篇文章是因為在之前做某個畫面中，我在資料庫中進行 Distinct 和 Order By 去重，發現影響效率，故此在後臺先做去重處理；所以記錄此文，已做參考：

【github】 加速國內 Github 訪問，下載，的9種方案！

原文參考https://mp.weixin.qq.com/s/ptFBjWXj88fsI3Oh6PghRA 1. GitHub 映象訪問 這裡提供兩個最常用的映象地址：

資料庫快取一致性的四種方案！

背景 快取是軟體開發中一個非常有用的概念，資料庫快取更是在專案中必然會遇到的場景。而快取一致性的保證，更是在面試中被反覆問到，這裡進行一下總結，針對不同的要求，選擇恰到好處的一致性方案。

js陣列去重3種方法與效能對比

第1種： let arr = [2,3,2,5,3,2,2,1]; for(leti=0;i<arr.length;){ if(arr.indexOf(arr[i])!=arr.lastIndexOf(arr[i])){

陣列去重10種方法

Methods 1: 思路：定義一個新陣列，並存放原陣列的第一個元素，然後將元素組一一和新陣列的元素對比，若不同則存放在新陣列中。

List 資料去重 五種方法

技術標籤：JavaList去重 目錄 方案一 : 藉助Set的特性進行去重 方案二 : 利用set集合特性保持順序一致去重

Spring Boot 解決跨域問題的 3 種方案！

前後端分離大勢所趨，跨域問題更是老生常談，隨便用標題去google或百度一下，能搜出一大片解決方案，那麼為啥又要寫一遍呢，不急往下看。

JS實現單例模式的6種方案彙總

前言 今天在複習設計模式中的-建立型模式，發現js實現單例模式的方案有很多種，稍加總結了一下，列出瞭如下的6種方式與大家分享

一口氣說出Java 6種延時佇列的實現方法(面試官也得服)

五一期間原計劃是寫兩篇文章，看一本技術類書籍，結果這五天由於自律性過於差，禁不住各種誘惑，我連電腦都沒開啟過，計劃完美宣告失敗。所以在這能看出和大佬之間的差距，人家沒白沒夜的更文，比你優秀的人比你更努

用於Transformer的6種注意力的數學原理和程式碼實現

Transformer 的出色表現讓注意力機制出現在深度學習的各處。本文整理了深度學習中最常用的6種注意力機制的數學原理和程式碼實現。

增量採集中的幾種去重方案

引言 資料採集工作中，難免會遇到增量採集。而在增量採集中，如何去重是一個大問題，因為實際的需要採集的資料也許並不多，但往往要在判斷是否已經採集過這件事上花點時間。比如對於資訊採集，如果釋出網站每天只更新

2020-12-07 JavaScript知識點總結1：基本資料型別與引用資料型別,陣列方法,字串方法,陣列去重,獲取元素的6種方式,JSON 轉換,定時器,判斷資料型別,操作元素屬性,清除浮動

技術標籤：JavaScript學習總結字串jsjson前端 一．基本資料型別與引用資料型別 1.number:數字 2.string:字串 3.boolean:布林 4.undefined:未定義 5. null:空對像 6.object:物件 [ ]陣列，{ }

訊息冪等（去重）通用解決方案，寫得真好！

作者：Jaskey Lam 來源：https://jaskey.github.io/blog/2020/06/08/rocketmq-message-dedup/ 訊息中介軟體是分散式系統常用的元件，無論是非同步化、解耦、削峰等都有廣泛的應用價值。我們通常會認為，訊息中介軟體

List 去重的 6 種方法

其中去重之後的順序能和原集合保持一致的實現方法，只有兩種：LinkedHashSet 去重和 Stream 去重，而後一種去重方法無需藉助新集合，是我們優先考慮的去重方法。

人人都能看懂的 6 種限流實現方案(純乾貨)

為了上班方便，去年我把自己在北郊的房子租出去了，搬到了南郊，這樣離我上班的地方就近了，它為我節約了很多的時間成本，我可以用它來做很多有意義的事，最起碼不會因為堵車而鬧心了，幸福感直線上升。

JavaScript中陣列去重的5種方法

正常情況下，資料去重的工作一般都是由後端同事來完成的，但是前端也要掌握好處理資料的能力，萬一去重的工作交給我們大前端處理，我們也不能慫呀。現在我總結了一些去重的方法，希望對大家有點幫助。

人人都能看懂的 6 種限流實現方案

　　為了上班方便，去年我把自己在北郊的房子租出去了，搬到了南郊，這樣離我上班的地方就近了，它為我節約了很多的時間成本，我可以用它來做很多有意義的事，最起碼不會因為堵車而鬧心了，幸福感直線上升。

防止資料重複提交的6種方法(超簡單)！

有位朋友，某天突然問磊哥：在 Java 中，防止重複提交最簡單的方案是什麼？

List 集合去重的 3 種方

問題由來 在實際開發的時候，我們經常會碰到這麼一個困難：一個集合容器裡面有很多重複的物件，裡面的物件沒有主鍵，但是根據業務的需求，實際上我們需要根據條件篩選出沒有重複的物件。