【Nginx】實現負載均衡、限流、快取、黑白名單和灰度釋出，這是最全的一篇了！

阿新 • • 發佈：2020-07-12

寫在前面

在《【高併發】面試官問我如何使用Nginx實現限流，我如此回答輕鬆拿到了Offer！》一文中，我們主要介紹瞭如何使用Nginx進行限流，以避免系統被大流量壓垮。除此之外，Nginx還有很多強大的功能，例如：負載均衡、快取、黑白名單、灰度釋出等。今天，我們就來一起探討Nginx支援的這些強大的功能！

Nginx安裝

注意：這裡以CentOS 6.8伺服器為例，以root使用者身份來安裝Nginx。

1.安裝依賴環境

yum -y install wget gcc-c++ ncurses ncurses-devel cmake make perl bison openssl openssl-devel gcc* libxml2 libxml2-devel curl-devel libjpeg* libpng* freetype* autoconf automake zlib* fiex* libxml* libmcrypt* libtool-ltdl-devel* libaio libaio-devel  bzr libtool

2.安裝openssl

wget https://www.openssl.org/source/openssl-1.0.2s.tar.gz

tar -zxvf openssl-1.0.2s.tar.gz

cd /usr/local/src/openssl-1.0.2s

./config --prefix=/usr/local/openssl-1.0.2s

make

make install

3.安裝pcre

wget https://ftp.pcre.org/pub/pcre/pcre-8.43.tar.gz

tar -zxvf pcre-8.43.tar.gz

cd /usr/local/src/pcre-8.43

./configure --prefix=/usr/local/pcre-8.43
 

make

make install

4.安裝zlib

wget https://sourceforge.net/projects/libpng/files/zlib/1.2.11/zlib-1.2.11.tar.gz

tar -zxvf zlib-1.2.11.tar.gz

cd /usr/local/src/zlib-1.2.11

./configure --prefix=/usr/local/zlib-1.2.11

make

make

5.安裝Nginx

wget http://nginx.org/download/nginx-1.17.2.tar.gz

tar -zxvf nginx-1.17.2.tar.gz

cd /usr/local/src/nginx-1.17.2
 

./configure --prefix=/usr/local/nginx-1.17.2 --with-openssl=/usr/local/src/openssl-1.0.2s --with-pcre=/usr/local/src/pcre-8.43 --with-zlib=/usr/local/src/zlib-1.2.11 --with-http_ssl_module

make

make install

這裡需要注意的是：安裝Nginx時，指定的是openssl、pcre和zlib的原始碼解壓目錄，安裝完成後Nginx配置檔案的完整路徑為：/usr/local/nginx-1.17.2/conf/nginx.conf。

Nginx負載均衡配置

1.負載均衡配置

http {

       ……

    upstream real_server {

       server 192.168.103.100:2001 weight=1;  #輪詢伺服器和訪問權重

       server 192.168.103.100:2002 weight=2;

    }

    server {

        listen  80;

        location / {

            proxy_pass http://real_server;

        }

    }

}

2.失敗重試配置

upstream real_server {

   server 192.168.103.100:2001 weight=1 max_fails=2 fail_timeout=60s;

   server 192.168.103.100:2002 weight=2 max_fails=2 fail_timeout=60s;

}

意思是在fail_timeout時間內失敗了max_fails次請求後，則認為該上游伺服器不可用，然後將該服務地址踢除掉。fail_timeout時間後會再次將該伺服器加入存活列表，進行重試。

三、Nginx限流配置

1.配置引數

limit_req_zone指令設定引數

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;

limit_req_zone定義在http塊中，$binary_remote_addr表示儲存客戶端IP地址的二進位制形式。
Zone定義IP狀態及URL訪問頻率的共享記憶體區域。zone=keyword標識區域的名字，以及冒號後面跟區域大小。16000個IP地址的狀態資訊約1MB，所以示例中區域可以儲存160000個IP地址。
Rate定義最大請求速率。示例中速率不能超過每秒10個請求。

2.設定限流

location / {

        limit_req zone=mylimit burst=20 nodelay;

        proxy_pass http://real_server;

}

burst排隊大小，nodelay不限制單個請求間的時間。

3.不限流白名單

geo $limit {

default              1;

192.168.2.0/24  0;

}

map $limit $limit_key {

1 $binary_remote_addr;

0 "";

}

limit_req_zone $limit_key zone=mylimit:10m rate=1r/s;

location / {

        limit_req zone=mylimit burst=1 nodelay;

        proxy_pass http://real_server;

}

上述配置中，192.168.2.0/24網段的IP訪問是不限流的，其他限流。

IP後面的數字含義：

24表示子網掩碼:255.255.255.0
16表示子網掩碼:255.255.0.0
8表示子網掩碼:255.0.0.0

Nginx快取配置

1.瀏覽器快取

靜態資源快取用expire

location ~*  .(jpg|jpeg|png|gif|ico|css|js)$ {

   expires 2d;

}

Response Header中添加了Expires和Cache-Control,

靜態資源包括（一般快取）

普通不變的影象，如logo，圖示等
js、css靜態檔案
可下載的內容，媒體檔案

協商快取（add_header ETag/Last-Modified value）

HTML檔案
經常替換的圖片
經常修改的js、css檔案
基本不變的API介面

不需要快取

使用者隱私等敏感資料
經常改變的api資料介面

2.代理層快取

//快取路徑，inactive表示快取的時間，到期之後將會把快取清理

proxy_cache_path /data/cache/nginx/ levels=1:2 keys_zone=cache:512m inactive = 1d max_size=8g;

location / {

    location ~ \.(htm|html)?$ {

        proxy_cache cache;

        proxy_cache_key    $uri$is_args$args;     //以此變數值做HASH，作為KEY

        //HTTP響應首部可以看到X-Cache欄位，內容可以有HIT,MISS,EXPIRES等等

        add_header X-Cache $upstream_cache_status;

        proxy_cache_valid 200 10m;

        proxy_cache_valid any 1m;

        proxy_pass  http://real_server;

        proxy_redirect     off;

    }

    location ~ .*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {

        root /data/webapps/edc;

        expires      3d;

        add_header Static Nginx-Proxy;

    }

}

在本地磁碟建立一個檔案目錄，根據設定，將請求的資源以K-V形式快取在此目錄當中，KEY需要自己定義（這裡用的是url的hash值），同時可以根據需要指定某內容的快取時長，比如狀態碼為200快取10分鐘，狀態碼為301，302的快取5分鐘，其他所有內容快取1分鐘等等。

可以通過purger的功能清理快取。

AB測試/個性化需求時應禁用掉瀏覽器快取。

Nginx黑名單

1.一般配置

location / {

    deny  192.168.1.1;

    deny 192.168.1.0/24;

    allow 10.1.1.0/16;

    allow 2001:0db8::/32;

    deny  all;

}

2. Lua+Redis動態黑名單(OpenResty)

安裝執行

yum install yum-utils

yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo

yum install openresty

yum install openresty-resty

檢視

yum --disablerepo="*" --enablerepo="openresty" list available

執行

service openresty start

配置(/usr/local/openresty/nginx/conf/nginx.conf)

lua_shared_dict ip_blacklist 1m;

server {

    listen  80;

    location / {

        access_by_lua_file lua/ip_blacklist.lua;

        proxy_pass http://real_server;

    }

}

lua指令碼（ip_blacklist.lua）

local redis_host    = "192.168.1.132"

local redis_port    = 6379

local redis_pwd     = 123456

local redis_db = 2

-- connection timeout for redis in ms.

local redis_connection_timeout = 100

-- a set key for blacklist entries

local redis_key     = "ip_blacklist"

-- cache lookups for this many seconds

local cache_ttl     = 60

-- end configuration

local ip                = ngx.var.remote_addr

local ip_blacklist      = ngx.shared.ip_blacklist

local last_update_time  = ip_blacklist:get("last_update_time");

-- update ip_blacklist from Redis every cache_ttl seconds:

if last_update_time == nil or last_update_time < ( ngx.now() - cache_ttl ) then

  local redis = require "resty.redis";

  local red = redis:new();

  red:set_timeout(redis_connect_timeout);

  local ok, err = red:connect(redis_host, redis_port);

  if not ok then

    ngx.log(ngx.ERR, "Redis connection error while connect: " .. err);

  else

    local ok, err = red:auth(redis_pwd)

    if not ok then

      ngx.log(ngx.ERR, "Redis password error while auth: " .. err);

    else

        local new_ip_blacklist, err = red:smembers(redis_key);

        if err then

            ngx.log(ngx.ERR, "Redis read error while retrieving ip_blacklist: " .. err);

        else

        ngx.log(ngx.ERR, "Get data success:" .. new_ip_blacklist)

          -- replace the locally stored ip_blacklist with the updated values:

            ip_blacklist:flush_all();

          for index, banned_ip in ipairs(new_ip_blacklist) do

            ip_blacklist:set(banned_ip, true);

          end

          -- update time

          ip_blacklist:set("last_update_time", ngx.now());

      end

    end

  end

end

if ip_blacklist:get(ip) then

  ngx.log(ngx.ERR, "Banned IP detected and refused access: " .. ip);

  return ngx.exit(ngx.HTTP_FORBIDDEN);

end

Nginx灰度釋出

1.根據Cookie實現灰度釋出

根據Cookie查詢version值，如果該version值為v1轉發到host1，為v2轉發到host2，都不匹配的情況下轉發到預設配置。

upstream host1 {

   server 192.168.2.46:2001 weight=1;  #輪詢伺服器和訪問權重

   server 192.168.2.46:2002 weight=2;

}

upstream host2 {

   server 192.168.1.155:1111  max_fails=1 fail_timeout=60;

}

upstream default {

   server 192.168.1.153:1111  max_fails=1 fail_timeout=60;

}

map $COOKIE_version $group {

   ~*v1$ host1;

   ~*v2$ host2;

   default default;

}

lua_shared_dict ip_blacklist 1m;

server {

    listen  80;

    #set $group "default";

    #if ($http_cookie ~* "version=v1"){

    #    set $group host1;

    #}

    #if ($http_cookie ~* "version=v2"){

    #    set $group host2;

    #}

    location / {

        access_by_lua_file lua/ip_blacklist.lua;

        proxy_pass http://$group;

    }

}

2.根據來路IP實現灰度釋出

server {

  ……………

  set $group default;

  if ($remote_addr ~ "192.168.119.1") {

      set $group host1;

  }

  if ($remote_addr ~ "192.168.119.2") {

      set $group host2;

  }

3.更細粒度灰度釋出

參考：https://github.com/sunshinelyz/ABTestingGateway

好了，咱們今天就聊到這兒吧！別忘了給個在看和轉發，讓更多的人看到，一起學習一起進步！！

寫在最後

如果你覺得冰河寫的還不錯，請微信搜尋並關注「 冰河技術 」微信公眾號，跟冰河學習高併發、分散式、微服務、大資料、網際網路和雲原生技術，「 冰河技術 」微信公眾號更新了大量技術專題，每一篇技術文章乾貨滿滿！不少讀者已經通過閱讀「 冰河技術 」微信公眾號文章，吊打面試官，成功跳槽到大廠；也有不少讀者實現了技術上的飛躍，成為公司的技術骨幹！如果你也想像他們一樣提升自己的能力，實現技術能力的飛躍，進大廠，升職加薪，那就關注「 冰河技術 」微信公眾號吧，每天更新超硬核技術乾貨，讓你對如何提升技術能力不再迷茫！