1. 程式人生 > >Nginx限流方案

Nginx限流方案

電商平臺營銷時候,經常會碰到的大流量問題,除了做流量分流處理,可能還要做使用者黑白名單、信譽分析,進而根據使用者ip信譽權重做相應的流量攔截、限制流量。
Nginx自身有的請求限制模組ngx_http_limit_req_module、流量限制模組ngx_stream_limit_conn_module基於令牌桶演算法,可以方便的控制令牌速率,自定義調節限流,實現基本的限流控制。

對於提供下載的網站,肯定是要進行流量控制的,例如軟體下載站、視訊服務等。
它也可以減少一些爬蟲程式或者DDOS的攻擊。

對這兩個模組的介紹的文章也不少,這裡轉載一篇hopestar的文章: nginx限制IP連線數的範例參考, 因為他介紹的很簡潔。

下面文章的limit_zone指令已經被棄用,請用limit_conn_zone替換

如何Nginx限制同一個ip的連線數,限制併發數目:

限流

(1) 新增limit_zone和limit_req_zone

這個變數只能在http使用 :

vi /export/servers/nginx/conf/nginx.conf
limit_zone one  $binary_remote_addr  20m;
limit_req_zone  $binary_remote_addr  zone=req_one:20m rate=12r/s;

(2) 新增limit_conn 和limit_req

這個變數可以在httpserver

location使用 我是限制nginx上的所有服務,所以新增到http裡面 (如果你需要限制部分服務,可在nginx/conf/domains裡面選擇相應的server或者location新增上便可)

vi /export/servers/nginx/conf/nginx.conf
limit_zone one $binary_remote_addr 20m;
limit_req_zone $binary_remote_addr zone=req_one:20m rate=12r/s;
limit_conn one 10;
limit_req zone=req_one burst=120;

引數詳解(數值按具體需要和伺服器承載能力設定,):

limit_zone,是針對每個變數(這裡指IP,即$binary_remote_addr)定義一個儲存session狀態的容器。這個示例中定義了一個20m的容器,按照32bytes/session,可以處理640000個session
limit_req_zone 與limit_zone類似。rate是請求頻率. 每秒允許12個請求。
limit_conn  one 10 : 表示一個IP能發起10個併發連線數
limit_req: 與limit_req_zone對應。burst表示快取住的請求數。

範例:

http
{
limit_zone one  $binary_remote_addr  20m;
limit_req_zone  $binary_remote_addr  zone=req_one:20m rate=12r/s;
limit_conn   one  10;
limit_req   zone=req_one burst=120;
server  {
      listen          80;
      server_name     status.xxx.com ;
      location / {
               stub_status            on;
               access_log             off;
      }
}
}

(3) 重啟nginx

/export/servers/nginx/sbin/nginx -s reload

Nginx限制流量/限制頻寬 具體參考官方文件

nginx白名單設定

以上配置會對所有的ip都進行限制,有些時候我們不希望對搜尋引擎的蜘蛛或者某些自己的代理機過來的請求進行限制, 對於特定的白名單ip我們可以藉助geo指令實現。

先在nginx的請求日誌進行統計,檢視那個ip的訪問量比較大, 執行:

cat access.log | grep "03/Jun" |awk '{print $1}'|sort |uniq -c|sort -nrk 1|head -n 10
#列出訪問日誌裡面在63號這天前10個訪問量最大的ip.

接下來就可以對這些IP進行分析了。看哪些需要進行白名單設定。

http{
   geo  $limited  {
    default          1;
    127.0.0.1/32     0;
    10.12.212.63     0;
  }
  map $limited $limit {
  1 $binary_remote_addr;
  0 "";
  }
  limit_zone one  $binary_remote_addr  20m;
  limit_req_zone  $limit  zone=req_one:20m rate=20r/s;
  limit_conn   one  10;
  limit_req   zone=req_one burst=120;
}

上面兩個需要用到map和geo模組,這是nginx自帶的模組,有的運維喜歡把他們關閉,自己./sbin/nginx -V 留意一下。把配置的--whithout-XXX-module 去掉重新編譯一下就可以了。 上面這段配置的意思是:

1.geo指令定義了一個白名單limited1iplimited變數,預設值為1,如果客戶端ip在上面的範圍內,limited的值為0
2.使用map指令對映搜尋引擎客戶端的ip為空串,如果不是搜尋引擎就顯示本身真實的ip,這樣搜尋引擎ip就不能存到limit_req_zone記憶體session中,所以不會限制搜尋引擎的ip訪問

PS:獲取客戶端的真實IP

順帶一提,為了獲取客戶端的真實IP。該模組需要安裝read_ip模組,運維應該預設有安裝。沒有的話也可自行安裝: 配置方式相當簡單,重新編譯 Nginx 加上 --with-http_realip_module 引數,如:

在server中增加:

set_real_ip_from   192.168.1.0/24;
set_real_ip_from   192.168.2.1;
real_ip_header     [X-Real-IP|X-Forwarded-For];

需要說明的地方就是設定IP源的時候可以設定單個IP,也可以設定IP段,另外是使用X-Real-IP還是X-Forwarded-For,取決於前面的伺服器有哪個頭。

set_real_ip_from 設定的IP端可以讓運維檢視日誌,看下你的請求是來自哪些ip段。

重新載入一下服務,差不多就OK了。

再檢視日誌的話,應該可以看到客戶端的真實IP了。

注意:如果未安裝該模組的話你的獲取到的IP端可能是來自前端代理(如squid)的IP,結果就是多個使用者被當成單個使用者對待,導致應用不能響應。 參考:http://hi.baidu.com/thinkinginlamp/item/e2cf05263eb4d18e6e2cc3e6

再PS一下: 自測: 有條件的自己可以用ab或者webben自測一下。

未安裝前壓測的話,因為有大量請求,所以access.log會有大量日誌,而error.log日誌沒有變化。

[[email protected] talk]# webbench  -c 30 -t 30 http:
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http:
30 clients, running 30 sec.
Speed=193468 pages/min, 1254317 bytes/sec.
Requests: 96734 susceed, 0 failed.

安裝後會發現很多超出的請求會返回503,所以access.log日誌變化不快,error.log有大量記錄,提示limit_reque緩住了多少請求。

[[email protected] talk]# webbench  -c 30 -t 30 http:
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http:
30 clients, running 30 sec.
Speed=120 pages/min, 778 bytes/sec.
Requests: 60 susceed, 0 failed.

原文地址:https://www.cnblogs.com/peteremperor/p/7342143.html

作者:Mr.peter

推薦閱讀

?

相關推薦

no