Python Handler處理器和自定義Opener原理詳解
我們之前一直都在使用的urlopen,這是一個特殊的opener(也就是模組幫我們構建好的)。
但是基本的urlopen()方法不支援代理、cookie等其他的HTTP/HTTPS高階功能。所以要支援這些功能:
1.使用相差的Handler處理器來建立特定功能的處理器物件;
2.然後通過urllib.request.build_opener()方法,建立自定義opener物件
3.使用自定義的opener物件,呼叫open()方法傳送請求。
如果程式裡所有的請求都使用自定義的opener,可以使用urllib.request.install_opener()將自定義的opener物件定義為全域性opener,表示如果之後凡是呼叫urlopen,都將使用這個opener(根據自己的需求來選擇)
簡單的自定義opener()
#!/usr/bin/python3 # -*- coding:utf-8 -*- __author__ = 'mayi' import urllib.request # 構建一個HTTPHandler處理器物件,支援處理HTTP請求。 http_handler = urllib.request.HTTPHandler() # # 構建一個HTTPSHandler處理器物件,支援處理HTTPS請求 # https_handler = urllib.request.HTTPSHandler() # 呼叫urllib.request.build_opener()方法,建立支援處理HTTP請求的opener物件 opener = urllib.request.build_opener(http_handler) # 構建Request請求 request = urllib.request.Request("http://www.baidu.com/") # 呼叫自定義opener物件的open()方法,傳送request請求 response = opener.open(request) # 獲取伺服器響應內容 html = response.read() print(html)
這種方式傳送請求得到的結果,和使用urllib.request.urlopen()傳送HTTP/HTTPS請求得到的結果是一樣的。
如果在HTTPHandler()增加debuglevel = 1引數,還會將Debug Log開啟,這樣程式在執行的時候,會把收包和發包的報頭在螢幕上自動打印出來,方便排程,有時可以省去抓包的工作。
# 僅需要修改的程式碼部分: # 構建一個HTTPHandler 處理器物件,支援處理HTTP請求,同時開啟Debug Log,debuglevel 值預設 0 http_handler = urllib.request.HTTPHandler(debuglevel = 1) # 構建一個HTTPHSandler 處理器物件,支援處理HTTPS請求,同時開啟Debug Log,debuglevel 值預設 0 https_handler = urllib.request.HTTPSHandler(debuglevel = 1)
ProxyHandler處理器(IP代理設定)
很多網站會檢測某一段時間IP的訪問次數(通過流量統計、系統日誌等),如果某個IP訪問次數多的不像正常人,它會禁止這個IP的訪問。
所以我們通常可以設定一些代理伺服器,每隔一段時間換一個代理,就算IP被禁止,依然可以換個IP繼續爬取。
urllib.request中通過ProxyHandler來設定使用代理伺服器,下面程式碼說明如何使用自定義opener來使用代理:
#!/usr/bin/python3 # -*- coding:utf-8 -*- __author__ = 'mayi' """ ProxyHandler處理器(代理設定) 很多網站會檢測某一段時間某個IP的訪問次數(通過流量統計,系統日誌等),如果 訪問次數多的不像正常人,它會禁止這個IP的訪問。 所以我們可能通過設定一些代理伺服器,每隔一段時間換一個代理IP,就算IP被禁 止,我們依然可以換個IP繼續爬取。 """ import urllib.request # 構建了兩個代理Handler,一個有代理IP,一個沒有代理IP http_proxy_handler = urllib.request.ProxyHandler({"http":"222.33.192.238:8118"}) null_proxy_handler = urllib.request.ProxyHandler({}) # 定義一個代理開關 proxy_switch = True # 根據代理開關是否拱形,使用不同的代理模式 # 通過urllib.request.build_opener()方法使用這些代理Handler物件,建立自定義opener物件 if proxy_switch: opener = urllib.request.build_opener(http_proxy_handler) else: opener = urllib.request.build_opener(null_proxy_handler) request = urllib.request.Request("http://www.baidu.com/") # 1. 如果這麼寫,只有使用opener.open()方法傳送請求才使用自定義的代理,而urlopen()則不使用自定義代理。 response = opener.open(request) # 2. 如果這麼寫,就是將opener應用到全域性,之後所有的,不管是opener.open()還是urlopen() 傳送請求,都將使用自定義代理。 # urllib.request.install_opener(opener) # response = urlopen(request) html = response.read() print(html)
免費的開放代理獲取基本沒有什麼成本,我們可以在一些代理網站上收集這些免費代理,測試後如果可以用,就把它收集起來用在爬蟲上面。
免費代理網站舉例:
- 西刺免費代理IP
- 快代理免費代理
- Proxy360代理
- 全網代理IP
如果代理IP足夠多,就可以讓程式隨機獲取一個代理IP去訪問網站。
import random proxy_list = [ {"http" : "1.85.220.77:8118"},{"http" : "110.73.6.57:8123"},{"http" : "171.39.4.8:8123"},{"http" : "122.244.53.133:808"},{"http" : "171.39.75.81:8123"} ] # 隨機選擇一個代理 proxy = random.choice(proxy_list)
但是,這些免費開放的代理一般會有很多人都在使用,而且代理有壽命短、速度慢、匿名度不高、HTTP/HTTPS支援不穩定等缺點。
所以,要根據自己的需求,選擇是否需要使用高品質的私密代理(通常需要找專門的代理供應商購買,再通過使用者名稱/密碼授權使用)。
Cookie
Cookie是指某些網站伺服器為了辨別使用者身份和進行Session跟蹤,而儲存在使用者瀏覽器上的文字檔案,Cookie可以保持登入資訊到使用者下次與伺服器的會話。
Cookie原理
HTTP是無狀態的面向連線的協議,為了保持連線狀態,引入了Cookie機制,Cookie是HTTP訊息頭中的一種屬性,包括:
- Cookie名字(Name)
- Cookie的值(Value)
- Cookie的過期時間(Expires/Max-Age)
- Cookie作用路徑(Path)
- Cookie所在域名(Domain),
使用Cookie進行安全連線(Secure)。
前兩個引數是Cookie應用的必要條件,另外,還包括Cookie大小(Size,不同瀏覽器對Cookie個數及大小限制是有差異的)。
Cookie由變數名和值組成,根據Netscape公司的規定,Cookie格式如下:
Set-Cookie: NAME=VALUE;Expires=DATE;Path=PATH;Domain=DOMAIN_NAME;SECURE
http.cookiejar庫和HTTPCookieProcessor處理器
在Python3.x處理Cookie,一般是通過http.cookjar模組和urllib.request模組的HTTPCookieProcessor處理器類一起使用。
http.cookjar模組:主要作用是提供用於儲存cookie的物件
HTTPCookieProcessor處理器:主要作用是處理這些cookie物件,並構建handler物件。
http.cookjar庫
該模組主要的物件有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。
- CookieJar:管理HTTP cookie值、儲存HTTP請求生成的cookie、向傳出的HTTP請求新增cookie的物件。整個cookie都儲存在記憶體中,對CookieJar例項進行垃圾回收後cookie也將丟失。
- FileCookieJar(filename,delayload = None,policy = None):從CookieJar派生而來,用來建立FileCookieJar例項,檢索cookie資訊並將cookie儲存到檔案中。filename是儲存cookie的檔名。delayload為True時支援延遲訪問訪問檔案,即只有在需要時才讀取檔案或檔案中儲存資料。
- MozillaCookieJar(filename,policy = None):從FileCookieJar派生而來,建立與Mozilla瀏覽器cookies.txt相容的FileCookieJar例項。
- LWPCookieJar(filename,policy = None):從FileCookieJar派生而來,建立與libwww-perl標準的Set-Cookie3檔案格式相容的FileCookieJar例項。
其實大多數情況下,我們只用CookieJar(),如果需要和本地檔案互動,就用MozillaCookiejar()或LWPCookieJar()
案例:利用http.cookiejar和post登入人人網
#!/usr/bin/python3 # -*- coding:utf-8 -*- __author__ = 'mayi' """ 利用http.cookiejar和post登入人人網 url = "http://www.renren.com/PLogin.do" """ import urllib import urllib.request import http.cookiejar # 構建一個CookieJar物件例項來儲存cookie cookie = http.cookiejar.CookieJar() # 使用HTTPCookieProcessor()來建立cookie處理器物件,引數為CookieJar()物件 cookie_handler = urllib.request.HTTPCookieProcessor(cookie) # 通過build_opener()來構建opener opener = urllib.request.build_opener(cookie_handler) # 設定User-Agent頭:addheaders接受一個列表,裡面每個元素都是一個headers資訊的元組,opener將附帶headers資訊 opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/39.0.2171.71 Safari/537.36')] # 需要登入的賬戶和密碼 email = input("請輸入您的賬戶:") password = input("請輸入您的密碼:") data = {"email": email,"password": password} # 通過urlencode()轉碼 postdata = urllib.parse.urlencode(data) postdata = postdata.encode(encoding = "utf-8") # str轉bytes # 構建Request請求物件,包含需要傳送的使用者名稱和密碼 request = urllib.request.Request("http://www.renren.com/PLogin.do",data = postdata) # 通過opener傳送這個請求,並獲取登入後的Cookie值 opener.open(request) # opener包含使用者登入後的Cookie值,可以直接訪問那些登入後才可以訪問的頁面 response = opener.open("http://www.renren.com/413928886/profile") # 獲取頁面內容 html = response.read() # 將頁面內容儲存至本地磁碟 fo = open("renren.html","wb") fo.write(html) fo.close()
模擬登入要注意幾點:
- 登入一般都會先有一個HTTP GET,用於獲取一些資訊及獲得Cookie,然後再HTTP POST登入。
- HTTP POST登入的連結有可能是動態的,從GET返回的資訊中獲取。
- password(密碼)有些是明文傳送,有些是加密後傳送。有些網站甚至採用動態加密的,同時包括了很多其他資料的加密資訊,只能通過檢視JS原始碼獲得加密演算法,再去破解加密,非常困難。
- 大多數網站的登入整體流程是類似的,可能部分細節不一樣,所以其他網站登入時,需根據具體情況,作對應的修改。
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。