Python爬蟲技術--基礎篇--常用第三方模組Pillow和requests
1.Pillow
PIL:Python Imaging Library,已經是Python平臺事實上的影象處理標準庫了。PIL功能非常強大,但API卻非常簡單易用。
由於PIL僅支援到Python 2.7,加上年久失修,於是一群志願者在PIL的基礎上建立了相容的版本,名字叫Pillow,支援最新Python 3.x,又加入了許多新特性,因此,我們可以直接安裝使用Pillow。
安裝Pillow
如果安裝了Anaconda,Pillow就已經可用了。否則,需要在命令列下通過pip安裝:
$ pip install pillow
如果遇到Permission denied
安裝失敗,請加上sudo
操作影象
來看看最常見的影象縮放操作,只需三四行程式碼:
from PIL import Image
# 開啟一個jpg影象檔案,注意是當前路徑:
im = Image.open('test.jpg')
# 獲得影象尺寸:
w, h = im.size
print('Original image size: %sx%s' % (w, h))
# 縮放到50%:
im.thumbnail((w//2, h//2))
print('Resize image to: %sx%s' % (w//2, h//2))
# 把縮放後的影象用jpeg格式儲存:
im.save('thumbnail.jpg', 'jpeg')
其他功能如切片、旋轉、濾鏡、輸出文字、調色盤等一應俱全。
比如,模糊效果也只需幾行程式碼:
from PIL import Image, ImageFilter
# 開啟一個jpg影象檔案,注意是當前路徑:
im = Image.open('test.jpg')
# 應用模糊濾鏡:
im2 = im.filter(ImageFilter.BLUR)
im2.save('blur.jpg', 'jpeg')
效果如下:
PIL的ImageDraw
提供了一系列繪圖方法,讓我們可以直接繪圖。比如要生成字母驗證碼圖片:
from PIL import Image, ImageDraw, ImageFont, ImageFilter
import random
# 隨機字母:
def rndChar():
return chr(random.randint(65, 90))
# 隨機顏色1:
def rndColor():
return (random.randint(64, 255), random.randint(64, 255), random.randint(64, 255))
# 隨機顏色2:
def rndColor2():
return (random.randint(32, 127), random.randint(32, 127), random.randint(32, 127))
# 240 x 60:
width = 60 * 4
height = 60
image = Image.new('RGB', (width, height), (255, 255, 255))
# 建立Font物件:
font = ImageFont.truetype('Arial.ttf', 36)
# 建立Draw物件:
draw = ImageDraw.Draw(image)
# 填充每個畫素:
for x in range(width):
for y in range(height):
draw.point((x, y), fill=rndColor())
# 輸出文字:
for t in range(4):
draw.text((60 * t + 10, 10), rndChar(), font=font, fill=rndColor2())
# 模糊:
image = image.filter(ImageFilter.BLUR)
image.save('code.jpg', 'jpeg')
我們用隨機顏色填充背景,再畫上文字,最後對影象進行模糊,得到驗證碼圖片如下:
如果執行的時候報錯:
IOError: cannot open resource
這是因為PIL無法定位到字型檔案的位置,可以根據作業系統提供絕對路徑,比如:
'/Library/Fonts/Arial.ttf'
要詳細瞭解PIL的強大功能,請請參考Pillow官方文件:
https://pillow.readthedocs.org/
小結
PIL提供了操作影象的強大功能,可以通過簡單的程式碼完成複雜的影象處理。
2.requests
我們已經講解了Python內建的urllib模組,用於訪問網路資源。但是,它用起來比較麻煩,而且,缺少很多實用的高階功能。
更好的方案是使用requests。它是一個Python第三方庫,處理URL資源特別方便。
安裝requests
如果安裝了Anaconda,requests就已經可用了。否則,需要在命令列下通過pip安裝:
$ pip install requests
如果遇到Permission denied安裝失敗,請加上sudo重試。
使用requests
要通過GET訪問一個頁面,只需要幾行程式碼:
>>> import requests
>>> r = requests.get('https://www.douban.com/') # 豆瓣首頁
>>> r.status_code
200
>>> r.text
r.text
'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description" content="提供圖書、電影、音樂唱片的推薦、評論和...'
對於帶引數的URL,傳入一個dict作為params
引數:
>>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})
>>> r.url # 實際請求的URL
'https://www.douban.com/search?q=python&cat=1001'
requests自動檢測編碼,可以使用encoding
屬性檢視:
>>> r.encoding
'utf-8'
無論響應是文字還是二進位制內容,我們都可以用content
屬性獲得bytes
物件:
>>> r.content
b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n...'
requests的方便之處還在於,對於特定型別的響應,例如JSON,可以直接獲取:
>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')
>>> r.json()
{'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', ...
需要傳入HTTP Header時,我們傳入一個dict作為headers
引數:
>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
>>> r.text
'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手機版)</title>...'
要傳送POST請求,只需要把get()
方法變成post()
,然後傳入data
引數作為POST請求的資料:
>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': '[email protected]', 'form_password': '123456'})
requests預設使用application/x-www-form-urlencoded
對POST資料編碼。如果要傳遞JSON資料,可以直接傳入json引數:
params = {'key': 'value'}
r = requests.post(url, json=params) # 內部自動序列化為JSON
類似的,上傳檔案需要更復雜的編碼格式,但是requests把它簡化成files
引數:
>>> upload_files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=upload_files)
在讀取檔案時,注意務必使用'rb'
即二進位制模式讀取,這樣獲取的bytes
長度才是檔案的長度。
把post()
方法替換為put()
,delete()
等,就可以以PUT或DELETE方式請求資源。
除了能輕鬆獲取響應內容外,requests對獲取HTTP響應的其他資訊也非常簡單。例如,獲取響應頭:
>>> r.headers
{Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...}
>>> r.headers['Content-Type']
'text/html; charset=utf-8'
requests對Cookie做了特殊處理,使得我們不必解析Cookie就可以輕鬆獲取指定的Cookie:
>>> r.cookies['ts']
'example_cookie_12345'
要在請求中傳入Cookie,只需準備一個dict傳入cookies
引數:
>>> cs = {'token': '12345', 'status': 'working'}
>>> r = requests.get(url, cookies=cs)
最後,要指定超時,傳入以秒為單位的timeout引數:
>>> r = requests.get(url, timeout=2.5) # 2.5秒後超時
小結
用requests獲取URL資源,就是這麼簡單!