1. 程式人生 > >Python學習筆記__13.2章 requests

Python學習筆記__13.2章 requests

編程語言 Python

# 這是學習廖雪峰老師python教程的學習筆記


相比於Python內置的urllib模塊,使用requests可以更好地處理URL資源。

1、使用requests

1)通過GET訪問一個頁面

>>> import requests

>>> r = requests.get('https://www.douban.com/') # 豆瓣首頁

>>> r.status_code

200

>>> r.text

r.text

'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description" content="提供圖書、電影、音樂唱片的推薦、評論和...'

2)對於帶參數的URL,傳入一個dict作為params參數:

>>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})

>>> r.url # 我們實際請求的URL

'https://www.douban.com/search?q=python&cat=1001'

3)requests自動檢測編碼,可以使用encoding屬性查看

>>> r.encoding

'utf-8'

4)無論響應是文本還是二進制內容,我們都可以用content屬性獲得bytes對象

>>> r.content

b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n...'

4)對於特定類型的響應,例如JSON,可以直接獲取

>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')

>>> r.json()

{'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', …

5)需要傳入HTTP Header時,我們傳入一個dict作為headers參數:

>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})

>>> r.text

'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手機版)</title>...'

6)發送POST請求,只需要把get()方法變成post(),然後傳入data參數作為POST請求的數據

>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': '[email protected]', 'form_password': '123456'})

post()方法替換為put()delete()等,就可以以PUT或DELETE方式請求資源

7)requests默認使用application/x-www-form-urlencodedPOST數據編碼。如果要傳遞JSON數據,可以直接傳入json參數

params = {'key': 'value'}

r = requests.post(url, json=params) # 內部自動序列化為JSON

8)上傳文件需要更復雜的編碼格式,但是requests把它簡化成files參數

>>> upload_files = {'file': open('report.xls', 'rb')} #註意標示符b,這樣獲取的bytes長度才是文件的長度

>>> r = requests.post(url, files=upload_files)

9)獲取響應頭

>>> r.headers

{Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...}

>>> r.headers['Content-Type']

'text/html; charset=utf-8'

10)獲取指定的Cookie

>>> cs = {'token': '12345', 'status': 'working'}

>>> r = requests.get(url, cookies=cs)

11)要指定超時,傳入以秒為單位的timeout參數

>>> r = requests.get(url, timeout=2.5) # 2.5秒後超時


Python學習筆記__13.2章 requests