Python網路爬蟲第三彈《爬取get請求的頁面資料》

一.urllib庫

　　urllib是Python自帶的一個用於爬蟲的庫，其主要作用就是可以通過程式碼模擬瀏覽器傳送請求。其常被用到的子模組在Python3中的為urllib.request和urllib.parse，在Python2中是urllib和urllib2。

二.由易到難的爬蟲程式：

　　1.爬取百度首頁面所有資料值

 1 #!/usr/bin/env python 
 2 # -*- coding:utf-8 -*-
 3 #導包
 4 import urllib.request
 5 import urllib.parse
 
 6 if __name__ == "__main__":
 7     #指定爬取的網頁url
 8     url = 'http://www.baidu.com/'
 9     #通過urlopen函式向指定的url發起請求，返回響應物件
10     reponse = urllib.request.urlopen(url=url)
11     #通過呼叫響應物件中的read函式，返回響應回客戶端的資料值（爬取到的資料）
12     data = reponse.read()#返回的資料為byte型別，並非字串
13     print(data)#列印顯示爬取到的資料值。

#補充說明
 

urlopen函式原型：urllib.request.urlopen(url, data=None, timeout=<object object at 0x10af327d0>, *, cafile=None, capath=None, cadefault=False, context=None)

在上述案例中我們只使用了該函式中的第一個引數url。在日常開發中，我們能用的只有url和data這兩個引數。

url引數：指定向哪個url發起請求
data引數：可以將post請求中攜帶的引數封裝成字典的形式傳遞給該引數（暫時不需要理解，後期會講）

urlopen函式返回的響應物件，相關函式呼叫介紹：
response.headers()：獲取響應頭資訊
response.getcode()：獲取響應狀態碼
response.geturl()：獲取請求的url
response.read()：獲取響應中的資料值（位元組型別）
 

　　2.將爬取到百度新聞首頁的資料值寫入檔案進行儲存

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
if __name__ == "__main__":
    url = 'http://news.baidu.com/'
    reponse = urllib.request.urlopen(url=url)
    #decode()作用是將響應中位元組（byte）型別的資料值轉成字串型別
    data = reponse.read().decode()
    #使用IO操作將data表示的資料值以'w'許可權的方式寫入到news.html檔案中
    with open('./news.html','w') as fp:
        fp.write(data)
    print('寫入檔案完畢')

　　3.爬取網路上某張圖片資料，且儲存到本地

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
#如下兩行程式碼表示忽略https證書，因為下面請求的url為https協議的請求，如果請求不是https則該兩行程式碼可不用。
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

if __name__ == "__main__":
    #url是https協議的
    url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1536918978042&di=172c5a4583ca1d17a1a49dba2914cfb9&imgtype=0&src=http%3A%2F%2Fimgsrc.baidu.com%2Fimgad%2Fpic%2Fitem%2F0dd7912397dda144f04b5d9cb9b7d0a20cf48659.jpg'
    reponse = urllib.request.urlopen(url=url)
    data = reponse.read()#因為爬取的是圖片資料值(二進位制資料)，則無需使用decode進行型別轉換。
    with open('./money.jpg','wb') as fp:
        fp.write(data)
    print('寫入檔案完畢')

　　4.url的特性：url必須為ASCII編碼的資料值。所以我們在爬蟲程式碼中編寫url時，如果url中存在非ASCII編碼的資料值，則必須對其進行ASCII編碼後，該url方可被使用。

　　案例：爬取使用百度根據指定詞條搜尋到的頁面資料（例如爬取詞條為‘周杰倫’的頁面資料）

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse

if __name__ == "__main__":
    #原始url中存在非ASCII編碼的值，則該url無法被使用。
    #url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰倫'
    #處理url中存在的非ASCII資料值
    url = 'http://www.baidu.com/s?'
    #將帶有非ASCII的資料封裝到字典中，url中非ASCII的資料往往都是'?'後面鍵值形式的請求引數
    param = {
        'ie':'utf-8',
        'wd':'周杰倫'
    }
    #使用parse子模組中的urlencode函式將封裝好的字典中存在的非ASCII的數值進行ASCII編碼
    param = urllib.parse.urlencode(param)
    #將編碼後的資料和url進行整合拼接成一個完整可用的url
    url = url + param
    print(url)
    response = urllib.request.urlopen(url=url)
    data = response.read()
    with open('./周杰倫.html','wb') as fp:
        fp.write(data)
    print('寫入檔案完畢')

　　5.通過自定義請求物件，用於偽裝爬蟲程式請求的身份。

　　　　之前在講解http常用請求頭資訊時，我們講解過User-Agent引數，簡稱為UA，該引數的作用是用於表明本次請求載體的身份標識。如果我們通過瀏覽器發起的請求，則該請求的載體為當前瀏覽器，則UA引數的值表明的是當前瀏覽器的身份標識表示的一串資料。如果我們使用爬蟲程式發起的一個請求，則該請求的載體為爬蟲程式，那麼該請求的UA為爬蟲程式的身份標識表示的一串資料。有些網站會通過辨別請求的UA來判別該請求的載體是否為爬蟲程式，如果為爬蟲程式，則不會給該請求返回響應，那麼我們的爬蟲程式則也無法通過請求爬取到該網站中的資料值，這也是反爬蟲的一種初級技術手段。那麼為了防止該問題的出現，則我們可以給爬蟲程式的UA進行偽裝，偽裝成某款瀏覽器的身份標識。

　　　　上述案例中，我們是通過request模組中的urlopen發起的請求，該請求物件為urllib中內建的預設請求物件，我們無法對其進行UA進行更改操作。urllib還為我們提供了一種自定義請求物件的方式，我們可以通過自定義請求物件的方式，給該請求物件中的UA進行偽裝（更改）操作。

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

if __name__ == "__main__":
    #原始url中存在非ASCII編碼的值，則該url無法被使用。
    #url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰倫'
    #處理url中存在的非ASCII資料值
    url = 'http://www.baidu.com/s?'
    #將帶有非ASCII的資料封裝到字典中，url中非ASCII的資料往往都是'?'後面鍵值形式的請求引數
    param = {
        'ie':'utf-8',
        'wd':'周杰倫'
    }
    #使用parse子模組中的urlencode函式將封裝好的字典中存在的非ASCII的數值進行ASCII編碼
    param = urllib.parse.urlencode(param)
    #將編碼後的資料和url進行整合拼接成一個完整可用的url
    url = url + param
    #將瀏覽器的UA資料獲取，封裝到一個字典中。該UA值可以通過抓包工具或者瀏覽器自帶的開發者工具中獲取某請求，從中獲取UA的值
    headers={
        'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }
    #自定義一個請求物件
    #引數：url為請求的url。headers為UA的值。data為post請求的請求引數（後面講）
    request = urllib.request.Request(url=url,headers=headers)

    #傳送我們自定義的請求（該請求的UA已經進行了偽裝）
    response = urllib.request.urlopen(request)

    data=response.read()

    with open('./周杰倫.html','wb') as fp:
        fp.write(data)
    print('寫入資料完畢')