1. 程式人生 > >python—【爬蟲】學習_3(異常處理)

python—【爬蟲】學習_3(異常處理)

1.URLError

首先解釋下URLError可能產生的原因:

  • 網路無連線,即本機無法上網
  • 連線不到特定的伺服器
  • 伺服器不存在

在程式碼中,我們需要用try-except語句來包圍並捕獲相應的異常。

2.HTTPError

HTTPError是URLError的子類,在你利用urlopen方法發出一個請求時,伺服器上都會對應一個應答物件response,其中它包含一個數字”狀態碼”。舉個例子,假如response是一個”重定向”,需定位到別的地址獲取文件,urllib2將對此進行處理。

其他不能處理的,urlopen會產生一個HTTPError,對應相應的狀態嗎,HTTP狀態碼錶示HTTP協議所返回的響應的狀態。下面將狀態碼歸結如下:

200:請求成功 處理方式:獲得響應的內容,進行處理

202:請求被接受,但處理尚未完成 處理方式:阻塞等待

204:伺服器端已經實現了請求,但是沒有返回新的信 息。如果客戶是使用者代理,則無須為此更新自身的文件檢視。 處理方式:丟棄

300:該狀態碼不被HTTP/1.0的應用程式直接使用, 只是作為3XX型別迴應的預設解釋。存在多個可用的被請求資源。 處理方式:若程式中能夠處理,則進行進一步處理,如果程式中不能處理,則丟棄
301:請求到的資源都會分配一個永久的URL,這樣就可以在將來通過該URL來訪問此資源 處理方式:重定向到分配的URL

302:請求到的資源在一個不同的URL處臨時儲存 處理方式:重定向到臨時的URL

304:請求的資源未更新 處理方式:丟棄

400:非法請求 處理方式:丟棄

401:未授權 處理方式:丟棄

403:禁止 處理方式:丟棄

404:沒有找到 處理方式:丟棄

500:伺服器內部錯誤 伺服器遇到了一個未曾預料的狀況,導致了它無法完成對請求的處理。一般來說,這個問題都會在伺服器端的原始碼出現錯誤時出現。

501:伺服器無法識別 伺服器不支援當前請求所需要的某個功能。當伺服器無法識別請求的方法,並且無法支援其對任何資源的請求。

502:錯誤閘道器 作為閘道器或者代理工作的伺服器嘗試執行請求時,從上游伺服器接收到無效的響應。

503:服務出錯 由於臨時的伺服器維護或者過載,伺服器當前無法處理請求。這個狀況是臨時的,並且將在一段時間以後恢復。

因為urllib2可以為你處理重定向,也就是3開頭的代號可以被處理,並且100-299範圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。

3code 如下:

from urllib.request import Request,urlopen
form urllib.error import URLError, HTTPError

req = Request(someurl)
try:
    response =urlopen(req)
except HTTPError as e:
    print('the server couldn't fulfill the request.')
    print('Error code:',e.code)
except URLError as e:
    print('we failed to reach a server.')
    print('Reason:',e.reason)
else:
    #everything is fine