05 HTTP 的請求和響應
上一個小節中，我們簡單的介紹了 HTTP 協議，但是，並沒有針對 HTTP 的請求和響應進行更詳盡的描述。但是，分析請求和響應資訊是我們進行爬蟲工作中的重要步驟，因此，有必要詳細的介紹這兩個步驟。
我們還是複用之前的訪問網的例子進行 HTTP 協議的解析。關於怎麼獲取請求頭和響應頭的資訊的內容，我們會在後面講解第一個爬蟲的時候進行講解。
使用 get 方法請求網的請求資訊如下：
GET / HTTP/1.1
Host: www.imooc.com
Connection: keep-alive
Cache-Control: max-age=0
HTTP 請求主要有四部分組成。分別是請求行，請求頭部，空行和請求資料。
1. 請求行
我們先來看下第一部分，請求行：
GET / HTTP/1.1
請求行裡的 GET 是請求方法。請求方法主要是告訴伺服器端，客戶端要對資源實行什麼樣的具體操作，方便伺服器進行響應的處理。
-
HTTP 1.0 規定的方法： GET，POST，HEAD；
-
HTTP 1.1 新增的請求方法：OPTIONS，PUT，DELETE，TRACE，CONNECT；
-
HTTP 規定的主要請求如下表所示，我們主要使用的實際上就是 get，post 這兩個請求。
常用的請求方法
| 序號 | 請求方法 | 方法描述 |
|---|---|---|
| 1 | GET | 用來獲取伺服器的資訊。 |
| 2 | POST | 用於建立一個檔案，請求是非冪等的。 |
| 3 | HEAD | 通過這個來獲取響應的報標頭檔案，不包含的具體內容。 |
| 4 | PUT | 主要是用來更新檔案，這個方法對伺服器來講，應該是冪等的。 |
| 5 | DELETE | 這個命令是用來請求讓伺服器端來刪除特定的資訊。 |
| 6 | OPTIONS | 這個方法可以讓客戶端可以檢視伺服器可以提供的請求方法等資訊。 |
| 7 | TRACE | 這個主要用於測試和診斷，可以回顯伺服器的資訊。 |
| 8 | CONNECT | HTTP/1.1協議中預留的請求方法，不常使用。 |
Get 後面的 / 是來標明請求的資源資訊，我們這裡是想訪問網的主頁，所以寫 /。 HTTP/1.1 指的是 HTTP 的協議版本。
Tips：HTTP 是在 1990 左右提出的協議，距今已經有幾十年的歷史了。廣泛使用的版本有 1.0,1.1，現在也有 2.0 的版本，不過還沒有普及。除此之外，對安全要求高的一些網站，也有的開始採用 HTTPS 協議進行傳輸。HTTPS 提供了更多的安全校驗，是利用 SSL/TLS 技術進行加密的，相對於普通的 HTTP，更加安全，隱私更不容易洩露。
好了說完了請求行，讓我們來介紹一下請求頭部。
2. 請求頭
從第二行開始，都是請求頭部的資訊，比如我第二行的 Host: www.imooc.com，用來表明請求的地址是什麼。還有一些其他的資訊，比如瀏覽器可接受的語言型別，字型編碼，Cookie 等資訊。
接下來是空行，不必多說。最後面的一部分是我們的請求的具體內容，請求內容可以是表單，也可以是 JSON 等格式。
3. HTTP響應
正如 HTTP 請求包含四部分一樣，HTTP 的響應同樣包含四個部分。分別是狀態行，訊息報頭，空行，以及響應正文。
下面這個是我們訪問網後，返回的資訊：
HTTP/1.1 200 OK
Server: nginx
Content-Type: text/html; charset=UTF-8
Content-Length: 49930
Connection: keep-alive
<HTML>....
第一行為狀態行，同樣的，需要標明 HTTP 協議的版本，然後後面是一個狀態碼。這裡的 200 表示請求成功。OK 是用來表明請求的狀態訊息，通過訊息我們可以對請求的錯誤進行定位。
常見的狀態碼如下表所示：
| 狀態碼 | 解釋 |
|---|---|
| 200 OK | 請求成功 |
| 400 Bad Request | 請求訊息有語法錯誤。 |
| 401 Unauthorized | 未經授權，必須和WWW-Authenticate報頭域一起使用。 |
| 403 Forbidden | 拒絕提供服務 |
| 404 Not Found | 請求的資源不存在，或者被移除了 |
| 500 Internal Server Error | 伺服器端錯誤，通常是伺服器端程式碼邏輯錯誤造成的 |
| 503 Server Unavailable | 服務不可用，有可能需要等一段時間進行恢復 |
Tips：總結一下規律，2 開頭的意味著成功，3 開頭的大部分是重定向，4 開頭是客戶端錯誤，5 開頭的是伺服器端的錯誤。
第二行的 Server: nginx表明了伺服器端採用的伺服器名稱。Content-Length: 49930 是訊息報頭表明了伺服器返回的 HTML 內容的長度。Connection: keep-alive 是空行，空行必須要有，不可省略。最後是響應正文，一般會是一個 HTML 文件。
4. 個人經驗
這一小節，內容比較多，但是不需要大家記住所有的知識點，比如請求方法和伺服器狀態碼，只需要記住經常使用的那幾個就可以了，其他的，工作中遇到的話，再去查詢。
5. 小結
本小節主要講解了 HTTP 的請求與響應，對於我們爬蟲程式來說，主要使用的就是 get 請求。對於返回的狀態碼的瞭解，可以方便的除錯和分析我們的爬蟲程式是否執行良好。