本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理

以下文章來源於騰訊雲 作者：使用者6184845

( 想要學習Python？Python學習交流群：1039649593，滿足你的需求，資料都已經上傳群檔案流，可以自行下載！還有海量最新2020python學習資料。 )

網路爬蟲

網路爬蟲：又被稱為網頁蜘蛛，網路機器人，是一種按照一定規則自動抓取網上資訊的程式或指令碼。

有啥作用：通過該技術可快速高效的在網際網路上獲取自己想要的大資料，是大資料分析的基礎。
基礎知識：想要用爬蟲技術到網上爬取自己想要的資料，需要大概的瞭解一下W3C標準（HTML、JSON、XPath等）與HTTP協議標準（HTTP請求過程、請求方式、Cookie狀態管理等）。

百度地圖API

百度地圖API：百度地圖大家都有用過，但這個API又是哈？百度地圖API是為開發者提供http/https介面，即開發者通過http/https形式發起檢索請求，獲取返回json或xml格式的檢索資料。

建立API金鑰：http://lbsyun.baidu.com/apiconsole/key。開啟該連結，用申請的百度帳號登入，單擊建立應用，Referer白名單裡面輸入*，建立完成後可在檢視應用中看到API金鑰

地點檢索服務：提供多種場景的地點（POI）檢索功能，包括城市檢索、圓形區域檢索、矩形區域檢索。開發者可通過介面獲取地點（POI）基礎或詳細地理資訊。該功能又分為行政區劃區域檢索、圓形區域檢索、矩形區域檢索。

行政區劃區域檢索：開發者可通過該功能，檢索某一行政區劃內（目前最細到城市級別）的地點資訊。

http://api.map.baidu.com/place/v2/search?query=銀行&region=北京&output=json&ak=申請的金鑰

圓形區域檢索：開發者可設定圓心和半徑，檢索圓形區域內的地點資訊（常用於周邊檢索場景）。

http://api.map.baidu.com/place/v2/search?query=銀行&location=39.915,116.404&radius=2000&output=xml&ak=申請的金鑰

矩形區域檢索：開發者可設定檢索區域左下角和右上角座標，檢索座標對應矩形內的地點資訊

http://api.map.baidu.com/place/v2/search?query=銀行&location=39.915,116.404&radius=2000&output=xml&ak=申請的金鑰

示例：通過行政區域檢索益陽市的景區資訊，在瀏覽器中輸入如下資訊``

http://api.map.baidu.com/place/v2/search?query=景區&region=益陽&output=json&page_size=5&ak=申請的金鑰

返回的資訊為JSON格式（可修改為XML）。

單次訪問服務最多同時返回400條資料。，此限制無法修改。

每頁最多返回20條查詢資訊，超過20條可通過page_num引數解決。

Python爬蟲+百度API

基於Python 的爬蟲技術，結合百度地圖API，獲取益陽全市境內的所有場景資訊（小區、景區、學校、商業廣場等）。主要用到requests與json兩個模組。


有木有很實用，其實上面只是講解了一個地點檢索的功能，還有更玄酷的，比如時時路況查詢，IP定位等。