2. 程式人生 > >Python爬蟲：現學現用Xpath爬取豆瓣音樂

Python爬蟲：現學現用Xpath爬取豆瓣音樂

阿新 • • 發佈：2018-02-08
9.1 tree when href scrapy 發現 pat 直接 where

爬蟲的抓取方式有好幾種，正則表達式，Lxml(xpath)與Beautiful,我在網上查了一下資料，了解到三者之間的使用難度與性能

三種爬蟲方式的對比。

抓取方式 性能 使用難度
正則表達式 快 困難
Lxml 快 簡單
BeautifulSoup 慢 簡單

這樣一比較我我選擇了Lxml(xpath)的方式了，雖然有三種方式，但肯定是要選擇最好的方式來爬蟲，這個道理大家都懂，另外有興趣的朋友也可以去了解另外兩種爬蟲方式！

好了現在來講講xpath

由於Xpath屬於lxml模塊，所以首先需要安裝lxml庫，老辦法直接在file-->setting---project interpreter 一鍵添加lxml庫。

xpath簡單用法

from lxml import etree

s=etree.HTML(源碼) #將源碼轉化為能被XPath匹配的格式

s.xpath(xpath表達式) #返回為一列表,

基礎語法：

  1. // 雙斜杠 定位根節點，會對全文進行掃描，在文檔中選取所有符合條件的內容，以列表的形式返回。
  2. / 單斜杠 尋找當前標簽路徑的下一層路徑標簽或者對當前路標簽內容進行操作
  3. /text() 獲取當前路徑下的文本內容
  4. /@xxxx 提取當前路徑下標簽的屬性值
  5. | 可選符 使用|可選取若幹個路徑 如//p | //div 即在當前路徑下選取所有符合條件的p標簽和div標簽。
  6. . 點 用來選取當前節點
  7. .. 雙點 選取當前節點的父節點

學以致用，方能讓我們能快速掌握xpath語法功能。

我們這次需要爬取豆瓣音樂前250條

打開豆瓣音樂：https://music.douban.com/top250

獲取單條數據

1.獲取音樂標題

右鍵彈出菜單欄 Copy==> Copy Xpath

這裏我們想獲取音樂標題，音樂標題的xpath是：xpath://*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a


# coding:utf-8
from lxml import etree
import requests

url = ‘https://music.douban.com/top250‘

html = requests.get(url).text
s = etree.HTML(html)
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a‘)
print title

運行代碼：
居然是空的。！！！
這裏需要註意一下，瀏覽器復制的xpath只能作參考，因為瀏覽器經常會在自己裏面增加多余的tbody標簽，我們需要手動把這個標簽刪除
刪除中間的/tbody後,是這樣的，
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a‘)
然後我們再運行代碼。
得到：
<Element a at 0x53d26c8>

說明標題被獲取到了。
因為要獲取標題文本，所以xpath表達式要追加/text()
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()

又因為這個s.xpath返回的是一個集合，且集合中只有一個元素所以我再追加一個[0]
新的表達式：
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text(),再追加[0]

重新運行得到結果：
We Sing. We Dance. We Steal Things.
正是我們想要的標題。

2.獲取音樂評分與評價人數

老辦法，先用右鍵copy評分的xpath ://*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[2]
復制評價人數的xpath://*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[3]/text()

同樣的我們要把tbody去掉，然後重新運行代碼：


# coding:utf-8
from lxml import etree
import requests

url = ‘https://music.douban.com/top250‘

html = requests.get(url).text
s = etree.HTML(html)
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
score = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()‘)[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
numbers = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()‘)[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
print title,score,numbers

得到：

        We Sing. We Dance. We Steal Things.
    9.1 
                (
                        100395人評價
                )
3.獲取音樂鏈接

copy標題的xpath，：//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

想獲取音樂連接href這裏需要，獲取這個標簽屬於,/@xxx可以提取當前路徑標簽下的屬性值
//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a/@href

代碼：


# coding:utf-8
from lxml import etree
import requests

url = ‘https://music.douban.com/top250‘

html = requests.get(url).text
s = etree.HTML(html)
href = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/@href‘)[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
score = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()‘)[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
numbers = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()‘)[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
print href,title,score,numbers

運行代碼得到：

https://music.douban.com/subject/2995812/ 
            We Sing. We Dance. We Steal Things.
        9.1 
                    (
                            100395人評價
                    )
5.獲取圖片地址：

找到圖片，復制他的xpath地址：//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[1]/a/img

運行代碼：


# coding:utf-8
from lxml import etree
import requests

url = ‘https://music.douban.com/top250‘

html = requests.get(url).text
s = etree.HTML(html)
href = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/@href‘)[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
score = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()‘)[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
numbers = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()‘)[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
imgpath = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[1]/a/img/@src‘)[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
print href,title,score,numbers,imgpath

老套路：
得到結果:

https://music.douban.com/subject/2995812/ 
            We Sing. We Dance. We Steal Things.
        9.1 
                    (
                            100395人評價
                    )
                https://img3.doubanio.com/spic/s2967252.jpg

但是這只是獲取了一條數據，如果獲取多條數據呢？

獲取多條數據

我們再看第二條數據，第三條數據,第四條數據
得到他們的xpath:


# coding:utf-8
from lxml import etree
import requests

url = ‘https://music.douban.com/top250‘

html = requests.get(url).text
s = etree.HTML(html)
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
title2 = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[2]/tr/td[2]/div/a/text()‘)[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
title3 = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[3]/tr/td[2]/div/a/text()‘)[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
title4 = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[4]/tr/td[2]/div/a/text()‘)[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
print title,title2,title3,title4

得到：

        We Sing. We Dance. We Steal Things.

        Viva La Vida

        華麗的冒險

        範特西

對比他們的xpath，發現只有table序號不一樣，我們可以就去掉序號，得到通用的xpath信息：
運行代碼：


# coding:utf-8
from lxml import etree
import requests

url = ‘https://music.douban.com/top250‘

html = requests.get(url).text
s = etree.HTML(html)
titles = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()‘)#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()

for title in titles:
    print title.strip()

得到：

We Sing. We Dance. We Steal Things.
Viva La Vida

華麗的冒險

範特西

後。青春期的詩

是時候

Lenka
Start from Here

旅行的意義
太陽

Once (Soundtrack)

Not Going Anywhere

American Idiot
OK

無與倫比的美麗

親愛的...我還不知道

城市

O
Wake Me Up When September Ends

葉惠美

七裏香

21
My Life Will...
寓言
你在煩惱什麽

其它的信息如：鏈接地址，評分，評價人數都可以用同樣的辦法來獲取，現在我同時獲取多條數據，因為每頁數據是25條，所以：
完整代碼如下：


# coding:utf-8
from lxml import etree
import requests

url = ‘https://music.douban.com/top250‘

html = requests.get(url).text
s = etree.HTML(html)

hrefs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/@href‘)
titles = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()‘)
scores = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[2]/text()‘)
numbers = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[3]/text()‘)
imgs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[1]/a/img/@src‘)

for i in range(25):
    print hrefs[i],titles[i],scores[i],numbers[i],imgs[i]

得到：
一大批數據了，我就不展示了。有興趣可以直接copy代碼運行.,註意你得裝上lxml與requests庫.

我們也發現了問題每一個xpath路徑特別長，能不能精簡一下呢？

#####5. 精簡一下xpath路徑

hrefs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/@href‘)
titles = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()‘)
scores = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[2]/text()‘)
numbers = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[3]/text()‘)
imgs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[1]/a/img/@src‘)

觀察發現獲取幾個關鍵字段的xpath前綴都是 //*[@id="content"]/div/div[1]/div/table/tr 那我能不能把這些東西提出來呢，讓後面的不同的自己去追加，另外這樣寫也不用管每個頁面到底有多少條數據，只管查就行了。所以代碼做了一下精簡。

url = ‘https://music.douban.com/top250‘

html = requests.get(url).text
s = etree.HTML(html)
trs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr‘)  #先提取tr之前的節點集合

for tr in trs: #遍歷tr
    href = tr.xpath(‘./td[2]/div/a/@href‘)[0]  #註意新節點是tr下的節點 
    title = tr.xpath(‘./td[2]/div/a/text()‘)[0]
    score = tr.xpath(‘./td[2]/div/div/span[2]/text()‘)[0]
    number = tr.xpath(‘./td[2]/div/div/span[3]/text()‘)[0]
    img = tr.xpath(‘./td[1]/a/img/@src‘)[0]
    print href,title,score,number,img

得到的結果和之前是一樣的。

但是，但是，這只是一個頁面的數據，我現在想爬取多個頁面的數據，怎麽辦呢？

獲取個多頁面數據.

觀察一下翻頁路徑：
https://music.douban.com/top250?start=0
https://music.douban.com/top250?start=25
https://music.douban.com/top250?start=50

有沒有發現頁面只是後面start參數發生了改變，且增長為每次25，並且250條數據正好是10頁。
所以我可以遍歷這個頁面。
代碼：

for i in range(10):
url = ‘https://music.douban.com/top250?start={}‘.format(i*25)
print url

得到：

https://music.douban.com/top250?start=0
https://music.douban.com/top250?start=25
https://music.douban.com/top250?start=50
https://music.douban.com/top250?start=75
https://music.douban.com/top250?start=100
https://music.douban.com/top250?start=125
https://music.douban.com/top250?start=150
https://music.douban.com/top250?start=175
https://music.douban.com/top250?start=200
https://music.douban.com/top250?start=225

正是自己要的結果。

好了最後我們把代碼拼裝在一起，並註意每個方法的用途。

完整代碼


# coding:utf-8
from lxml import etree
import requests

#獲取頁面地址
def getUrl():
    for i in range(10):
    url = ‘https://music.douban.com/top250?start={}‘.format(i*25)
    scrapyPage(url)

#爬取每頁數據
def scrapyPage(url):
    html = requests.get(url).text
    s = etree.HTML(html)
    trs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr‘)

    for tr in trs:
        href = tr.xpath(‘./td[2]/div/a/@href‘)[0]
        title = tr.xpath(‘./td[2]/div/a/text()‘)[0]
        score = tr.xpath(‘./td[2]/div/div/span[2]/text()‘)[0]
        number = tr.xpath(‘./td[2]/div/div/span[3]/text()‘)[0]
        img = tr.xpath(‘./td[1]/a/img/@src‘)[0]
        print href, title, score, number, img

if  ‘__main__‘:
    getUrl()

Python爬蟲：現學現用Xpath爬取豆瓣音樂

相關推薦

Python爬蟲：現學現用Xpath爬取豆瓣音樂

9.1 tree when href scrapy 發現 pat 直接 where 爬蟲的抓取方式有好幾種，正則表達式，Lxml(xpath)與Beautiful,我在網上查了一下資料，了解到三者之間的使用難度與性能 三種爬蟲方式的對比。 抓取方式 性能 使用難度

Python爬蟲：Windows系統下用pyquery庫解析含有中文的本地HTML檔案報UnicodeDecodeError的解決方法

由於Windows系統預設GBK編碼，用pyquery解析本地html檔案，如果檔案中有中文，會報錯： UnicodeDecodeError: 'gbk' codec can't decode byte 0xa3 in position 12: illegal multibyte sequenc

Python 爬蟲工程師必學 App數據抓取實戰

數據 pin 登錄 開頭 pan 任務 字段 www 哪些 第1章 課程介紹介紹課程目標、通過課程能學習到的內容、學會這些技能能做什麽，對公司業務有哪些幫助，對個人有哪些幫助。介紹目前app數據抓取有哪些困難，面臨的挑戰，本實戰課程會利用哪些工具來解決這些問題，以及本實戰課

Python爬蟲：十分鐘實現從資料抓取到資料API提供

  依舊先從爬蟲的基本概念說起，你去做爬蟲做資料抓取，第一件事想必是去檢視目標網站是否有api。有且可以使用的話，皆大歡喜。   假如目標網站自身不提供api，但今天你心情不好就想用api來抓資料，那

[Python/爬蟲]利用xpath爬取豆瓣電影top250

今天學習了一下xpath 感覺功能非常的強大，但是如果不太懂前端的小夥伴們可能比較吃力，建議看一下html的一些語法結構，程式碼如下： #!/usr/bin/env python import r

資料採集（四）：用XPath爬取鏈家網房價資料

準備工作 編寫爬蟲前的準備工作，我們需要匯入用到的庫，這裡主要使用的是requests和lxml兩個。還有一個Time庫，負責設定每次抓取的休息時間。 import requests import requests import time from lxml

資料採集（三）：用XPath爬取騰訊新聞

需要匯入的庫 import requests from lxml import etree 先用requests.get()方法請求頁面 result=requests.get("http://news.qq.com/") encode=resul

Python爬蟲之利用正則表達式爬取內涵吧

file res start cnblogs all save nts quest ide 首先，我們來看一下，爬蟲前基本的知識點概括 一. match()方法： 這個方法會從字符串的開頭去匹配（也可以指定開始的位置），如果在開始沒有找到，立即返回None，匹配到一個結果

Python爬蟲開源項目代碼，爬取微信、淘寶、豆瓣、知乎、新浪微博、QQ、去哪網等 代碼整理

http server 以及 pro 模擬登錄 取數 存在 漏洞 搜狗 作者：SFLYQ 今天為大家整理了32個Python爬蟲項目。 整理的原因是，爬蟲入門簡單快速，也非常適合新入門的小夥伴培養信心。所有鏈接指向GitHub，祝大家玩的愉快~ 1、WechatSogou

Python爬蟲為何可以這麽叼？爬取百度雲盤資源！並保存到自己雲盤

源碼下載 表達 har .cn bdb 裏的 image AC 賬號登錄 點擊它，再點擊右邊的【Cookies】就可以看到請求頭裏的 cookie 情況。 cookie分析 除了上面說到的兩個 cookie ，其他的請求頭參數可以參照手動轉存

python爬蟲系列(5.3-動態網站的爬取的策略)

一、認識動態網站 所謂的動態網站,是使用ajax加載出來的網頁,我們開啟網頁的時候可以正常顯示內容,但是我們在顯示網頁原始碼的時候,裡面卻找不到該節點. 二、常見動態網站的抓取方式 1、直接分析ajax呼叫的介面,然後通過程式碼請求這個介面 2、採用模擬瀏覽器請求該動態網站,然後獲取

Python爬蟲入門實戰系列（一）--爬取網路小說並存放至txt檔案

執行平臺： Windows  Python版本： Python3.x  一、庫檔案                      

Python爬蟲系列之百度貼吧爬取

今天給的一個爬蟲小事例，貼吧段子爬取這樣一個小功能，資料呢僅僅娛樂，沒有惡意想法 若有侵權，請私信刪除 此次用到的一個解析庫Beautiful Soup，更輕量簡單地對資料進行解析，已獲得目標資料 貼吧做的還是比較好，有一定的反爬機制，所以我們也應該有一定的應對措施

Python爬蟲實戰之Requests+正則表示式爬取貓眼電影Top100

import requests from requests.exceptions import RequestException import re import json # from multiprocessing import Pool # 測試了下 這裡需要自己新增頭部 否則得不到網頁 hea

python爬蟲中文亂碼問題（request方式爬取）

req = requests.get(url)返回的是類物件 其包括的屬性有： req.encoding:返回編碼方式 req.text：text返回的是處理過的Unicode型的資料 req.content：content返回的是bytes型的原始資料 conte

Python爬蟲學習之正則表達式爬取個人博客

9.png turn () htm parent ast string 則表達式 urn 實例需求：運用python語言爬取http://www.eastmountyxz.com/個人博客的基本信息，包括網頁標題，網頁所有圖片的url，網頁文章的url、標題以及摘要。 實

Python爬蟲入門教程 5-100 27270圖片爬取

retrying ont star 都是 ram emp ret afa else 獲取待爬取頁面 今天繼續爬取一個網站，http://www.27270.com/ent/meinvtupian/ 這個網站具備反爬，so我們下載的代碼有些地方處理的也不是很到位，大家重點

Python爬蟲入門實戰--------一週天氣預報爬取

    最近學校剛開始開設爬蟲課，我也剛剛如入門，嘗試寫了一個爬去成都市的一週的天氣預報。     目錄 一、軟體和庫的準備： 二、爬蟲的編寫： 三、全部程式碼 一、軟體和庫的準備： python環境安裝配置：安

Python爬蟲-利用百度地圖API介面爬取資料並儲存至MySQL資料庫

首先，我這裡有一份相關城市以及該城市的公園數量的txt檔案： 其次，利用百度地圖API提供的介面爬取城市公園的相關資訊。 所利用的API介面有兩個： 1、http://api.map.baidu.com/place/v2/search?q=公園&

python爬蟲進階使用多執行緒爬取小說

Python多執行緒，thread標準庫。都說Python的多執行緒是雞肋，推薦使用多程序。 Python為了安全考慮有一個GIL。每個CPU在同一時間只能執行一個執行緒      GIL的全稱是Global Interpreter