1. 程式人生 > >scrapy中response和瀏覽器網頁xpath不同的解決辦法

scrapy中response和瀏覽器網頁xpath不同的解決辦法

terminal中快速驗證xpath是否正確無誤在termianl中輸入:

# 網址的引號可加可不加,親測;

scrapy shell "https://www.csdn.net/nav/ai"

response.xpath("//*[@id='feedlist_id']/li[1]/div/div[2]/h2/a/text()").extract()

view(response)

f12後通過點選元素並郵件選擇css表示式;然後使用Chrome瀏覽器的xpath helper外掛進行驗證;

怎麼解決response頁面和瀏覽器js處理後頁面不一致導致無法正確快速的寫出xpath程式碼:

在shell中輸入view(response) 就會把之前的response在瀏覽器開啟,這樣就可以完全按照網站返回來判斷xpath的寫法.