【Python爬蟲】入門級爬蟲案例，20行程式碼爬取網站圖片（附原始碼）
阿新 • • 發佈：2021-10-16
知識點
- 爬蟲的步驟
- requests
- parsel
- xpath資料解析
爬蟲四個步驟:
1.獲取網頁地址 (目標地址)
2.傳送請求
3.資料解析
4.儲存 本地
【付費VIP完整版】只要看了就能學會的教程，80集Python基礎入門視訊教學
分析網站
目標網址：https://hdqwalls.com/
網站是靜態資料，那麼只要找到它的規律，以及url地址就行
對於本篇文章有疑問的同學可以加【資料白嫖、解答交流群：1039649593】
程式碼實現
匯入模組
import requests import parsel
請求資料
url =f'https://hdqwalls.com/latest-wallpapers/page/1' # url = 'https://hdqwalls.com' # 請求頭 偽裝 爬蟲:偽裝成客戶端向伺服器傳送資料請求 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36' } requ = requests.get(url=url, headers=headers).text
資料解析
sel = parsel.Selector(requ) # <Selector xpath=None data='<html lang="en">\n<head>\n<script src="...'> pic_html = sel.xpath('//body/div/div[3]/div/a[1]/@href').getall() for html in pic_html: pic_html = 'https://hdqwalls.com' + html requ2 = requests.get(url=pic_html, headers=headers).text sel2= parsel.Selector(requ2) title = sel2.xpath('//body/header/div/div/h1/text()').get().strip() href = sel2.xpath('//body/div/div[2]/div/div/div/a/@href').get() # 二進位制請求 requ3 = requests.get(url=href, headers=headers).content
儲存資料
with open('桌布\\' + title + '.jpg', mode='wb')as fp: fp.write(requ3) print(title, '下載完成')
新增翻頁後的完整程式碼
import requests import parsel for page in range(1,6): # 包頭不包尾 url =f'https://hdqwalls.com/latest-wallpapers/page/{page}' # url = 'https://hdqwalls.com' # 請求頭 偽裝 爬蟲:偽裝成客戶端向伺服器傳送資料請求 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36' } requ = requests.get(url=url, headers=headers).text # <Response [200]> 資料請求成功 sel = parsel.Selector(requ) # <Selector xpath=None data='<html lang="en">\n<head>\n<script src="...'> pic_html = sel.xpath('//body/div/div[3]/div/a[1]/@href').getall() for html in pic_html: pic_html = 'https://hdqwalls.com' + html requ2 = requests.get(url=pic_html, headers=headers).text sel2 = parsel.Selector(requ2) title = sel2.xpath('//body/header/div/div/h1/text()').get().strip() href = sel2.xpath('//body/div/div[2]/div/div/div/a/@href').get() # 二進位制請求 requ3 = requests.get(url=href, headers=headers).content with open('桌布\\' + title + '.jpg', mode='wb')as fp: fp.write(requ3) print(title, '下載完成') print(f'----------------------第{page}頁下載完成----------------------')