Python爬蟲 -下載百度貼吧圖片
阿新 • • 發佈:2018-12-12
先放上程式的程式碼
import urllib.request import os import easygui as g import re def url_open(url): req = urllib.request.Request(url) req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36') response = urllib.request.urlopen(req) html = response.read() return html def find_imgspath(url): html = url_open(url).decode('utf-8') img_addrs = re.findall(r'http://imgsrc.baidu.com/forum/w%3D580/sign=.+?.jpg', html) img_addrs2 = re.findall(r'https://imgsa.baidu.com/forum/w%3D580/sign=.+?.jpg', html) img_addrs.extend(img_addrs2) #print(img_addrs) return (img_addrs) def save_imgs(folder, img_addrs): for each in img_addrs: filename = each.split('/')[-1] with open(filename, 'wb') as f: img = url_open(each) f.write(img) def download(url, folder, pages): os.chdir(folder) url = url + "?pn=" for i in range(int(pages[0]), int(pages[1])+1): page_url = url + str(i) #print(page_url) img_addrs = find_imgspath(page_url) save_imgs(folder, img_addrs) if __name__ == '__main__': url = g.enterbox(msg=' 請輸入要下載的帖子的地址如: \n https://tieba.baidu.com/p/4693512264', title='貼吧帖子圖片下載工具') page_num = g.multenterbox(msg='輸入要下載的頁數區間', title='', fields=['起始頁', '終止頁']) upath = g.diropenbox('請選擇需要儲存的資料夾') download(url, upath, page_num)
程式用easygui編寫了簡單的圖形介面 在介面輸入相關資訊後,資料傳入download函式進行處理,download將傳過來的貼吧連結進行加工變成新的連結傳入find_imgspath函式,在此函式中,會對原始碼中的圖片地址進行篩選。
img_addrs = re.findall(r'http://imgsrc.baidu.com/forum/w%3D580/sign=.+?.jpg', html)
img_addrs2 = re.findall(r'https://imgsa.baidu.com/forum/w%3D580/sign=.+?.jpg', html)
根據分析連結中圖片地址為以上兩種(僅找到兩種),此處應用了正則表示式來進行地址查詢,將查詢後的地址已陣列的形式傳遞給save_imgs進行下載。
url_open 為開啟連結的函式,使用req.add_header,將User-Agent修改成瀏覽器的樣子。
就是這樣,程式非常簡單,但是對於我這段時間學習python來說,自己很有成就感,程式也有很多沒考慮到的地方,以後繼續學習,努力改善吧。
發個牢騷,記錄一下生活
哎,最近開始畢業找工作,好難?
上一次寫類似的東西應該是在七八年前的QQ空間吧,紀念一下。