感謝哈士奇說喵 http://blog.csdn.net/MrLevo520/article/details/51966992

感謝麥子學院 麥芽老師 https://www.bilibili.com/video/av18407985/?t=3723

IDE python3.6.3

pycharm

本來計劃寫個視窗，裡面可以顯示爬下的電影天堂的連結，然後一邊學爬蟲一邊寫。結果發現在B站看見老師的課程了，所以就跟著寫出來了。而視窗還得一段時間，計劃用pyqt。

以下是爬取最新電影的原始碼，親測可以，但是在爬的過程中會被拒絕訪問。爬取的資料儲存在文字中。

#名稱為date.txt的文字文件儲存在E:\Python\pythonProject\movies\date.txt
 

import requests #下載網頁原始碼
import re       #正則表示式模組，提取資料
import time
import random

print ("please wait...system loding...")

for m in range(1,10):  #160頁
    PostUrl = "http://www.ygdy8.net/html/gndy/dyzz/list_23_"+str(m)+".html" #url的構造方式
    html = requests.get(PostUrl)  #獲取靜態網頁
    html.encoding = 'gb2312' #指定網頁編碼方式（檢視網頁原始碼）
    #提取資訊，返回的是列表
    #匹配 以<a href="(.*?)" class="ulink">結尾的資訊
    date = re.findall('<a href="(.*?)" class="ulink">',html.text) #(.*?)
    print("第" + str(m) + "頁")
    time.sleep(random.randint(1, 2))
    for n in date:
        finalUrl = "http://www.ygdy8.net"+n
        time.sleep(random.randint(1, 2))
        html2 = requests.get(finalUrl)
        html2.encoding = 'gb2312'
        ftp = re.findall('<a href="(.*?)">ftp://',html2.text)
        with open(r'E:\Python\pythonProject\movies\date.txt', 'a', encoding='gb2312') as f:
            f.write(ftp[0] + '\n')
        print(ftp)