1. 程式人生 > >python 爬取電影

python 爬取電影

import requests

from bs4 import BeautifulSoup
url_a='https://movie.douban.com/top250'
def download_page(url):
    data=requests.get(url).content
    return data



def parse_html(html):
    soup=BeautifulSoup(html)
    movie_name_list=[]
    movie_list_soup=soup.find('ol',attrs={'class':"grid_view"})
    for movie_li in movie_list_soup.find_all('li'):
        detail=movie_li.find('div',attrs={'class':'hd'})
        movie_name=(detail.find('span',attrs={'class':'title'}).getText()).encode("utf8")
        movie_name_list.append(movie_name)
        print(movie_name)
    next_page=soup.find('span',attrs={'class':'next'}).find('a')
    if next_page:
        print('ok'+'   '+url_a+next_page['href'])
        return movie_name_list,url_a+next_page['href']
    return movie_name_list,None




def main():
    url_t=url_a
    while(url_t):
        html = (download_page(url_t))
        movies,url_t=parse_html(html)
        print(movies)
    #print(parse_html(html))
if __name__=='__main__':
    main()

相關推薦

python電影並下載

多說 即將 str 方法 單獨使用 技術 51cto format ble 一、概述 對於一個宅男,喜歡看電影,每次打開電影網站,各種彈出的廣告,很是麻煩,還是要自己去復制下載鏈接到迅雷上粘貼並下載,這個過程中還有選擇困難癥;這一系列的動作讓人甚是不爽,不如有下好的,點著看

Python電影天堂

前言: 本文非常淺顯易懂,可以說是零基礎也可快速掌握。如有疑問,歡迎留言,筆者會第一時間回覆。本文程式碼存於github 一、爬蟲的重要性: 如果把網際網路比喻成一個蜘蛛網,那麼Spider就是在網上爬來爬去的蜘蛛。網路蜘蛛通過網頁的連結地址來尋找網頁,從網站某一個頁面

python電影原始碼,小編以後看電影再也不用VIP了(有程式碼)

小編有發爬取電影的視訊,今天小編再發一篇爬取電影的文章。不是小編懶,是小編真的不知道寫什麼了,見諒。如果小編Get到新的技能,一定發。 是不是有好多的小夥伴跟好久好久以前的小編一樣,看一個電影充個會員,這個沒關係,最主要的是,充一個平臺的VIP還不行得有好幾個才可以。這麼貧窮的小編,當然只能看6分鐘的視訊

Python電影天堂最新發布影片訊息

從今天開始我會把我學習python爬蟲的一些心得體會和程式碼釋出在我現在的部落格,好記性不如爛筆頭,以便以後的我進行復習。 雖然我現在的爬蟲還很幼小,希望有一天她能長得非常非常的強大。 --------------------2018.11.22--------------------------------

史上最詳細Python電影教程,還不會那也是沒誰了

摘要: 作為小白,爬蟲可以說是入門python最快和最容易獲得成就感的途徑。因為初級爬蟲的套路相對固定,常見的方法只有幾種,比較好上手。選取網頁結構較為簡單的貓眼top100電影為案例進行練習。 重點是用上述所說的4種方法提取出關鍵內容。一個問題採用不同的解決方法有助於拓展思維,通過不斷練

python電影天堂網各個電影下載地址

# -*- coding:utf-8 -*- import requests from lxml import etree url="https://www.dy2018.com/html/gndy/dyzz/index.html" response=requests.ge

python 電影

import requests from bs4 import BeautifulSoup url_a='https://movie.douban.com/top250' def download_page(url): data=requests.get(url).

python電影天堂 _上

感謝哈士奇說喵 http://blog.csdn.net/MrLevo520/article/details/51966992 感謝麥子學院 麥芽老師 https://www.bilibili.com/video/av18407985/?t=3723 IDE python3

python電影天堂的下載連結

電影天堂下載連結都是magnet的,搞下來想下就下沒有廣告 # coding=utf-8 import urllib.request #import requests import re import random import json #爬取電影天堂電

Python電影天堂資源

步驟一:python的下載python爬蟲,首先需要本地電腦上安裝有python。首先,進入到python官網,你可以直接輸入python主頁,也可以從百度搜索框進入到python的主頁。然後在主頁上面可以看見Downloads字樣,點選。跳轉出python下載介面,選擇一個

python 電影名、電視名、或人民

#!/usr/bin/bash # -*- coding: utf-8 -*- import re import urllib2 from bs4 import BeautifulSoup

Python題目4:電影

sts pip pytho 靜態網頁 下載 返回 link 編碼格式 模塊 import re # 正則表達式,用於提取數據 import requests # 下載網頁源代碼 ‘‘‘ 安裝requests模塊:pip install requests 參考文檔:htt

python 豆瓣電影案例

數據 odin span content html temp com str self # conding=utf-8 from parse import parse_url import json class DoubanSpider: def __init

python貓眼電影top100排行榜

技術 所有 結果 mys url with 地址 保存 pic 爬取貓眼電影TOP100(http://maoyan.com/board/4?offset=90)1). 爬取內容: 電影名稱,主演, 上映時間,圖片url地址保存到mariadb數據庫中;2). 所有的圖片保

利用Python500萬以上的國產自拍小電影哦!

  宣告:本專案旨在學習Scrapy爬蟲框架和MongoDB資料庫,不可使用於商業和個人其他意圖。若使用不當,均由個人承擔。   PornHubBot PornHubBot專案主要是爬取全球最大的小電影網站PornHub的視訊標題、時長、mp4連結、封

Python爬蟲實戰專案2 | 動態網站的抓電影網站的資訊)

1.什麼是動態網站? 動態網站和靜態網站的區別在於,網頁中常常包含JS,CSS等動態效果的內容或者檔案,這些內容也是網頁的有機整體。但對於瀏覽器來說,它是如何處理這些額外的檔案的呢?首先瀏覽器先下載html檔案,然後根據需要,下載JS等額外檔案,它會自動去下載它們,如果我們要爬取這些網頁中的動態

python豆瓣電影Top250的資訊

python爬取豆瓣電影Top250的資訊 2018年07月25日 20:03:14 呢喃無音 閱讀數:50 python爬取豆瓣電影Top250的資訊。 初學,所以程式碼的不夠美觀和精煉。 如果程式碼有錯,請各位讀者在評論區評論,以免誤導其他同學。 (

從前輩的哪裡用python了日本的愛情電影,打包帶走趕緊跑

小編知道前輩一直的很節省,但是小編不知道前輩看電影裡面的人物也怎麼節省,都沒有錢去買衣服穿,連叫聲的那麼悽慘你,那真的是可憐呀!所以小編決定要做好事不留名的方法,把前輩電影裡面的演員穿上衣服。所以第一步就是怎麼從前輩哪裡爬取到電影,再偷偷的換了。哈哈哈 我佛慈悲。Tokyo真的有那麼hot?

python 豆瓣電影評論,並進行詞雲展示及出現的問題解決辦法

本文旨在提供爬取豆瓣電影《我不是藥神》評論和詞雲展示的程式碼樣例 1、分析URL 2、爬取前10頁評論 3、進行詞雲展示 1、分析URL 我不是藥神 短評 第一頁url https://movie.douban.com/subject/26752088/comments?start=0&limit=2

Python豆瓣電影的短評資料並進行詞雲分析處理

前言 對於爬蟲很不陌生,而爬蟲最為經典的案例就是爬取豆瓣上面的電影資料了,今天小編就介紹一下如果爬取豆瓣上面電影影評,以《我不是藥神》為例。 基本環境配置 版本:Python3.6 系統:Windows 本人對於Python學習建立了一個小小的學習圈子,為各位提供了