這篇文章主要介紹了python scrapy重複執行實現程式碼詳解,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用框架，我們只需要實現少量的程式碼，就能夠快速的抓取

Scrapy模組：

1、scheduler:用來存放url佇列

2、downloader：傳送請求

3、spiders:提取資料和url

4、itemPipeline：資料儲存

from twisted.internet import reactor,defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制檯列印日誌
configure_logging()
#CrawlerRunner獲取settings.py裡的設定資訊
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
  while True:
    logging.info("new cycle starting")
    yield runner.crawl("xxxxx")
    #1s跑一次
    time.sleep(1)
  reactor.stop()
 
crawl()
reactor.run()

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。