題記：早已聽聞python爬蟲框架的大名。近些天學習了下其中的Scrapy爬蟲框架，將自己理解的跟大家分享。有表述不當之處，望大神們斧正。

一、初窺Scrapy

Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

其最初是為了 頁面抓取 (更確切來說, 網絡抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。

本文檔將通過介紹Scrapy背後的概念使您對其工作原理有所了解， 並確定Scrapy是否是您所需要的。

當您準備好開始您的項目後，您可以參考 入門教程 。

二、Scrapy安裝介紹

Scrapy框架運行平臺及相關輔助工具

• Python 2.7（Python最新版3.5，這裏選擇了2.7版本）
• Python Package: pip and setuptools. 現在 pip 依賴 setuptools ，如果未安裝，則會自動安裝setuptools 。
• lxml. 大多數Linux發行版自帶了lxml。如果缺失，請查看http://lxml.de/installation.html
• OpenSSL. 除了Windows(請查看 平臺安裝指南)之外的系統都已經提供。

您可以使用pip來安裝Scrapy(推薦使用pip來安裝Python package).

pip install Scrapy

Windows下安裝流程：

1、安裝Python 2.7之後，您需要修改 PATH 環境變量，將Python的可執行程序及額外的腳本添加到系統路徑中。將以下路徑添加到 PATH 中:

C:\Python27\;C:\Python27\Scripts\;

除此之外，還可以用cmd命令來設置Path：

c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py

安裝配置完成之後，可以執行命令python --version查看安裝的python版本。（如圖所示）

2、從 http://sourceforge.net/projects/pywin32/ 安裝 pywin32

請確認下載符合您系統的版本(win32或者amd64)

從 https://pip.pypa.io/en/latest/installing.html 安裝 pip

3、打開命令行窗口，確認 pip 被正確安裝:

pip --version

4、到目前為止Python 2.7 及 pip 已經可以正確運行了。接下來安裝Scrapy:

pip install Scrapy

至此windows下Scrapy安裝已經結束。

三、Scrapy入門教程

1、在cmd中創建Scrapy項目工程。

scrapy startproject tutorial

H:\python\scrapyDemo>scrapy startproject tutorial
New Scrapy project ‘tutorial‘, using template directory ‘f:\\python27\\lib\\site-packages\\scrapy\\templates\\project‘, created in:
    H:\python\scrapyDemo\tutorial

You can start your first spider with:
    cd tutorial
    scrapy genspider example example.com

2、文件目錄結構如下：。

解析scrapy框架結構：

• scrapy.cfg: 項目的配置文件。
• tutorial/: 該項目的python模塊。之後您將在此加入代碼。
• tutorial/items.py: 項目中的item文件。
• tutorial/pipelines.py: 項目中的pipelines文件。
• tutorial/settings.py: 項目的設置文件。
• tutorial/spiders/: 放置spider代碼的目錄。

3、編寫簡單的爬蟲

1、在item.py中配置需采集頁面的字段實例。

 1 # -*- coding: utf-8 -*-
 2 
 3 # Define here the models for your scraped items
 4 #
 5 # See documentation in:
 6 # http://doc.scrapy.org/en/latest/topics/items.html
 7 
 8 import scrapy
 9 from scrapy.item import Item, Field
10 
11 class TutorialItem(Item):
12     title = Field()
13     author = Field()
14     releasedate = Field()

2、在tutorial/spiders/spider.py中書寫要采集的網站以及分別采集各字段。

 1 # -*-coding:utf-8-*-
 2 import sys
 3 from scrapy.linkextractors.sgml import SgmlLinkExtractor
 4 from scrapy.spiders import CrawlSpider, Rule
 5 from tutorial.items import TutorialItem
 6 
 7 reload(sys)
 8 sys.setdefaultencoding("utf-8")
 9 
10 
11 class ListSpider(CrawlSpider):
12     # 爬蟲名稱
13     name = "tutorial"
14     # 設置下載延時
15     download_delay = 1
16     # 允許域名
17     allowed_domains = ["news.cnblogs.com"]
18     # 開始URL
19     start_urls = [
20         "https://news.cnblogs.com"
21     ]
22     # 爬取規則,不帶callback表示向該類url遞歸爬取
23     rules = (
24         Rule(SgmlLinkExtractor(allow=(r‘https://news.cnblogs.com/n/page/\d‘,))),
25         Rule(SgmlLinkExtractor(allow=(r‘https://news.cnblogs.com/n/\d+‘,)), callback=‘parse_content‘),
26     )
27 
28     # 解析內容函數
29     def parse_content(self, response):
30         item = TutorialItem()
31 
32         # 當前URL
33         title = response.selector.xpath(‘//div[@id="news_title"]‘)[0].extract().decode(‘utf-8‘)
34         item[‘title‘] = title
35 
36         author = response.selector.xpath(‘//div[@id="news_info"]/span/a/text()‘)[0].extract().decode(‘utf-8‘)
37         item[‘author‘] = author
38 
39         releasedate = response.selector.xpath(‘//div[@id="news_info"]/span[@class="time"]/text()‘)[0].extract().decode(
40             ‘utf-8‘)
41         item[‘releasedate‘] = releasedate
42 
43         yield item

3、在tutorial/pipelines.py管道中保存數據。

 1 # -*- coding: utf-8 -*-
 2 
 3 # Define your item pipelines here
 4 #
 5 # Don‘t forget to add your pipeline to the ITEM_PIPELINES setting
 6 # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
 7 import json
 8 import codecs
 9 
10 
11 class TutorialPipeline(object):
12     def __init__(self):
13         self.file = codecs.open(‘data.json‘, mode=‘wb‘, encoding=‘utf-8‘)#數據存儲到data.json
14 
15     def process_item(self, item, spider):
16         line = json.dumps(dict(item)) + "\n"
17         self.file.write(line.decode("unicode_escape"))
18 
19         return item

4、tutorial/settings.py中配置執行環境。

 1 # -*- coding: utf-8 -*-
 2 
 3 BOT_NAME = ‘tutorial‘
 4 
 5 SPIDER_MODULES = [‘tutorial.spiders‘]
 6 NEWSPIDER_MODULE = ‘tutorial.spiders‘
 7 
 8 # 禁止cookies,防止被ban
 9 COOKIES_ENABLED = False
10 COOKIES_ENABLES = False
11 
12 # 設置Pipeline,此處實現數據寫入文件
13 ITEM_PIPELINES = {
14     ‘tutorial.pipelines.TutorialPipeline‘: 300
15 }
16 
17 # 設置爬蟲爬取的最大深度
18 DEPTH_LIMIT = 100

5、新建main文件執行爬蟲代碼。

 1 from scrapy import cmdline
 2 cmdline.execute("scrapy crawl tutorial".split())

最終，執行main.py後在data.json文件中獲取到采集結果的json數據。

原文鏈接：http://www.cnblogs.com/liruihua/p/5957393.html

Python之Scrapy爬蟲框架安裝及簡單使用