對於scrapy框架的使用，爬取資料，多次執行命令列也是比較頭疼和麻煩的，這裡建議Windows+R鍵輸入cmd進入命令列，切入至專案所在目錄後執行scrapy shell  url’命令，可以很直觀的檢測程式是否出錯，如xpath匹配路徑是否正確獲取資料，這是一個用於簡單測試的非常便捷的方法。

1.建立專案：scrapy startprojet budejie

2.定義資料模型檔案——items.py檔案：

# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
 
# https://doc.scrapy.org/en/latest/topics/items.html
import scrapy


class BudejieItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
content=scrapy.Field()

3.爬蟲程式檔案——budejie.py檔案

# coding:utf-8
'''
使用scrapy框架進行深度爬蟲，爬取百思不得姐的內涵段子'''
# 引入需要的模組
import scrapy
from ..items import 
 
BudejieItem
class BudejieSpider(scrapy.Spider):
    name='baisibudejie'
allowed_domains=['budejie.com']
    start_urls=['http://www.budejie.com/text/2']

    def parse(self,response):
        '''
在這個函式中不做任何資料處理，只是將第一個url加入到urljoin中
        並將請求物件交給parse_response進行資料處理
:param response:
:return:
        '''
 
url=response.urljoin(self.start_urls[0])
        yield scrapy.Request(url,callback=self.parse_response)

    def parse_response(self,response):
        '''
在這個函式中才是真的資料處理，將篩選後的資料逐個交給pipelines管道模組進行儲存
:param response:
:return:
        '''
        # 1.將資料儲存在本地表格檔案，一般用於測試
# 定義一個列表，專門用於儲存段子內容
content_list=[]
        # 使用xpath對段子內容進行過濾、篩選
contents= response.xpath("//div[@class='j-r-list-c']/div[@class='j-r-list-c-desc']/a").xpath("string(.)").extract()
        for content in contents:
            new_item=BudejieItem()
            new_item['content']=content
            content_list.append(new_item)
            yield new_item


        # 將第一頁的資料爬取篩選完畢後，篩選頁面連結/a/@href,.extract()是將選擇器物件轉換成Unicode物件
page_list=response.xpath("//div[@class='m-page m-page-sr m-page-sm']/a/@href").extract()

        for page in page_list:
            # 將路由交由urljoin（）管理，去重
url=response.urljoin(page)
            # 建立新的請求物件，交由自己處理，遞迴，依次篩選資料，並yield交給管道模組
yield scrapy.Request(url,callback=self.parse_response)

4.管道模組：pipelines.py檔案，記得在settngs.py檔案中將對應的pipeline型別新增

ITEM_PIPELINES = {
   'budejie.pipelines.BudejiePipeline': 300,
}

# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
import pymysql
pymysql.install_as_MySQLdb()
class BudejiePipeline(object):
    def __init__(self):
        '''
初始化函式，與資料庫建立連線        '''
self.engine=create_engine('mysql://root:[email protected]/python_spider?charset=utf8')
        Session=sessionmaker(bind=self.engine)
        self.session=Session()

    def close_spider(self,spider):
        '''
在爬蟲程式關閉呼叫的函式,關閉資料庫的連線
:param spider:
:return:
        '''
        # 在關閉與資料庫連線之前確保所有的sql語句已經提交
self.session.commit()
        self.session.close()
    def process_item(self, item, spider):
        '''
核心處理函式，專門處理爬蟲程式中已經封裝好的item物件
:param item:
:param spider:
:return:
        '''
print('正在儲存資料')
        sql="insert into budejie(content) values('%s')"%item['content']
        # 執行sql語句
self.session.execute(sql)