在管道檔案內編寫

pipelines管道檔案

• 另外寫一個類來處理儲存

# 儲存方式1
class QiubaiproPipeline(object):
    # 對提交的item物件，mysql資料庫儲存
    # 爬蟲每次提交item，該方法被執行一次
    def process_item(self, item, spider):
        return item

# 將資料存到本地磁碟2
class QiubaiByFiles(object):
    def process_item(self, item, spider):
        print
 
('此處省略，假裝寫入磁碟檔案')
        return item

setting檔案

• 將類名安格式寫入setting中
• 數值越高優先順序越高

# 數值越大優先順序越高
ITEM_PIPELINES = {
   'qiubaiPro.pipelines.QiubaiproPipeline': 300,  # 300優先順序
   'qiubaiPro.pipelines.QiubaiByFiles': 400,  # 優先順序更高
}