1. 介紹

Scrapy提供了一個 item pipeline ，來下載屬於某個特定專案的圖片，比如，當你抓取產品時，也想把它們的圖片下載到本地。

這條管道，被稱作圖片管道，在 ImagesPipeline 類中實現，提供了一個方便並具有額外特性的方法，來下載並本地儲存圖片:

• 將所有下載的圖片轉換成通用的格式（JPG）和模式（RGB）
• 避免重新下載最近已經下載過的圖片
• 縮圖生成
• 檢測影象的寬/高，確保它們滿足最小限制

這個管道也會為那些當前安排好要下載的圖片保留一個內部佇列，並將那些到達的包含相同圖片的專案連線到那個佇列中。 這可以避免多次下載幾個專案共享的同一個圖片

2. 使用圖片管道

當使用 ImagesPipeline ，典型的工作流程如下所示:

1. 在一個爬蟲裡，你抓取一個專案，把其中圖片的URL放入 image_urls 組內
2. 專案從爬蟲內返回，進入專案管道
3. 當專案進入 ImagesPipeline，image_urls 組內的URLs將被Scrapy的排程器和下載器（這意味著排程器和下載器的中介軟體可以複用）安排下載，當優先順序更高，會在其他頁面被抓取前處理。專案會在這個特定的管道階段保持“locker”的狀態，直到完成圖片的下載（或者由於某些原因未完成下載）。
4. 當圖片下載完，另一個組(images)將被更新到結構中。這個組將包含一個字典列表，其中包括下載圖片的資訊，比如下載路徑、源抓取地址（從 image_urls 組獲得）和圖片的校驗碼。 images 列表中的圖片順序將和源 image_urls 組保持一致。如果某個圖片下載失敗，將會記錄下錯誤資訊，圖片也不會出現在 images 組中

3. 具體流程(此處以zol網站為例)

1. 定義item

import scrapy


class ImagedownloadItem(scrapy.Item):
    # define the fields for your item here like:
    img_name = scrapy.Field()
    img_urls =scrapy.Field()

2. 編寫spider

思路：獲取檔案地址-->獲取圖片名稱-->推送地址

此處是一張一張的推送

class ZolSpiderSpider(scrapy.Spider):
    name = 'zol'
    allowed_domains = ['zol.com.cn']
    url ='http://desk.zol.com.cn'
    start_urls = [url+'/bizhi/7106_88025_2.html']

    def parse(self, response):
        image_url = response.xpath('//img[@id="bigImg"]/@src').extract_first()
        image_name = response.xpath('//h3')[0].xpath('string(.)').extract_first().strip().replace('\r\n\t\t', '')
        next_image = response.xpath('//a[@id="pageNext"]/@href').extract_first()
        item = ImagedownloadItem()
        item["img_name"] = image_name
        item["img_urls"] = image_url
        yield item

        yield scrapy.Request(self.url+next_image,callback=self.parse,)
 

3. 編寫pipline

以下如果不想改檔名，meta屬性可以忽略不寫

    def get_media_requests(self, item, info):
        '''
        #如果item[urls]裡裡面是列表，用下面
        urls= item['urls']
        for url in urls:
            yield scrapy.Request(url,meta={"item",item})
        '''
        # 如果item[urls]裡裡面是一個圖片地址，用這下面的
        yield scrapy.Request(item['img_urls'], meta={"item": item})

因為scrapy裡是使用它們URL的 SHA1 hash 作為檔名，所以如果想重新命名：

  def file_path(self, request, response=None, info=None):
        item = request.meta["item"]
        #去掉檔案裡的/,避免建立圖片檔案時出錯
        filename = item["img_name"].replace("/","-")+".jpg"

        return filename

4. 定義圖片儲存在哪？
   在settings中增加一句

IMAGES_STORE = "e:/pics"