Windows下安裝配置爬蟲工具Scrapy及爬蟲環境
阿新 • • 發佈:2018-12-10
爬蟲工具Scrapy在Mac和Linux環境下都相對好裝,但是在Windows上總會碰到各種莫名其妙的問題。本文記錄下Scrapy在Window上的安裝過程。 本文是基於Python2.7及Windows 10安裝Scrapy及各種爬蟲相關庫。
下載安裝Scrapy
-
按照官網建議下載安裝Anaconda,使用這個安裝比直接pip安裝會少很多問題。 下載地址
-
安裝完成後,python2.7也會自動安裝好,然後執行以下命令安裝Scrapy.
conda install -c conda-forge scrapy
安裝mysql驅動
-
下載並安裝mysql官方的驅動程式。下載地址
-
下載mysql的python驅動程式,可以把兩個都裝上,使用的時候再決定用哪個。
- MySQL官方的純Python驅動
pip install mysql-connector-python
-
封裝了MySQL C驅動的Python驅動
-
安裝Python版C++編譯程式。下載地址
-
拷貝mysql驅動(32位不需要這一步),將"C:\Program Files\MySQL" 拷貝到 “C:\Program Files (x86)\MySQL”。 目的是為了防止下一步的錯誤"Cannot open include file: ‘config-win.h’: No such file or directory"
-
安裝驅動
pip install MySQL-python
-
安裝資料庫連線池工具
pip install DBUtils
-
安裝其它相關的依賴庫
安裝BeautifulSoup
Beautiful Soup提供一些簡單的、python式的函式用來處理導航、搜尋、修改分析樹等功能。
pip install beautifulsoup4
安裝PyQuery
PyQuery庫也是一個非常強大又靈活的網頁解析庫。
pip install pyquery