1. 程式人生 > >Scrapy爬蟲框架的安裝和使用

Scrapy爬蟲框架的安裝和使用

deep 使用 cts file pen ESS win .org all

Scrapy是一個十分強大的爬蟲框架,依賴的庫比較多,至少需要依賴的庫有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平臺環境下,它所依賴的庫也各不相同,所以在安裝之前,最好確保把一些基本庫安裝好。
官方網站:https://scrapy.org
官方文檔:https://docs.scrapy.org
PyPI:https://pypi.python.org/pypi/Scrapy
GitHub:https://github.com/scrapy/scrapy
中文文檔:http://scrapy-chs.readthedocs.io

一、安裝Scrapy

如果你的Python是使用Anaconda安裝的

conda install Scrapy

Windows下的安裝
下載安裝pyOpenSSL https://pypi.python.org/pypi/pyOpenSSL#downloads
下載安裝Twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下載安裝PyWin32 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/
pip3 install Scrapy

CentOS和Red Hat

sudo yum groupinstall -y development tools
sudo yum install -y epel-release libxslt-devel libxml2-devel openssl-devel
pip3 install Scrapy

Ubuntu、Debian和Deepin

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
pip3 install Scrapy

Scrapy爬蟲框架的安裝和使用