scrapy是用python開發的爬蟲框架,從網上查了安裝方法,感覺都說的挺復雜,而且很多教程都很有年頭了,于是記錄了自己的安裝過程。
首先安裝python,地址:https://www.python.org/downloads/release/python-2710/,注意根據你的系統下64位(Windows x86-64 MSI installer)還是32位的(Windows x86 MSI installer)。
現在是python3.6的天下了,建議大家安裝python3版本。
裝完以后就可以安裝scrapy了,推薦使用pip方式安裝,因為scrapy需要調用很多額外的庫,pip會全部幫你安裝好,不需要你在到處翻找了。
pip在python安裝完后就已經有了,不需要額外安裝,下面只要按照scrapy官網推薦的方法在命令提示符中輸入pip installscrapy(圖1),然后只需靜靜等待即可大功告成。
圖1
裝完以后可以敲入命令pip list看看已安裝的庫(圖2),出來很多啊,pip真是好東西。
圖2
現在試下看看建個爬蟲項目,按照說明文檔鍵入命令scrapy startproject tutorial,目錄已經出來(圖3),看來是沒問題了。但為了驗證是否安裝成功,還得跑一下看看,第一次創建項目的時候,系統會提示可以跑個例子看看(圖4)。按照提示鍵入命令
圖3
圖4
scrapy genspider example example.com創建一個爬蟲,再鍵入命令scrapy crawl example
運行爬蟲,結果如下(圖5),報錯了,貌似是缺少win32api,立即上網下了一個(http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/),
圖5
下的時候注意對應的python版本。win32api裝好以后再運行一次爬蟲(圖6),這次成功了,應該是沒問題了。
圖6
總結一下,其實剛開始網上找資料的時候看到上面寫的要先裝這個庫那個庫的時候心中很忐忑,結果發現不是很復雜,大多數問題pip都給解決了,剩下的就是具體問題具體研究,不過也沒碰到很復雜解決不了的問題。另外吐下槽就是網上的教程互抄的太厲害,看著一搜一堆,其實多數都大同小異,真正有價值的沒幾個,沒大腿抱就是辛苦呀。
最后說一下,scrapy目前還不支持python3.x版本,我用的是python2.7,如果你碰到莫名其妙的問題時請先看看自己有沒有裝錯python版本。
下面是其他網友補充的文章
環境
Windows7 64位
Python2.7.6 64位
|
新聞熱點
疑難解答