## *****Gerapy 使用***** Gerapy 是一款分布式爬蟲管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 開發，Gerapy 可以幫助我們： 更方便地控制爬蟲運行 更直觀地查看爬蟲狀態 更實時地查看爬取結果 更簡單地實現項目部署 更統一地實現主機管理 更輕松地編寫爬蟲代碼(幾乎沒用,感覺比較雞肋) ## **Greapy安裝** ### 1.gerapy下載 ~~~ pip install gerapy ~~~ 查看是否安裝成功 ### 2.初始化gerapy ~~~ gerapy init ~~~ 執行后會在當前目錄下生成一個名字為gerapy的文件夾cd gerapy接著進入該文件夾下，可以看到project文件家說明初始化成功 ### 3.初始化數據庫 ~~~ gerapy migrate ~~~ （此命令在gerapy目錄下執行）會在gerapy目錄下生成一個sqlite數據庫，同時創建數據表 ### 4.運行gerapy服務 ~~~ gerapy runserver ~~~ （如果電腦在打開酷狗音樂，請關閉再訪問：因為端口是一樣的 ### 5.訪問gerapy管理界面 ~~~ http://127.0.0.1:8000 ~~~ 如果遇到：需要登錄賬號密碼 ，但是我們沒有設置的話，可以執行： ~~~ gerapy migrate ~~~ 初始化數據庫 ~~~ gerapy createsuperuser ~~~ 創建超級用戶 （之后就是輸入Username:， Email:--可以不用寫直接回車， Password:） ### 訪問成功！！！ ### 7.點擊左側 Clients 選項卡，即主機管理頁面，添加我們的 Scrapyd 遠程服務，點擊右上角的創建按鈕即可添加我們需要管理的 Scrapyd 服務。    ### 8.在cmd中，開啟scrapyd服務。(如果scrapyd在遠程服務器上已經部署成功了，那么是不需要再次進行開啟的。一般遠程服務器上的scrapyd會一直保持運行狀態。) 在cmd中輸入scrapyd,即可開啟服務.  ### 9.再次刷新主機管理，scrapyd的連接狀態變成normal即可。  # 二、在gerapy中部署爬蟲項目 ### 1\. 點擊左側的 Projects ，即項目管理選項。  ### 2.將自己的爬蟲項目，拷貝到gerapy目錄下的projects目錄下。  ### 3.刷新瀏覽器頁面，我們便可以看到 Gerapy 檢測到了這個項目。  ### 4.點擊部署按鈕進行打包和部署，在右下角我們可以輸入打包時的描述信息，類似于 Git 的 commit 信息，然后點擊打包按鈕，即可發現 Gerapy 會提示打包成功，同時在左側顯示打包的結果和打包名稱。  ### 5.開始打包。  ### 6.打包完成以后，開始將爬蟲項目部署到scrapyd服務上。  ### 三、開始調度爬蟲，檢測爬蟲的運行狀態。 ### 1.部署完畢之后就可以回到?“主機管理”頁面進行任務調度。  ### 2.選擇要運行的爬蟲項目。  ### 3.查看運行結果。