## *****Gerapy 使用*****
Gerapy 是一款分布式爬蟲管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 開發,Gerapy 可以幫助我們:
更方便地控制爬蟲運行
更直觀地查看爬蟲狀態
更實時地查看爬取結果
更簡單地實現項目部署
更統一地實現主機管理
更輕松地編寫爬蟲代碼(幾乎沒用,感覺比較雞肋)
## **Greapy安裝**
### 1.gerapy下載
~~~
pip install gerapy
~~~
查看是否安裝成功
### 2.初始化gerapy
~~~
gerapy init
~~~
執行后會在當前目錄下生成一個名字為gerapy的文件夾cd gerapy接著進入該文件夾下,可以看到project文件家說明初始化成功
### 3.初始化數據庫
~~~
gerapy migrate
~~~
(此命令在gerapy目錄下執行)會在gerapy目錄下生成一個sqlite數據庫,同時創建數據表
### 4.運行gerapy服務
~~~
gerapy runserver
~~~
(如果電腦在打開酷狗音樂,請關閉再訪問:因為端口是一樣的
### 5.訪問gerapy管理界面
~~~
http://127.0.0.1:8000
~~~
如果遇到:需要登錄賬號密碼 ,但是我們沒有設置的話,可以執行:
~~~
gerapy migrate
~~~
初始化數據庫
~~~
gerapy createsuperuser
~~~
創建超級用戶 (之后就是輸入Username:, Email:--可以不用寫直接回車, Password:)
### 訪問成功!!!
### 7.點擊左側 Clients 選項卡,即主機管理頁面,添加我們的 Scrapyd 遠程服務,點擊右上角的創建按鈕即可添加我們需要管理的 Scrapyd 服務。



### 8.在cmd中,開啟scrapyd服務。(如果scrapyd在遠程服務器上已經部署成功了,那么是不需要再次進行開啟的。一般遠程服務器上的scrapyd會一直保持運行狀態。)
在cmd中輸入scrapyd,即可開啟服務.

### 9.再次刷新主機管理,scrapyd的連接狀態變成normal即可。

# 二、在gerapy中部署爬蟲項目
### 1\. 點擊左側的 Projects ,即項目管理選項。

### 2.將自己的爬蟲項目,拷貝到gerapy目錄下的projects目錄下。

### 3.刷新瀏覽器頁面,我們便可以看到 Gerapy 檢測到了這個項目。

### 4.點擊部署按鈕進行打包和部署,在右下角我們可以輸入打包時的描述信息,類似于 Git 的 commit 信息,然后點擊打包按鈕,即可發現 Gerapy 會提示打包成功,同時在左側顯示打包的結果和打包名稱。

### 5.開始打包。

### 6.打包完成以后,開始將爬蟲項目部署到scrapyd服務上。

### 三、開始調度爬蟲,檢測爬蟲的運行狀態。
### 1.部署完畢之后就可以回到?“主機管理”頁面進行任務調度。

### 2.選擇要運行的爬蟲項目。

### 3.查看運行結果。

- thinkphp
- thinkphp筆記
- 后臺登陸退出
- config配置
- 隱藏后臺模塊
- 單獨調用騰訊云行為驗證碼
- api接口跨域問題
- api接口創建案例代碼
- 使用gateway worker
- 使用swoole代碼筆記
- 使用隊列 think-queue筆記
- 后臺布局
- MySQL
- 1、關于lnmp mysql的一個坑
- 2、mysql實現group by后取各分組的最新一條
- 其他
- 搞笑的注釋代碼
- 分頁類
- nodejs 打包網址為exe
- 免費天氣預報API接口
- Ajax
- 簡單的ajax分頁1
- 通用ajax-post提交
- 引用的類庫文件
- Auth.php
- Auth.php權限控制對應的數據庫表結構
- Layui.php
- Pinyin.php
- Random.php
- Tree.php
- Tree2.php
- Js-Jq
- Git的使用
- 3、bootstrap-datetimepicker實現兩個時間范圍輸入
- CentOS安裝SSR做梯子
- Python爬蟲
- 1、安裝Gerapy
- 2、安裝Scrapy
- 3、Scrapy使用
- 4、Scrapy框架,爬取網站返回json數據(spider源碼)
- 0、Python pip更換國內源(一句命令換源)
- 服務器運維
- 1、寶塔使用webhook更新服務器代碼
- 2、搭建內網穿透
- 3、數據庫主從同步
- 4、數據庫復制
- hui-Shop問題
- 1、前端模板的注意事項
- 2、模板標簽