<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ??一站式輕松地調用各大LLM模型接口,支持GPT4、智譜、豆包、星火、月之暗面及文生圖、文生視頻 廣告
                ## *****Gerapy 使用***** Gerapy 是一款分布式爬蟲管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 開發,Gerapy 可以幫助我們: 更方便地控制爬蟲運行 更直觀地查看爬蟲狀態 更實時地查看爬取結果 更簡單地實現項目部署 更統一地實現主機管理 更輕松地編寫爬蟲代碼(幾乎沒用,感覺比較雞肋) ## **Greapy安裝** ### 1.gerapy下載 ~~~ pip install gerapy ~~~ 查看是否安裝成功 ### 2.初始化gerapy ~~~ gerapy init ~~~ 執行后會在當前目錄下生成一個名字為gerapy的文件夾cd gerapy接著進入該文件夾下,可以看到project文件家說明初始化成功 ### 3.初始化數據庫 ~~~ gerapy migrate ~~~ (此命令在gerapy目錄下執行)會在gerapy目錄下生成一個sqlite數據庫,同時創建數據表 ### 4.運行gerapy服務 ~~~ gerapy runserver ~~~ (如果電腦在打開酷狗音樂,請關閉再訪問:因為端口是一樣的 ### 5.訪問gerapy管理界面 ~~~ http://127.0.0.1:8000 ~~~ 如果遇到:需要登錄賬號密碼 ,但是我們沒有設置的話,可以執行: ~~~ gerapy migrate ~~~ 初始化數據庫 ~~~ gerapy createsuperuser ~~~ 創建超級用戶 (之后就是輸入Username:, Email:--可以不用寫直接回車, Password:) ### 訪問成功!!! ### 7.點擊左側 Clients 選項卡,即主機管理頁面,添加我們的 Scrapyd 遠程服務,點擊右上角的創建按鈕即可添加我們需要管理的 Scrapyd 服務。 ![](https://img-blog.csdnimg.cn/20181214162005604.png) ![](https://img-blog.csdnimg.cn/20181214162013614.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NwXzEyMzMyMQ==,size_16,color_FFFFFF,t_70) ![](https://img-blog.csdnimg.cn/2018121416201975.png) ### 8.在cmd中,開啟scrapyd服務。(如果scrapyd在遠程服務器上已經部署成功了,那么是不需要再次進行開啟的。一般遠程服務器上的scrapyd會一直保持運行狀態。) 在cmd中輸入scrapyd,即可開啟服務. ![](https://img-blog.csdnimg.cn/20181214162513463.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NwXzEyMzMyMQ==,size_16,color_FFFFFF,t_70) ### 9.再次刷新主機管理,scrapyd的連接狀態變成normal即可。 ![](https://img-blog.csdnimg.cn/20181214162536357.png) # 二、在gerapy中部署爬蟲項目 ### 1\. 點擊左側的 Projects ,即項目管理選項。 ![](https://img-blog.csdnimg.cn/20181214162736688.png) ### 2.將自己的爬蟲項目,拷貝到gerapy目錄下的projects目錄下。 ![](https://img-blog.csdnimg.cn/20181214162749177.png) ### 3.刷新瀏覽器頁面,我們便可以看到 Gerapy 檢測到了這個項目。 ![](https://img-blog.csdnimg.cn/20181214162756462.png) ### 4.點擊部署按鈕進行打包和部署,在右下角我們可以輸入打包時的描述信息,類似于 Git 的 commit 信息,然后點擊打包按鈕,即可發現 Gerapy 會提示打包成功,同時在左側顯示打包的結果和打包名稱。 ![](https://img-blog.csdnimg.cn/20181214162812928.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NwXzEyMzMyMQ==,size_16,color_FFFFFF,t_70) ### 5.開始打包。 ![](https://img-blog.csdnimg.cn/20181214162837713.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NwXzEyMzMyMQ==,size_16,color_FFFFFF,t_70) ### 6.打包完成以后,開始將爬蟲項目部署到scrapyd服務上。 ![](https://img-blog.csdnimg.cn/2018121416285746.png) ### 三、開始調度爬蟲,檢測爬蟲的運行狀態。 ### 1.部署完畢之后就可以回到?“主機管理”頁面進行任務調度。 ![](https://img-blog.csdnimg.cn/20181214162955945.png) ### 2.選擇要運行的爬蟲項目。 ![](https://img-blog.csdnimg.cn/20181214163021300.png) ### 3.查看運行結果。 ![](https://img-blog.csdnimg.cn/20181214163043544.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NwXzEyMzMyMQ==,size_16,color_FFFFFF,t_70)
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看