<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ThinkChat2.0新版上線,更智能更精彩,支持會話、畫圖、視頻、閱讀、搜索等,送10W Token,即刻開啟你的AI之旅 廣告
                [TOC] ## 1.Scrapy框架 ![](https://img.kancloud.cn/06/d8/06d857c5c4c55673d2a093ee450e37d0_944x522.png) **ENGINE** 引擎,框架的核心,控制其他組件協同工作。 **SCHEDULER** 調度器,負責對SPIDER提交的下載請求進行調度 **DOWNLOADER** 下載器,負責下載頁面 **SPIDER** 爬蟲,負責提取頁面中的數據,并產生新的請求 **MIDDLEWARE** 中間件,負責對Request對象和Response對象進行處理 **ITEM PIPELINE** 數據管道,負責對爬取到的數據進行處理 ## **2.安裝** ``` pip install scrapy # 檢查安裝是否成功 scrapy ``` ## **3.基本使用** ### **3.1.創建項目** ``` scrapy startproject example ``` 目錄結構: ![](https://img.kancloud.cn/4f/0e/4f0efb9f5529cec7e4451114b0108e97_235x187.png) ### **3.2.實現爬蟲** 在`spiders`目錄下創建文件如`boos_spider.py`。 ![](https://img.kancloud.cn/cd/1e/cd1eefc3162467d543091dc9c7c2098a_823x735.png) * name:一個項目中有多個爬蟲,name屬性是唯一標識; * start_urls:爬蟲的起始頁面; * parse:當一個頁面下載完成后,Scrapy會回調一個指定的解析函數來解析頁面, 通常完成兩個任務:提取數據和提取鏈接。 ### **3.3.運行爬蟲** ``` scrapy crawl books -o books.csv ``` ## **4.編寫Spider**
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看