# Scrapy 1.6文檔 本文檔包含您需要了解的有關Scrapy的所有信息。 ## 獲得幫助 遇到麻煩？我們想幫忙！ - 試試[常見問題](https://docs.scrapy.org/en/latest/faq.html) - 它有一些常見問題的答案。 - 尋找具體信息？嘗試[索引](https://docs.scrapy.org/en/latest/genindex.html)或[模塊索引](https://docs.scrapy.org/en/latest/py-modindex.html)。 - [使用scrapy標簽在StackOverflow中](https://stackoverflow.com/tags/scrapy)提問或搜索問題。 - 在[Scrapy子板塊](https://www.reddit.com/r/scrapy/)中詢問或搜索問題。 - 搜索[scrapy用戶郵件列表](https://groups.google.com/forum/#!forum/scrapy-users)的檔案問題。 - 在[#scrapy IRC頻道中](irc://irc.freenode.net/scrapy)提問。 - 在我們的[issues跟蹤器](https://github.com/scrapy/scrapy/issues)中提交Scrapy的bug。 - ## 第一步 [Scrapy初探](https://docs.scrapy.org/en/latest/intro/overview.html) ? 了解Scrapy是什么以及它如何幫助您。 [安裝指南](https://docs.scrapy.org/en/latest/intro/install.html) ? 在您的計算機上安裝Scrapy。 [Scrapy教程](https://docs.scrapy.org/en/latest/intro/tutorial.html) ? 寫下您的第一個Scrapy項目。 [例子](https://docs.scrapy.org/en/latest/intro/examples.html) ? 通過使用預設的Scrapy項目了解更多信息。 ## 基本概念 [命令行工具](https://docs.scrapy.org/en/latest/topics/commands.html) ? 學習用于管理您的Scrapy項目的命令行工具。 [爬蟲(Spiders)](https://docs.scrapy.org/en/latest/topics/spiders.html) ? 編寫規則以抓取您的網站。 [選擇器(Selectors)](https://docs.scrapy.org/en/latest/topics/selectors.html) ? 使用XPath從網頁中提取數據。 [Scrapy shell](https://docs.scrapy.org/en/latest/topics/shell.html) ? 在交互式環境中測試您的提取代碼。 [Items](https://docs.scrapy.org/en/latest/topics/items.html) ? 定義您要爬取的數據。 [Item Loaders(加載器)](https://docs.scrapy.org/en/latest/topics/loaders.html) ? 使用提取的數據填充您的Items。 [Item Pipeline(管道)](https://docs.scrapy.org/en/latest/topics/item-pipeline.html) ? 后期處理并存儲您已爬取的數據。 [原料輸出](https://docs.scrapy.org/en/latest/topics/feed-exports.html) ? 使用不同的格式和存儲輸出您的已爬取的數據。 [請求和響應](https://docs.scrapy.org/en/latest/topics/request-response.html) ? 理解用于表示HTTP請求和響應的類。 [鏈接提取器](https://docs.scrapy.org/en/latest/topics/link-extractors.html) ? 方便的類，用于從頁面中提取關聯鏈接。 [設置](https://docs.scrapy.org/en/latest/topics/settings.html) ? 學習如何配置Scrapy并查看所有[可用設置](https://docs.scrapy.org/en/latest/topics/settings.html#topics-settings-ref)。 [異常](https://docs.scrapy.org/en/latest/topics/exceptions.html) ? 查看所有可用的異常情況及其含義。 ## 內置服務 [日志記錄(Logging)](https://docs.scrapy.org/en/latest/topics/logging.html) ? 學習如何在Scrapy上使用Python的內置日志記錄。 [收集統計信息](https://docs.scrapy.org/en/latest/topics/stats.html) ? 收集有關您正在爬取的爬蟲的統計信息。 [發送電子郵件](https://docs.scrapy.org/en/latest/topics/email.html) ? 發生特定事件時發送電子郵件通知。 [Telnet控制臺](https://docs.scrapy.org/en/latest/topics/telnetconsole.html) ? 使用內置的Python控制臺檢查正在運行的爬蟲。 [網絡服務](https://docs.scrapy.org/en/latest/topics/webservice.html) ? 使用Web服務監視和控制爬蟲。 ## 解決具體問題 [經常問的問題](https://docs.scrapy.org/en/latest/faq.html) ? 獲得最常見問題的答案。 [調試爬蟲](https://docs.scrapy.org/en/latest/topics/debug.html) ? 學習如何調試scrapy爬蟲的常見問題。 [爬蟲合同](https://docs.scrapy.org/en/latest/topics/contracts.html) ? 學習如何使用合同來測試您的爬蟲。 [常見做法](https://docs.scrapy.org/en/latest/topics/practices.html) ? 熟悉一些Scrapy的常見做法。 [通用爬蟲](https://docs.scrapy.org/en/latest/topics/broad-crawls.html) ? Tune Scrapy可以并行抓取大量域名。 [使用瀏覽器的開發者工具進行抓取](https://docs.scrapy.org/en/latest/topics/developer-tools.html) ? 學習如何使用瀏覽器的開發者工具。 [調試內存溢出](https://docs.scrapy.org/en/latest/topics/leaks.html) ? 學習如何查找和清除爬蟲中的內存溢出。 [下載和處理文件及圖像](https://docs.scrapy.org/en/latest/topics/media-pipeline.html) ? 下載與已爬取Items關聯的文件和或圖像。 [部署爬蟲](https://docs.scrapy.org/en/latest/topics/deploy.html) ? 部署Scrapy爬蟲并在遠程服務器中運行它們。 [AutoThrottle擴展](https://docs.scrapy.org/en/latest/topics/autothrottle.html) ? 根據負載動態調整爬蟲速率。 [標桿管理](https://docs.scrapy.org/en/latest/topics/benchmarking.html) ? 檢查Scrapy如何在您的硬件上執行。 [Jobs：暫停和恢復抓取](https://docs.scrapy.org/en/latest/topics/jobs.html) ? 學習如何暫停和恢復大型爬蟲的抓取。 ## 擴展Scrapy [架構概述](https://docs.scrapy.org/en/latest/topics/architecture.html) ? 了解Scrapy架構。 [下載中間件](https://docs.scrapy.org/en/latest/topics/downloader-middleware.html) ? 自定義頁面的請求和下載。 [爬蟲中間件](https://docs.scrapy.org/en/latest/topics/spider-middleware.html) ? 自定義您的爬蟲的輸入和輸出。 [擴展](https://docs.scrapy.org/en/latest/topics/extensions.html) ? 使用您的自定義功能擴展Scrapy [核心API](https://docs.scrapy.org/en/latest/topics/api.html) ? 在擴展和中間件上使用它來擴展Scrapy功能 [信號](https://docs.scrapy.org/en/latest/topics/signals.html) ? 查看所有可用信號以及如何使用它們。 [Item導出](https://docs.scrapy.org/en/latest/topics/exporters.html) ? 快速將您已爬取的items導出到文件（XML，CSV等）。 ## 其他 [發行說明](https://docs.scrapy.org/en/latest/news.html) ? 查看最近Scrapy版本中的變化。 [為Scrapy做貢獻](https://docs.scrapy.org/en/latest/contributing.html) ? 學習如何為Scrapy項目做出貢獻。 [版本控制和API穩定性](https://docs.scrapy.org/en/latest/versioning.html) ? 了解Scrapy版本控制和API穩定性。 [下一個 ](https://docs.scrapy.org/en/latest/intro/overview.html)