## **創建項目** scrapy startproject project_name ---------- 創建爬蟲模板 scrapy genspider douban movie.douban.com ----------------- 啟動爬蟲 scrapy crawl 爬蟲名 輸出日志 scrapy crawl douban_spider -s LOG_FILE=douban.log 把下面命令保存到文件,然后直接運行這文件 from scrapy import cmdline cmdline.execute('scrapy crawl douban_spider -s LOG_FILE=douban.log'.split()) split()去掉空字符,防止出錯 ***** 命令行調試模式 scrapy shell 抓取的url ----------------- 保存數據 scrapy crawl douban_spider -o test.csv scrapy crawl douban_spider -o test.json --------------------- fetch命令主要用來顯示爬蟲爬取的過程 scrapy fetch http://mail.qq.com/ --------------------- scrapy resume crawl 幫你google了一下scrapy resume crawl，然后直接就定位到官方文檔的任務暫停與重啟了 就是加一個選項就OK scrapy crawl somespider -s JOBDIR=crawls/somespider-1