在spiders同級目錄下創建debug.py文件，用于啟動爬蟲測試。
~~~
import os
import sys
from scrapy.cmdline import execute
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy', 'crawl', 'taobao'])
~~~
也可以直接在命令行中運行以下命令啟動爬蟲
~~~
scrapy crawl taobao
~~~
把settings里的ROBOTSTXT_OBEY變量改為False,不遵守robots協議
~~~
ROBOTSTXT_OBEY = False
~~~
