~~~ # -*- coding: utf-8 -*- import scrapy # 導入模型item from scrapy_demo.items import ScrapyDemoItem class ItcastSpider(scrapy.Spider): # 一個scrapy項目可以有多個爬蟲，name是其唯一標識，同一項目不能有同名的爬蟲 name = 'itcast' allowed_domains = ['itcast.cn'] # 爬蟲的起始爬蟲點 start_urls = ['http://www.itcast.cn/channel/teacher.shtml'] # 一個頁面下載完，scrapy引擎會回調一個我們指定的頁面解析函數（默認parse） # 解析函數通常完成兩個任務： # 提取頁面中的數據（使用xpath或css選擇器） # 提取頁面中的鏈接，并產生對鏈接頁面的下載請求 # 頁面解析函數通常被實現成一個生成器函數，每一項從頁面中提取的數據以及每一個對鏈接頁面的下載請求都???yield語句提交給scrapy引擎 def parse(self, response): node_list = response.xpath('//div[@class="li_txt"]') for node in node_list: name = node.xpath('./h3/text()').extract()[0] title = node.xpath('./h4/text()').extract()[0] desc = node.xpath('./p/text()').extract()[0] item = ScrapyDemoItem() item['name'] = name item['title'] = title item['desc'] = desc yield item ~~~