# 爬蟲的分類
- 通用型爬蟲
全網爬蟲，搜索引擎
- 聚焦型爬蟲
- 增量爬蟲
每隔一段時間更新
- 深層爬蟲
需要登陸 需要提交數據
分時間段爬去相關關鍵字額淘寶搜索
分析前100個商品的標題，從而可以找出
淘寶商品標題的seo優化關鍵詞
# 寫一個爬蟲的步驟
## 1.目的
- 需要爬取哪個網站，什么內容，持久化，性能要求（穩定、效率）
`網站：爬取淘寶`
`內容：搜索關鍵字后的商品信息`
`性能：穩定`
`目的：生成Excel表格`
## 2.分析
- 分析網頁加載流程
- 動態加載(異步加載)
`ajax`
`js生成`
python的json模塊轉字典
- 分析網頁的信息，提取需要的信息
`re 正則表達式`
`Beautifulsoup`
## 3.實現
- 根據分析的結果，代碼實現
`request` `urllib`
## 網頁的加載流程
