爬取APP數據 · TUNA-daily

## 1. 爬取醫藥網使用工具：Charles抓包工具抓取手機端APP向外發出的http請求想要爬取APP數據，得到APP發出的url，然后用程序去爬就行了 ### 1.1 下載安裝Charles #### 1.1.1 下載 https://www.charlesproxy.com/download/ 下載完成后，一步步安裝即可 #### 1.1.2 配置Charles的代理端口 > 【Proxy】【Proxy Settings】 ![](https://box.kancloud.cn/5c148b70fb353440dc5c0c3f04721ceb_556x475.png) #### 1.1.3 手機綁定代理ip和端口就是電腦的ip和Charles綁定的端口（8888） 1. ![](https://box.kancloud.cn/3813f6aa430daab844da757d2c4378cb_1920x1080.png) 得到Charles的代理ip和端口 ![](https://box.kancloud.cn/543ae253ce21b91ba360ae9feaab0d34_537x118.png) 2. 安卓手機為例【WLAN設置】【長按住連接的WiFi】【選擇修改網絡】【設置代理ip和端口】 ![](https://box.kancloud.cn/6972b16847eb327cf969e2bf3a5f2016_1080x2160.png) 此時，手機端發出的請求，都會在Charles中捕獲 ### 1.2 獲取https https相當于http在安全性上的加強，因此攔截上也要費勁 #### 1.2.1 將要爬取的網站域名，設置為https代理【Proxy】【SSL Proxy Settings】【add】 ![](https://box.kancloud.cn/962b3e87dbe28f42d2ef8f64abb1af59_556x421.png) 此時打開藥房網的APP，此時可以攔截到App發出的APP請求 ![](https://box.kancloud.cn/134cd88162f6cd0f730cf72c8e24f096_1904x421.png) 此時，獲取App端正確的url，就可以在用程序爬蟲了，但是不進行域名與https的設置，就不能獲取正確的結果 ![](https://box.kancloud.cn/f64a94e9d2c6ea6ca570f2c0dcedd01d_1731x669.png) #### 1.2.2 手機安裝Charles證書手機瀏覽器訪問以下網址，一步步安裝就行了 http://chls.pro/ssl 瀏覽器也是這樣