# 1.7.2 mitmproxy的安裝
## 1.說明
MitmProxy是一個支持HTTP和HTTPS的抓包程序,類似于Fiddler、Charles功能。
同時MitmProxy還有兩個關聯組件,一個是MitmDump,是MimtmProxy的命令行接口,另一個是MitmWeb,是一個web程序,可以清楚地觀察到MitmProxy捕獲的請求
## 2. 相關鏈接 {#1-相關鏈接}
* GitHub:[https://github.com/mitmproxy/mitmproxy](https://github.com/mitmproxy/mitmproxy)
* 官方網站:[https://mitmproxy.org](https://mitmproxy.org/)
* PyPi:[https://pypi.python.org/pypi/mitmproxy](https://pypi.python.org/pypi/mitmproxy)
* 官方文檔:[http://docs.mitmproxy.org](http://docs.mitmproxy.org/)
* MitmDump腳本:[http://docs.mitmproxy.org/en/stable/scripting/overview.html](http://docs.mitmproxy.org/en/stable/scripting/overview.html)
* 下載地址:[https://github.com/mitmproxy/mitmproxy/releases](https://github.com/mitmproxy/mitmproxy/releases)
* DockerHub:[https://hub.docker.com/r/mitmproxy/mitmproxy](https://hub.docker.com/r/mitmproxy/mitmproxy)
## 3.安裝
```text
pip install mitmproxy
```
最簡單和通用的安裝方式,執行完畢之后即可完成 MitmProxy的安裝,另外還安裝了MitmDump、MitmWeb 兩個組件,如果不想用此種方式安裝也可以選擇下文列出的專門針對各個平臺的安裝方式或者 Docker 安裝方式。
## 4.windows下的安裝
[點擊下載](https://github.com/mitmproxy/mitmproxy/releases/)[**mitmproxy-4.0.1-windows-installer.exe**](https://github.com/mitmproxy/mitmproxy/releases/download/v4.0.1/mitmproxy-4.0.1-windows-installer.exe)

## 5. Linux下的安裝 {#4-linux下的安裝}
[點擊下載](https://github.com/mitmproxy/mitmproxy/releases/)[**mitmproxy-4.0.1-linux.tar.gz**](https://github.com/mitmproxy/mitmproxy/releases/download/v4.0.1/mitmproxy-4.0.1-linux.tar.gz)
```text
tar -zxvf mitmproxy-4.0.1-linux.tar.gz
sudo mv mitmproxy mitmdump mitmweb /usr/bin
```
## 6. Mac下的安裝 {#5-mac下的安裝}
使用 HomeBrew安裝 即可,命令如下:
```text
brew install mitmproxy
```
執行命令后即可完成 MitmProxy 的安裝。
## 7. Docker安裝 {#6-docker安裝}
MitmProxy 也支持 Docker,其 Docker Hub 的地址為[https://hub.docker.com/r/mitmproxy/mitmproxy/](https://hub.docker.com/r/mitmproxy/mitmproxy/)
Docker 下 MitmProxy 的安裝命令為:
```text
docker run --rm -it -p 8080:8080 mitmproxy/mitmproxy mitmdump
```
這樣就在 8080 端口上啟動了 MitmProxy 和 MitmDump。
如果想要獲取 CA 證書,可以選擇掛載磁盤選項,命令如下:
```text
docker run --rm -it -v ~/.mitmproxy:/home/mitmproxy/.mitmproxy -p 8080:8080 mitmproxy/mitmproxy mitmdump
```
這樣可以在 ~/.mitmproxy 目錄找到 CA 證書。
另外還可以在 8081 端口上啟動 MitmWeb,命令如下:
```text
docker run --rm -it -p 8080:8080 -p 127.0.0.1:8081:8081 mitmproxy/mitmproxy mitmweb
```
## 8. 證書配置 {#7-證書配置}
對于 MitmProxy 來說,如果想要截獲 HTTPS 請求,我們就需要設置證書,MitmProxy 在安裝后會提供一套 CA 證書,只要客戶端信任了 MitmProxy 提供的證書,我們就可以通過 MitmProxy 獲取 HTTPS 請求的具體內容,否則 MitmProxy 是無法解析 HTTPS 請求的。
首先運行一下命令產生 CA 證書,啟動 MitmDump 即可:
```text
mitmdump
```
這樣即可啟動 MitmDump,接下來我們就可以在用戶目錄下的 .mitmproxy 目錄里面找到 CA 證書,如圖 1-61 所示:

圖 1-61 證書文件
證書一共五個,下面是對這五個證書的說明:
| 名稱 | 描述 |
| :--- | :--- |
| mitmproxy-ca.pem | PEM 格式的證書私鑰 |
| mitmproxy-ca-cert.pem | PEM 格式證書,適用于大多數非 Windows 平臺 |
| mitmproxy-ca-cert.p12 | PKCS12 格式的證書,適用于 Windows 平臺 |
| mitmproxy-ca-cert.cer | 與 mitmproxy-ca-cert.pem 相同,只是改變了后綴,適用于部分 Android 平臺 |
| mitmproxy-dhparam.pem | PEM 格式的秘鑰文件,用于增強 SSL 安全性 |
下面我們介紹一下 Windows、Mac、iOS、Android 平臺下的證書配置過程。
### Windows {#windows}
雙擊 mitmproxy-ca.p12,就會出現導入證書的引導頁,如圖 1-62 所示。

圖 1-62 證書導入向導
直接點擊下一步即可,接下來會出現密碼設置提示,如圖 1-63 所示:

圖 1-63 密碼設置提示
不需要設置密碼,直接點擊下一步即可。
接下來需要選擇證書的存儲區域,如圖 1-64 所示:

圖 1-64 選擇證書存儲區域
點擊第二個選項“將所有證書放入下列存儲”,然后點擊瀏覽,再選擇證書存儲位置為“受信任的根證書頒發機構”,確定,點擊下一步。
最后如果有安全警告均點擊“是”即可,如圖 1-65 所示:

圖 1-65 安裝警告
這樣就配置完成 Windows 下信任 CA 證書了。
### Mac {#mac}
Mac 下雙擊 mitmproxy-ca-cert.pem 即可彈出鑰匙串管理頁面,然后找到 mitmproxy 證書,點擊打開其設置選項,選擇始終信任即可,如圖 1-66 所示:

圖 1-66 證書配置
這樣就配置完成 Mac 下信任 CA 證書了。
### iOS {#ios}
將 mitmproxy-ca-cert.pem 文件發送到 iPhone 上,推薦使用郵件的方式發送,iPhone 上可以直接點擊附件并識別安裝,如圖 1-67 所示:

圖 1-67 證書安裝頁面
點擊之后會跳到安裝描述文件的頁面,點擊右上角的安裝按鈕即可安裝,此處會有警告提示,如圖 1-68 所示:

圖 1-68 安裝警告頁面
繼續點擊右上角的安裝即可,安裝成功之后會有已安裝的提示,如圖 1-69 所示:

如果你的 iOS 版本是 10.3 以下的話,此處信任 CA 證書的流程就已經完成了。
如果你的 iOS 版本是 10.3 及以上,還需要在設置->通用->關于本機->證書信任設置將證書添加完全信任,如圖 1-70 所示:

圖 1-70 證書信任設置
在這里將 MitmProxy 的完全信任開關打開即可。
這樣 iOS 上配置信任 CA 證書的流程就結束了。
### Android {#android}
Android 手機同樣需要將證書 mitmproxy-ca-cert.pem 文件發送到手機上,例如直接拷貝文件。
接下來點擊證書便會出現一個提示窗口,如圖 1-71 所示:

圖 1-71 證書安裝頁面
這時輸入證書的名稱,然后點擊確定即可完成安裝。
- 介紹
- 1.開發環境配置
- 1.1 python3的安裝
- 1.1.1 windows下的安裝
- 1.1.2 Linux下的安裝
- 1.1.3 Mac下的安裝
- 1.2 請求庫的安裝
- 1.2.1 requests的安裝
- 1.2.2 selenium的安裝
- 1.2.3 ChromeDriver的安裝
- 1.2.4 GeckoDriver 的安裝
- 1.2.5 PhantomJS的安裝
- 1.2.6 aiohttp的安裝
- 1.3 解析庫的安裝
- 1.3.1 lxml的安裝
- 1.3.2 Beautiful Soup的安裝
- 1.3.3 pyquery的安裝
- 1.3.4 tesserocr的安裝
- 1.4 數據庫的安裝
- 1.4.1 MySQL的安裝
- 1.4.2 MongoDB的安裝
- 1.4.3 Redis的安裝
- 1.5 存儲庫的安裝
- 1.5.1 PyMySQL的安裝
- 1.5.2 PyMongo的安裝
- 1.5.3 redis-py的安裝
- 1.5.4 RedisDump的安裝
- 1.6 Web庫的安裝
- 1.6.1 Flask的安裝
- 1.6.2 Tornado的安裝
- 1.7 App爬取相關庫的安裝
- 1.7.1 Charles的安裝
- 1.7.2 mitmproxy的安裝
- 1.7.3 Appium的安裝
- 1.8 爬蟲框架的安裝
- 1.8.1 pyspider的安裝
- 1.8.2 Scrapy的安裝
- 1.8.3 Scrapy-Splash的安裝
- 1.8.4 ScrapyRedis的安裝
- 1.9 布署相關庫的安裝
- 1.9.1 Docker的安裝
- 1.9.2 Scrapyd的安裝
- 1.9.3 ScrapydClient的安裝
- 1.9.4 ScrapydAPI的安裝
- 1.9.5 Scrapyrt的安裝
- 1.9.6-Gerapy的安裝
- 2.爬蟲基礎
- 2.1 HTTP 基本原理
- 2.1.1 URI和URL
- 2.1.2 超文本
- 2.1.3 HTTP和HTTPS
- 2.1.4 HTTP請求過程
- 2.1.5 請求
- 2.1.6 響應
- 2.2 網頁基礎
- 2.2.1網頁的組成
- 2.2.2 網頁的結構
- 2.2.3 節點樹及節點間的關系
- 2.2.4 選擇器
- 2.3 爬蟲的基本原理
- 2.3.1 爬蟲概述
- 2.3.2 能抓怎樣的數據
- 2.3.3 javascript渲染的頁面
- 2.4 會話和Cookies
- 2.4.1 靜態網頁和動態網頁
- 2.4.2 無狀態HTTP
- 2.4.3 常見誤區
- 2.5 代理的基本原理
- 2.5.1 基本原理
- 2.5.2 代理的作用
- 2.5.3 爬蟲代理
- 2.5.4 代理分類
- 2.5.5 常見代理設置
- 3.基本庫使用
- 3.1 使用urllib
- 3.1.1 發送請求
- 3.1.2 處理異常
- 3.1.3 解析鏈接
- 3.1.4 分析Robots協議
- 3.2 使用requests
- 3.2.1 基本用法
- 3.2.2 高級用法
- 3.3 正則表達式
- 3.4 抓取貓眼電影排行
- 4.解析庫的使用
- 4.1 使用xpath
- 4.2 使用Beautiful Soup
- 4.3 使用pyquery
- 5.數據存儲
- 5.1 文件存儲
- 5.1.1 TXT 文件存儲
- 5.1.2 JSON文件存儲
- 5.1.3 CSV文件存儲
- 5.2 關系型數據庫存儲
- 5.2.1 MySQL的存儲
- 5.3 非關系數據庫存儲
- 5.3.1 MongoDB存儲
- 5.3.2 Redis存儲
- 6.Ajax數據爬取
- 6.1 什么是Ajax
- 6.2 Ajax分析方法
- 6.3 Ajax結果提取
- 6.4 分析Ajax爬取今日頭條街拍美圖
- 7.動態渲染頁面爬取
- 7.1 Selenium的使用
- 7.2 Splash的使用
- 7.3 Splash負載均衡配置
- 7.4 使用selenium爬取淘寶商品
- 8.驗證碼的識別
- 8.1 圖形驗證碼的識別
- 8.2 極驗滑動驗證碼的識別
- 8.3 點觸驗證碼的識別
- 8.4微博宮格驗證碼的識別
- 9.代理的使用
- 9.1 代理的設置
- 9.2 代理池的維護
- 9.3 付費代理的使用
- 9.4 ADSL撥號代理
- 9.5 使用代理爬取微信公總號文章
- 10.模擬登錄
- 10.1 模擬登陸并爬去GitHub
- 10.2 Cookies池的搭建
- 11.App的爬取
- 11.1 Charles的使用
- 11.2 mitmproxy的使用
- 11.3 mitmdump“得到”App電子書信息
- 11.4 Appium的基本使用
- 11.5 Appnium爬取微信朋友圈
- 11.6 Appium+mitmdump爬取京東商品
- 12.pyspider框架的使用
- 12.1 pyspider框架介紹
- 12.2 pyspider的基本使用
- 12.3 pyspider用法詳解
- 13.Scrapy框架的使用
- 13.1 scrapy框架介紹
- 13.2 入門
- 13.3 selector的用法
- 13.4 spider的用法
- 13.5 Downloader Middleware的用法
- 13.6 Spider Middleware的用法
- 13.7 Item Pipeline的用法
- 13.8 Scrapy對接Selenium
- 13.9 Scrapy對接Splash
- 13.10 Scrapy通用爬蟲
- 13.11 Scrapyrt的使用
- 13.12 Scrapy對接Docker
- 13.13 Scrapy爬取新浪微博
- 14.分布式爬蟲
- 14.1 分布式爬蟲原理
- 14.2 Scrapy-Redis源碼解析
- 14.3 Scrapy分布式實現
- 14.4 Bloom Filter的對接
- 15.分布式爬蟲的部署
- 15.1 Scrapyd分布式部署
- 15.2 Scrapyd-Client的使用
- 15.3 Scrapyd對接Docker
- 15.4 Scrapyd批量部署
- 15.5 Gerapy分布式管理
- 微信公總號文章實戰
- 源碼
- other