# 協議無痛升級
使用度最高的通訊協議,一定是`HTTP`了。優點有多少,相信大家肯定有切身體會。我相信每家公司對`HTTP`的使用都有自己的規則,甚至偏好。這東西沒有誰對誰錯,符合業務需求、量體裁衣是王道。這里我們想通過親身體會,告訴大家利用好`OpenResty`的一些特性,會給我們帶來驚喜。
在產品初期,由于產品初期存在極大不確定性、不穩定性,所以要暴露給開發團隊、測試團隊完全透明的傳輸協議,所以我們1.0版本就是一個沒有任何處理的明文版本`HTTP+JSON`。但隨著產品功能的豐富,質量的逐步提高,具備一定的交付能力,這時候通訊協議必須要升級了。
為了更好的安全、效率控制,我們需要支持壓縮、防篡改、防重復、簡單加密等特性,為此我們設計了全新2.0通訊協議。如何讓這個協議升級無感知、改動少,并且簡單呢?
> 1.0明文協議配置
~~~
location ~ ^/api/([-_a-zA-Z0-9/]+).json {
content_by_lua_file /path/to/lua/api/$1.lua;
}
~~~
> 1.0明文協議引用示例:
~~~
# curl http://ip:port/api/hearbeat.json?key=value -d '...'
~~~
> 2.0密文協議引用示例:
~~~
# curl http://ip:port/api/hearbeat.json?key=value&ver=2.0 -d '...'
~~~
從引用示例中看到,我們的密文協議主要都是在請求`body`中做的處理。最生硬的辦法就是我們在每個業務入口、出口分別做協議的解析、編碼處理。如果你只有幾個API接口,那么直來直去的修改所有API接口源碼,最為直接,容易理解。但如果你需要修改幾十個API入口,那就要靜下來考慮一下,修改的代價是否完全可控。
最后我們使用了`OpenResty`階段的概念完成協議的轉換。
~~~
location ~ ^/api/([-_a-zA-Z0-9/]+).json {
access_by_lua_file /path/to/lua/api/protocal_decode.lua;
content_by_lua_file /path/to/lua/api/$1.lua;
body_filter_by_lua_file /path/to/lua/api/protocal_encode.lua;
}
~~~
> 內部處理流程說明
- `Nginx`中這三個階段的執行順序:access --> content --> body_filter;
- access_by_lua_file:獲取協議版本 --> 獲取body數據 --> 協議解碼 --> 設置body數據;
- content_by_lua_file:正常業務邏輯處理,零修改;
- body_filter_by_lua_file:判斷協議版本 --> 協議編碼。
剛好前些日子春哥公開了一篇`Github`中引入了`OpenResty`解決SSL證書的問題,他們的解決思路和我們差不多。都是利用access階段做一些非標準HTTP(S)上的自定義修改,但對于已有業務是不需要任何感知的。
我們這個通訊協議的無痛升級,實際上是有很多玩法可以實現,如果我們的業務從一開始有個相對穩定的框架,可能完全不需要操這個心。沒有引入框架,一來是現在沒有哪個框架比較成熟,而來是從基礎開始更容易摸到細節。對于目前`OpenResty`可參考資料少的情況下,我們更傾向于從最小工作集開始,減少不確定性、復雜度。
也許在后面,我們會推出我們的開發框架,用來統一規避現在碰到的問題,提供完整、可靠、高效的解決方法,我們正在努力ing,請大家拭目以待。
- 序
- Lua簡介
- Lua環境搭建
- 基礎數據類型
- 表達式
- 控制結構
- if/else
- while
- repeat
- 控制結構for的使用
- break,return
- Lua函數
- 函數的定義
- 函數的參數
- 函數的返回值
- 函數回調
- 模塊
- String庫
- Table庫
- 日期時間函數
- 數學庫函數
- 文件操作
- 元表
- 面向對象編程
- FFI
- LuaRestyRedisLibrary
- select+set_keepalive組合操作引起的數據讀寫錯誤
- redis接口的二次封裝(簡化建連、拆連等細節)
- redis接口的二次封裝(發布訂閱)
- pipeline壓縮請求數量
- script壓縮復雜請求
- LuaCjsonLibrary
- json解析的異常捕獲
- 稀疏數組
- 空table編碼為array還是object
- 跨平臺的庫選擇
- PostgresNginxModule
- 調用方式簡介
- 不支持事務
- 超時
- 健康監測
- SQL注入
- LuaNginxModule
- 執行階段概念
- 正確的記錄日志
- 熱裝載代碼
- 阻塞操作
- 緩存
- sleep
- 定時任務
- 禁止某些終端訪問
- 請求返回后繼續執行
- 調試
- 調用其他C函數動態庫
- 我的lua代碼需要調優么
- 變量的共享范圍
- 動態限速
- shared.dict 非隊列性質
- 如何添加自己的lua api
- 正確使用長鏈接
- 如何引用第三方resty庫
- 使用動態DNS來完成HTTP請求
- 緩存失效風暴
- Lua
- 下標從1開始
- 局部變量
- 判斷數組大小
- 非空判斷
- 正則表達式
- 不用標準庫
- 虛變量
- 函數在調用代碼前定義
- 抵制使用module()函數來定義Lua模塊
- 點號與冒號操作符的區別
- 測試
- 單元測試
- API測試
- 性能測試
- 持續集成
- 灰度發布
- web服務
- API的設計
- 數據合法性檢測
- 協議無痛升級
- 代碼規范
- 連接池
- c10k編程
- TIME_WAIT問題
- 與Docker使用的網絡瓶頸
- 火焰圖
- 什么時候使用
- 顯示的是什么
- 如何安裝火焰圖生成工具
- 如何定位問題