對稱加密(也叫私鑰加密)指加密和解密使用相同密鑰的加密算法
加了調度點會影響for循環的性能
至于為什么編譯器不加調度點,這個go team在github上討論過的
而且大部分情況下,項目代碼里不可能出現那么簡單的for循環
簡單到沒有任何函數調用的for循環,才有可能卡死調度器
如何定位 golang 進程 hang 死的 bug : https://studygolang.com/articles/11880
分別打印 Go的調度 runtime
大規模Go項目幾乎必踏的幾個大坑 - 實例分享 https://my.oschina.net/u/4062427/blog/3018969
索引優化: http://hedengcheng.com/?p=577
TCP:是一種面向連接的、可靠的、基于字節流的傳輸層通信協議
UTP:無連接,不可靠的數據報協議
left join(顯示左表所有數據, 左表的每一條數據與右表匹配的條數)
redis: 字符串,列表,哈希, 集合, 有序集合
memcahe: 可以緩存圖片和視頻, 數組時保存在內存的, 斷電后消息
redis:支持持久化和復雜的數據結構
elasticsearch 分布式多用戶能力的全文搜索引擎
數據庫分庫分表,提高數據查詢,插入效率
我這邊用兩個隊列實現一個降級開關,一個是go的chan作為本地消息隊列,另一個是第三方消息隊列nsq。
如果一個操作進來,能進入本地的消息隊列,說明當前的數據庫和系統負載量不是很高,能保證正常執行
如果入隊失敗,說明前面的操作沒完成,被阻塞起來了。那就轉到nsq里去處理
負載均衡的優化,之前是用輪詢的策略,后面改成hash.
輪詢的話比較均勻,但是需要將緩存放在第三方,比如redis,memcahe 。像redis,memcahe的話可能還用到分布式鎖來確保數據的一致性
如果改成hash的話, 我就可以把緩存放到本機map
map不是線程安全,之前參考網上,用了sync里的讀寫鎖對map里操作做了一層封裝,
后面1.9的時候,sync包提高了一個安全的并發字典,基于原子鎖操作,鎖的粒度更新,效能更好
map[時間戳]map[key]value
開一個協程去檢查當前時間和map里的第一個時間戳
節省資源,沒有主備模式,采用一致性hash算法, 將它分布到一個范圍的機器
比較重要的數據采用冷備份(移到一個備份表里去,減少主表體積)
刪除用戶不必要的記錄
普通索引,唯一索引,主鍵索引,組合索引,全文索引
數據庫分庫分表, 減少表操作,
確立表處理優先級 同步創建異步修改 更新緩存, 丟到一個隊列里, 提示響應速度和吞吐量
降級開關
1.輪詢 : 緩存放在第三方
2.hash(ip/ 用戶id) : 緩存放在本機 (速度快1.5倍左右)
一致性hash算法
內存碎片:在申請內存空間的時候,不會分配剛好的空間, 可能有多一點
cgo 十億, 百億級別,
請求成功 -> 本地消息隊列 -> 結束
請求失敗 -> kfak ->結束
協程池
按時間范圍分表
非事務性么 直接塞 es 或者要做etl倉庫么進hadoop
es
數據導入慢
mysql + keepalived 雙主熱備
Hadoop(三) 大數據離線計算與實時計算 : https://blog.csdn.net/qwlzxx/article/details/71218125
- 111
- 日記
- 工具11
- 20200723
- 20200724
- 20201019
- 更多閱讀
- 回收站
- kafka 消費失敗和重復消費問題
- ABC
- 20200127
- MySQL從刪庫到跑路
- PHP從放棄到入門
- help
- 我的日志
- 博客驗證碼
- 項目版本管理
- C++ Json序列化
- 20190425
- 圖片
- 關鍵字
- 鏈接
- 分布式, 分庫, 分表
- 游戲開發
- goLand 編輯器
- 區塊鏈
- A-計劃
- B-計劃
- gin框架
- 鎖
- 力扣-答題
- 數據庫
- mysql 索引優化
- 挖礦
- 分布式鎖
- 跨域問題
- kafka
- 長連接
- 面向對象 面向過程 函數式編程
- websocket
- 其它問題
- zeroMq
- 工具
- linux - systemctl
- gitbook 部署
- Ubantu 基礎配置
- 備注服務
- 更換身份證(身份證到期了)
- 資源05
- 備注服務2
- 分布式
- TODO
- 資料準備
- 文章閱讀
- mysql 高可用
- 日志1
- 日記2 - 區塊鏈
- centos7 系統服務腳本
- copy_service 服務替換
- go kafka 孤人自嘲 - 偏移量 - kafka
- go vendor
- golang 顯示git工具欄
- 圖片資源
- 資訊01
- 資源01
- 資源02
- 資源03-數據庫
- 資源04
- php歷史數據
- golang 數據
- 文件1
- 文件2
- 文件3
- 文件4
- 文件5
- 文件6
- 文件7
- 文件8
- 文件9
- 文件10
- Flutter
- 管理后臺系統
- 重裝系統