> # 進程,線程,協程
- **進程**:操作系統中資源分配的基本單位,具有獨立的地址空間, 上下文切換開銷大,適合需要隔離性和獨立性高的任務
- **線程**:進程中的執行單元,同一進程的線程共享內存和資源,適合需要大量并發且能夠共享資源的任務
- **協程**:比線程更輕量級的執行單元,由用戶態調度管理。協程的調度由程序自行控制,性能開銷更低,適合大量并發場景。
https://juejin.cn/post/7311893415151468584
> # GMP 原理和調度
- [GMP模型](https://go.cyub.vip/gmp/gmp-model/)
- G是goroutine,M是線程,P是處理器。 P負責調度goroutine到線程上,維護了一個本地隊列,存儲了所有需要它來調度的G
- P 的數量通常與邏輯 CPU 數量相等,可以通過 `runtime.GOMAXPROCS` 來調整。P 的數量越多,并發能力越強,但也會導致調度開銷增加
- `runtime.Gosched()` 可以主動讓出執行權
- 當創建新的 Goroutine 時,它通常被加入到當前 P 的本地隊列中。如果當前 P 的本地隊列已滿(如超過 256 個 Goroutine),部分 Goroutine 會被移至全局隊列
- P 先嘗試從本地隊列中獲取 Goroutine。如果本地隊列為空,P 會嘗試從全局隊列中獲取 Goroutine。如果全局隊列也為空,P 會從其他 P 的本地隊列中“竊取” Goroutine 執行(竊取 Goroutine 時,通常會竊取一半數量的 Goroutine)
- M 執行一個 G 時,必須綁定一個 P。如果 M 因阻塞操作(如系統調用)而無法繼續執行,P 會解除與 M 的綁定,尋找另一個可用的 M 執行其他 G。原 M 完成阻塞操作后,將試圖重新獲取一個 P 繼續工作
> # 協程的調度不是隨機的
- Go 協程調度**不是隨機的**,但它也**不是按順序**的。它是一種基于信號的搶占式、工作竊取的調度模型
- 調度器的目的是在多個協程之間公平分配 CPU 資源,并在必要時暫停某些協程,讓其他協程有機會運行
~~~
package main
import (
"fmt"
"time"
)
func main() {
ch := make(chan struct{})
for i := 0; i < 10; i++ {
go func(num int) {
for {
<-ch
fmt.Println(num)
}
}(i)
time.Sleep(time.Millisecond)
}
time.Sleep(time.Second)
for j := 0; j < 10; j++ {
ch <- struct{}{}
//**不加 `time.Sleep(time.Millisecond)`** 時,多個 Goroutine 幾乎同時啟動,調度器會隨機選擇哪個 Goroutine 先得到 CPU,因此打印順序不確定。
//**加了 `time.Sleep(time.Millisecond)`** 時,每個 Goroutine 啟動后,主協程會休眠 1 毫秒。這個時間足夠讓調度器有機會依次啟動每個 Goroutine,導致它們的打印順序更加有序
//time.Sleep(time.Millisecond) 改變輸出結果
}
time.Sleep(time.Minute)
}
~~~
> # CSP 模型
* **CSP**(Communicating Sequential Processes,通信順序進程) 是一種并發編程模型,其核心理念是**不要通過共享內存來通信,而要通過通信來實現內存共享**。
* 在 Go 語言中,CSP 模型主要通過 **Goroutine** 和 **Channel** 來實現。多個 Goroutine 之間的通信通常使用 **Channel**,從而避免了共享內存導致的并發問題。
> # 協程 (捕獲異常 和 協程池)
- 直接用go關鍵字開協程,不捕獲異常的話, 如果出現異常,會導致整個程序結束
- Go 語言中的 **Goroutine** 相較于系統線程來說非常輕量級,其初始棧大小僅為 **2KB**。然而,在高并發場景下,大量的 Goroutine 被頻繁創建和銷毀,可能會對性能產生負面影響,并增加 **GC(垃圾回收)** 的壓力。
- 為了減少 Goroutine 的創建和銷毀所帶來的性能損耗,建議充分 **復用 Goroutine**。通過使用 **Goroutine 池** 或者其他方式來復用已經存在的 Goroutine,可以有效地降低系統的開銷
- goroutine.go
~~~
package main
import (
"fmt"
)
// WorkerPool 定義一個工作池結構體
type WorkerPool struct {
maxWorkers int
taskQueue chan func()
}
// NewWorkerPool 創建一個新的工作池
func NewWorkerPool(maxWorkers int) *WorkerPool {
return &WorkerPool{
maxWorkers: maxWorkers,
taskQueue: make(chan func()),
}
}
// Start 啟動工作池
func (wp *WorkerPool) Start() {
for i := 0; i < wp.maxWorkers; i++ {
go wp.worker()
}
}
// worker 執行任務的工作者 goroutine
func (wp *WorkerPool) worker() {
for task := range wp.taskQueue {
safeExecute(task)
}
}
// safeExecute 安全執行任務,捕獲異常
func safeExecute(task func()) {
defer func() {
if r := recover(); r != nil {
fmt.Println("Recovered from panic:", r)
}
}()
task()
}
// Submit 提交任務到工作池
func (wp *WorkerPool) Submit(task func()) {
wp.taskQueue <- task
}
~~~
- main.go
~~~
package main
import (
"fmt"
"time"
)
var pool *WorkerPool
func init() {
pool = NewWorkerPool(20)
pool.Start()
}
func SafeGo(f func()) {
pool.Submit(f)
}
func main() {
for i := 0; i < 10; i++ {
SafeGo(func(num int) func() {
return func() {
fmt.Println("A", num)
}
}(i))
}
for i := 0; i < 10; i++ {
SafeGo(func(num int) func() {
return func() {
fmt.Println("B", num)
}
}(i))
}
time.Sleep(time.Second * 3)
}
~~~
- 草稿
- Golang
- 切片 slice
- 數組和切片的區別
- 左閉右開
- make([]int, 5) 和 make([]int, 0, 5) 區別
- 切片非線程安全,并發操作為啥不會像map一樣報錯
- []struct{} 如何遍歷
- 切片如何刪除某個元素
- append 一個nil 切片
- 哈希表 map
- 并發操作
- 并發寫報錯
- 并發讀不會報錯
- 并發讀有寫報錯
- 并發迭代有寫報錯
- 自制并發安全字典
- 官方并發安全字典
- 對未初始化的 map 進行賦值操作
- map的底層
- 無序輸出
- 等量擴容
- 實現集合
- map的key可以使哪些值
- 協程 go
- 協程相關閱讀
- 進程、線程、協程
- 協程 (捕獲異常 和 協程池)
- GPM 模型
- CSP模型
- channel
- channel 相關操作
- 交替打印
- 如何讓channel 只能接收/只能發送
- channel 常見報錯
- channel 死鎖
- nil channel 和 已關閉的 channel
- 使用 select 來多路復用 channel
- channel 的使用
- 接口和結構體
- 簡單使用
- 兩個結構體能否比較
- 工廠模式
- 概念
- 簡單工廠
- 方法工廠
- 堆和棧,值類型和引用類型,內存逃逸,垃圾回收
- 棧和堆
- 內存逃逸
- 值類型和引用類型
- 垃圾回收方式
- 性能優化分析工具 pprof
- golang 代碼片段
- 片段一 defer
- 片段二 channel
- Golang 相關
- Golang 相關閱讀
- Golang 1-10
- make 和 new 的區別
- 使用指針的場景
- Go語言的context包
- 位運算
- Copy 是淺拷貝還是深拷貝
- init 函數 和 sync.Once
- select 多路復用
- Golang 其它
- MongoDB
- 可比較類型 與 可轉json 類型
- Gorm
- 面向對象和面向過程
- go語言實現-面向對象
- go語言實現-面向過程
- 限流,熔斷,降級
- 了解
- 熔斷配置
- 熔斷例子
- 服務降級
- github.com/alibaba/sentinel-golang
- 互斥鎖 讀寫鎖 原子鎖
- 為什么需要鎖
- 互斥鎖
- 讀寫鎖
- 原子鎖
- 互斥鎖性能對比
- 原子鎖性能對比
- 互斥鎖 or 原子鎖?
- 條件鎖
- 計數器
- GoFrame
- GF1.16版本
- 修改使用的表
- 按天、周、月、年
- GoFrame 文檔
- 配置文件
- 生成腳本
- 排序算法
- 相關排序
- 冒泡排序
- 選擇排序
- 插入排序
- 快速排序
- 歸并排序
- 堆排序
- 數據庫
- 分布式怎么保證線程安全
- 數據庫實現方式
- 基于表記錄
- 樂觀鎖
- 悲觀鎖
- Redis實現方式
- Zookeeper實現方式
- Mysql 相關
- group_concat
- 索引優化
- 索引優化1
- 定期分析和優化索引
- 覆蓋索引
- 組合索引
- 聚簇索引和非聚簇索引
- 索引類型與方式、聚簇與非聚簇索引
- 事務特征和隔離級別
- 查詢優化
- mysql自增表插入數據時,Id不連續問題
- InnoDB引擎 和 MyISAM引擎區別
- 鎖
- 悲觀鎖和樂觀鎖
- 查詢,更新,插入語句
- 什么是死鎖
- 怎么處理死鎖
- MySQL 隔離級別
- 事務特征
- 隔離級別
- 廢棄3
- 索引
- 索引類型和方式、聚簇和非聚簇索引(上)
- 索引類型和方式、聚簇和非聚簇索引(下)
- 回表、覆蓋索引、最左前綴、聯合索引、索引下推、索引合并
- Mysql 優化
- 索引的原理
- 千萬級表修改表結構
- Redis
- 獲取隨機三條數據
- Redis 持久化方式
- 全量模式 RDB 冷備份(內存快照)
- 增量模式 AOF 熱備份(文件追加)
- 過期key的刪除策略、內存淘汰機制
- 數據結構
- 位圖
- 網絡
- 網絡相關
- 游戲同步方式:幀同步和狀態同步
- Websocket
- OSI模型
- TCP 與 UDP
- 三次握手四次揮手
- Http 狀態碼
- 1xx(信息性狀態碼)
- 101 服務端代碼
- 101 客戶端代碼
- 2xx(成功狀態碼)
- 3xx(重定向狀態碼)
- 302 服務端代碼
- 302 客戶端代碼
- 4xx(客戶端錯誤狀態碼)
- 5xx(服務器錯誤狀態碼)
- 如何排查接口問題
- 網絡請求和響應過程
- time_wait
- keep-alive
- http 和 rpc 的區別
- I/O多路復用 select和poll
- too many open file
- 其它技術
- git 相關操作
- 修改提交備注
- 多個提交合并成一個提交
- 回退版本
- 小程序和公眾號
- 消息模板
- 獲取code
- 靜默登錄
- 其它技術相關
- C盤空間不足
- 生成式人工智能AIGC
- 共享文件
- 接口文檔, mock提供測試數據
- 抓包工具
- Python
- 安裝包失敗
- 自動化測試 Scrapy
- AIGC:人工智能生成內容
- PHP
- xhprof 性能分析
- 一鍵安裝
- 哈希沖突的解決方式
- 鏈地址法(拉鏈法)
- 開放地址法
- 再哈希
- 概念1
- Nginx
- 負載均衡方式
- 加密解密
- 簡單了解
- 簽名算法例子
- 碼例子1
- 代碼例子2
- Linux
- netstat (用于查看和管理網絡連接和路由表)
- ps 用于查看和管理進程
- ab 壓測
- nohup 守護進程
- lsof (List Open File 獲取被進程打開文件的信息)
- tail 查看日志
- 各類linux同步機制
- Socket 服務端的實現,select 和epoll的區別?
- scp 傳輸,awk 是一個強大的文本分析工具
- pidof
- 項目
- 棋牌
- 牌的編碼
- 出牌規則
- 洗牌
- 股票
- 股票知識
- 龍虎榜數據緩存方式
- 單日龍虎榜數據
- 單只股票的歷史上榜
- 遇到的問題
- 浮點數精度問題
- Mysql Sum 精度問題(float, double精度問題)
- 分頁問題(數據重復)
- 工具包
- v3
- common.go
- common_test.go
- customized.go
- customized_test.go
- slice.go
- slice_test.go
- time.go
- time_test.go
- v4
- common.go
- common_test.go
- customized.go
- customized_test.go
- slice.go
- time.go
- time_test.go
- 相關閱讀
- 協程 goroutine
- 通道 channel
- json 和 gob 序列化和反序列化
- redis 有序集合
- mysql22
- 相關閱讀 s
- pyTorch
- defer
- 內存泄漏
- 數據傳輸
- 雜項
- 一提
- gogogoo
- 內容