gopush壓力測試 · golang

**Linux 大規模請求服務器連接數相關設置** 一般一個大規模Linux服務器請求數可能是幾十萬上百萬的情況，需要足夠的連接數來使用，所以務必進行相應的設置。默認的Linux服務器文件描述符等打開最大是1024，用ulimit -a 查看： ~~~ [viewuser@~]$ ulimit -acore file size (blocks, -c) 0 #coredump 文件大小data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 255622 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimitedopen files (-n) 1024 #打開文件數量，root賬戶無限制pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 8192 cpu time (seconds, -t) unlimitedmax user processes (-u) 4096 #root用戶本項是無限virtual memory (kbytes, -v) unlimited file locks (-x) unlimited ~~~ 設置要求：假設我們要設置為200W最大打開文件描述符 1. 修改 nr_open 限制（用途：能夠配置nofile最大數） ~~~ cat /proc/sys/fs/nr_open ~~~ Linux 內核 2.6.25 以前，在內核里面宏定義是1024*1024，最大只能是100w（1048576），所以不要設置更大的值，如果Linux內核大于 2.6.25 則可以設置更大值。設置方法： ~~~ sudo bash -c 'echo 2000000 > /proc/sys/fs/nr_open' ~~~ 注意：只有修改了 nr_open 限制，才能修改下面的限制。 2. 打開文件描述符限制：修改 limits.conf 的nofile軟硬打開文件限制（用途：tcp連接數）文件位置：/etc/security/limits.conf 查找 nofile ，如果沒有，則在自己最后加上： 2.6.25 及以前內核設置為100W： ~~~ * soft nofile 1000000 * hard nofile 1000000 ~~~ 2.6.25 以后版本內核可以設置為200W： ~~~ * soft nofile 2000000 * hard nofile 2000000 ~~~ 設置后保存本文件。（本操作必須重啟才生效，如果無法重啟，會無法生效，不確定是否使用 /sbin/sysctl -p 是否可以直接生效） 3. 打開進程限制：修改 limits.conf 中的nproc限制（用途：進程數）說明：如果你對進程總數量沒有特殊要求，可以不修改本選項，如果你是一個高性能多進程的server，需要很多進程來處理，那么可以修改本選項。 ulimit -a 里可以看到 max user processes 如果值是比較大的，可以不用設置 nproc 項。配置文件：/etc/security/limits.d/20-nproc.conf （RHEL 7/CentOS 7） ~~~ * soft nproc 4096 root soft nproc unlimited ~~~ 就是root無限（實際root用戶限制是：255622），其他非root用戶是4096個進程。說明：硬限制表明soft限制中所能設定的最大值。 soft限制指的是當前系統生效的設置值。 hard限制值可以被普通用戶降低。但是不能增加。 soft限制不能設置的比hard限制更高。只有root用戶才能夠增加hard限制值。當增加文件限制描述，可以簡單的把當前值雙倍。例子如下，如果你要提高默認值1024，最好提高到2048，如果還要繼續增加，就需要設置成4096。 4. 修改 file-max 選項（用途：可分配文件句柄數目） file-max 價值：指定了可以分配的文件句柄的最大數目（可以使用 /proc/sys/fs/file-nr 文件查看到當前已經使用的文件句柄和總句柄數。） (1) 臨時生效： ~~~ 文件路徑：/proc/sys/fs/file-max cat /proc/sys/fs/file-max 3252210 ~~~ 如果要修改，直接覆蓋文件：（比如改成200w） ~~~ sudo echo 2000000 > /proc/sys/fs/file-max ~~~ 注意：如果你想每次啟動都自動執行上面的命令，可以在系統啟動配置文件/etc/rc.local里面添加一句命令：（跟永久生效差不多）echo 2000000 > /proc/sys/fs/file-max或者直接Shell全搞定：echo "echo 2000000 > /proc/sys/fs/file-max" >> /etc/rc.local (2) 永久生效：修改配置文件，文件位置：/etc/sysctl.conf 打開配置文件到最末尾，如果配置文件里沒有則可以直接添加： ~~~ sudo echo "fs.file-max = 2000000" >>/etc/sysctl.conf ~~~ 配置文件生效：sudo /sbin/sysctl -p 5. 修改TCP等相關選項配置文件：/etc/sysctl.conf 修改選項： ~~~ net.core.somaxconn = 2048 net.core.rmem_default = 262144 net.core.wmem_default = 262144 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.ipv4.tcp_rmem = 4096 4096 16777216 net.ipv4.tcp_wmem = 4096 4096 16777216 net.ipv4.tcp_mem = 786432 2097152 3145728 net.ipv4.tcp_max_syn_backlog = 16384 net.core.netdev_max_backlog = 20000 net.ipv4.tcp_fin_timeout = 15 net.ipv4.tcp_max_syn_backlog = 16384 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_max_orphans = 131072 ~~~ 配置文件生效：sudo /sbin/sysctl -p 以上選項也可以直接給 /proc/sys/net/ 目錄下面按照各個選項可以直接使用 echo VALUE > /proc/sys/net/core/wmem_max 來直接修改內存臨時值生效。主要看這幾項： net.ipv4.tcp_rmem 用來配置讀緩沖的大小，三個值，第一個是這個讀緩沖的最小值，第三個是最大值，中間的是默認值。我們可以在程序中修改讀緩沖的大小，但是不能超過最小與最大。為了使每個socket所使用的內存數最小，我這里設置默認值為4096。 net.ipv4.tcp_wmem 用來配置寫緩沖的大小。讀緩沖與寫緩沖在大小，直接影響到socket在內核中內存的占用。 net.ipv4.tcp_mem 則是配置tcp的內存大小，其單位是頁，而不是字節。當超過第二個值時，TCP進入 pressure模式，此時TCP嘗試穩定其內存的使用，當小于第一個值時，就退出pressure模式。當內存占用超過第三個值時，TCP就拒絕分配 socket了，查看dmesg，會打出很多的日志“TCP: too many of orphaned sockets”。 net.ipv4.tcp_max_orphans 這個值也要設置一下，這個值表示系統所能處理不屬于任何進程的 socket數量，當我們需要快速建立大量連接時，就需要關注下這個值了。當不屬于任何進程的socket的數量大于這個值時，dmesg就會看到”too many of orphaned sockets”。注意：如果是客戶端程序，為了更好的訪問server程序不是卡在端口分配上，建議把客戶端的端口（port_range）范圍開大一些：修改文件：/etc/sysctl.conf ~~~ net.ipv4.ip_local_port_range = 1024 65535 ~~~ 配置生效：sudo /sbin/sysctl -p 如果是客戶端，其他文件打開限制等可以參考上面的來設置。 6. 其他一些配置 (1) 打開core文件如果為了觀察程序是否正常，出現問題后生成相應映像文件，可以開啟coredump相關的操作，可以打開：（非必須，如果線上環境，擔心影響穩定性，可以考慮不開啟）配置文件：/etc/security/limits.conf 修改配置文件：增加： ~~~ * soft core 102400 * hard core 2048003 ~~~ 建議設置為無限大小： ~~~ * soft core unlimited * hard core unlimited ~~~ 然后重啟機器生效（不確定是否可以使用 /sbin/sysctl -p 生效），使用： ulimit -a 或 ulimit -c 查看結果，后續如果程序出現棧溢出等都會生成coredump文件，方便用gdb等追查問題原因。 **客戶端也需要修改參數來加大websocket的連接數** **客戶端壓測代碼** ~~~ package main import ( "fmt" "log" "math/rand" "runtime" "sync" "time" "golang.org/x/net/websocket" ) var ( origin = "http://localhost:6968/" url = "ws://localhost:6968/sub?key=Go_Push&heartbeat=60&token=0&room=1" exit chan bool = make(chan bool) cycle int = 500 wsm sync.Map ) const maxPostHandlerReadBytes = 256 << 10 func main() { runtime.GOMAXPROCS(runtime.NumCPU() * 2) rand.Seed(time.Now().Unix()) t := time.NewTicker(time.Second * 5) var k int = 0 for v := range t.C { for i := 0; i < cycle; i++ { url = fmt.Sprintf("ws://localhost:6968/sub?key=%v&heartbeat=60&token=0&room=%d", rand.Intn(cycle), 1) // fmt.Println(url) go wsClient(url, origin, wsm) fmt.Println("i => ", (i + 1)) } fmt.Println(v) k++ if k == 100 { fmt.Printf("退出\n") time.Sleep(time.Hour) return } } <-exit } func wsClient(url, origin string, wsm sync.Map) { ws, err := websocket.Dial(url, "", origin) wsm.Store(ws, "inter") if err != nil { fmt.Println(err) return } go func() { message := []byte("h") for { val, ok := wsm.Load(ws) if !ok { break } if val.(string) == "exit" { break } _, err = ws.Write(message) if err != nil { log.Fatal(err) break } fmt.Printf("Send: %s\n", message) time.Sleep(time.Second * 30) } }() var msg = make([]byte, 512) var m int for { m, err = ws.Read(msg) if err != nil { fmt.Println(err) wsm.Store(ws, "exit") break } fmt.Printf("Receive: %s\n", msg[:m]) } fmt.Println("關閉鏈接") ws.Close() //關閉連接 } ~~~