調整數據包的生存周期 TTL 增大每個套接字的緩沖區大小 ## 套接字 * 調整讀/寫緩沖區大小 * 增大每個套接字的緩沖區大小`net.core.optmem_max`。 * 增大套接字接收緩沖區大小`net.core.rmem_max`和發送緩沖區大小`net.core.wmem_max`。 * 增大 TCP 接收緩沖區大小`net.ipv4.tcp_rmem`和發送緩沖區大小`net.ipv4.tcp_wmem`。 * 增大 UDP 接收緩沖區大小`net.ipv4.udp_rmem`和發送緩沖區大小`net.ipv4.udp_wmem`。TCP 行為 * 開啟 TCP\_NODELAY，禁用 Nagle 算法。 * 開啟 TCP\_CORK，讓小包聚合成大包后再發送。 ## 網絡層 * 路由和轉發 * 調整數據包的生存周期 TTL，比如設置`net.ipv4.ip_default_ttl`為 64。**增大該值會降低系統性能**。 * 開啟數據包的反向地址校驗，比如將`net.ipv4.conf.eth0.rp_filter`置 1。這樣可以防止 IP 欺騙，并減少偽造 IP 帶來的 DDoS 問題。 * 分片 * VXLAN、GRE 等網絡疊加技術會使原來的網絡包變大，而以太網標準規定一個網絡幀最大 1518 字節，增大交換機、路由器等的 MTU 或減小 VXLAN 封包前的 MTU。 * 支持“巨幀”的網絡設備調大 MTU。 * ICMP * 禁止 ICMP 協議，即將`net.ipv4.icmp_echo_ignore_all`置 1 防止 ICMP 嗅探主機。 * 禁止廣播 ICMP，即將`net.ipv4.icmp_echo_ignore_broadcasts`置 1。 ## 傳輸層 ### TCP * 流量比較大的場景下有大量處于 TIME\_WAIT 狀態的連接 * 增大處于 TIME\_WAIT 狀態的連接數量`net.ipv4.tcp_max_tw_buckets`，并增大連接跟蹤表的大小 net.netfilter.nf\_conntrack\_max。 * 減小`net.ipv4.tcp_fin_timeout`和`net.netfilter.nf_conntrack_tcp_timeout_time_wait`，讓系統盡快釋放它們所占用的資源。 * 開啟端口復用`net.ipv4.tcp_tw_reuse`。這樣，被 TIME\_WAIT 狀態占用的端口，還能用到新建的連接中。 * 增大本地端口的范圍`net.ipv4.ip_local_port_range`。這樣就可以支持更多連接，提高整體的并發能力。 * 增加最大文件描述符的數量，`fs.nr_open`調大進程的最大文件描述符數，`fs.file-max`調大系統的最大文件描述符數。 * 緩解 SYN 洪水 * 增大 TCP 半連接的最大數量`net.ipv4.tcp_max_syn_backlog`。 * 開啟 TCP SYN Cookies`net.ipv4.tcp_syncookies`（不能與上面同時使用）。 * 減少 SYN\_RECV 狀態的連接重傳 SYN+ACK 包的次數`net.ipv4.tcp_synack_retries`。 * 優化與 Keepalive 相關的內核選項，對端連接斷開后，可以自動回收 * 縮短最后一次數據包到 Keepalive 探測包的間隔時間`net.ipv4.tcp_keepalive_time`。 * 縮短發送 Keepalive 探測包的間隔時間`net.ipv4.tcp_keepalive_intvl`。 * 減少 Keepalive 探測失敗后，一直到通知應用程序前的重試次數`net.ipv4.tcp_keepalive_probes`。 ## 應用層 * 網絡 I/O 技術 * epoll（Nodejs、Golang、Netty） * AIO（Python asyncio） * 進程工作模型 * master + N x worker，主進程負責管理網絡連接，而子進程負責實際的業務處理。 * SO\_REUSEPORT 將多個進程或者線程綁定到同一端口 * 網絡協議優化 * 使用長連接降低 TCP 連接建立成本（WebSocket）。 * 使用 gRPC 相比 HTTP 可以大幅減小單次網絡 I/O 數據量。 * DNS 緩存、預取、HTTPDNS 等方式，減少 DNS 解析的延遲。