← 返回目录

实战 - TCP 全连接队列溢出

第 113 / 185 卷日期:

不管是半连接队列还是全连接队列,都有最大长度限制,超过限制时,内核会直接丢弃,或返回 RST 包。

实战 - TCP 全连接队列溢出

如何知道应用程序的 TCP 全连接队列大小?

在服务端可以使用 ss 命令,来查看 TCP 全连接队列的情况:

在「LISTEN 状态」时, Recv-Q/Send-Q 表示的含义如下:

Recv-Q:当前全连接队列的大小,也就是当前已完成三次握手并等待服务端 accept() 的 TCP 连接;

Send-Q:当前全连接最大队列长度,上面的输出结果说明监听 8088 端口的 TCP 服务,最大全连接长度为 128;

在「非 LISTEN 状态」时, Recv-Q/Send-Q 表示的含义如下:

Recv-Q:已收到但未被应用进程读取的字节数;

Send-Q:已发送但未收到确认的字节数;

如何模拟 TCP 全连接队列溢出的场景?

实验环境:

客户端和服务端都是 CentOs 6.5,Linux 内核版本 2.6.32

服务端 IP 192.168.3.200,客户端 IP 192.168.3.100 服务端是 Nginx 服务,端口为 8088

这里先介绍下 wrk 工具,它是一款简单的 HTTP 压测工具,它能够在单机多核 CPU 的条件下,使用系统自带的高性能 I/O 机制,通过多线程和事件模式,对目标机器产生大量的负载。

本次模拟实验就使用 wrk 工具来压力测试服务端,发起大量的请求,一起看看服务端 TCP 全连接队列满了会发生什么?有什么观察指标?

客户端执行 wrk 命令对服务端发起压力测试,并发 3 万个连接:

在服务端可以使用 ss 命令,来查看当前 TCP 全连接队列的情况:

其间共执行了两次 ss 命令,从上面的输出结果,可以发现当前 TCP 全连接队列上升到了 129 大小,超过了最大 TCP 全连接队列。

当超过了 TCP 最大全连接队列,服务端则会丢掉后续进来的 TCP 连接,丢掉的 TCP 连接的个数会被统计起来,我们可以使用 netstat -s 命令来查看:

上面看到的 41150 times,表示全连接队列溢出的次数,注意这个是累计值。可以隔几秒钟执行下,如果这个数字一直在增加的话肯定全连接队列偶尔满了。

从上面的模拟结果,可以得知,当服务端并发处理大量请求时,如果 TCP 全连接队列过小,就容易溢出。发生 TCP 全连接队溢出的时候,后续的请求就会被丢弃,这样就会出现服务端请求数量上不去的现象。

Linux 有个参数可以指定当 TCP 全连接队列满了会使用什么策略来回应客户端。

实际上,丢弃连接只是 Linux 的默认行为,我们还可以选择向客户端发送 RST 复位报文,告诉客户端连接已经建立失败。

tcp_abort_on_overflow 共有两个值分别是 0 和 1,其分别表示:

0:如果全连接队列满了,那么 server 扔掉 client 发过来的 ack;

1:如果全连接队列满了,server 发送一个 reset 包给 client,表示废掉这个握手过程和这个连接;

如果要想知道客户端连接不上服务端,是不是服务端 TCP 全连接队列满的原因,那么可以把 tcp_abort_on_overflow 设置为 1,这时如果在客户端异常中可以看到很多 connection reset by peer 的错误,那

么就可以证明是由于服务端 TCP 全连接队列溢出的问题。

通常情况下,应当把 tcp_abort_on_overflow 设置为 0,因为这样更有利于应对突发流量。

举个例子,当 TCP 全连接队列满导致服务器丢掉了 ACK,与此同时,客户端的连接状态却是 ESTABLISHED,进程就在建立好的连接上发送请求。只要服务器没有为请求回复 ACK,请求就会被多次重发。如果服务器上的进程

只是短暂的繁忙造成 accept 队列满,那么当 TCP 全连接队列有空位时,再次接收到的请求报文由于含有 ACK,仍然会触发服务器端成功建立连接。

所以,tcp_abort_on_overflow 设为 0 可以提高连接建立的成功率,只有你非常肯定 TCP 全连接队列会长期溢出时,才能设置为 1 以尽快通知客户端。

如何增大 TCP 全连接队列呢?

是的,当发现 TCP 全连接队列发生溢出的时候,我们就需要增大该队列的大小,以便可以应对客户端大量的请求。

TCP 全连接队列的最大值取决于 somaxconn 和 backlog 之间的最小值,也就是 min(somaxconn, backlog)。从下面的 Linux 内核代码可以得知:

somaxconn 是 Linux 内核的参数,默认值是 128,可以通过 /proc/sys/net/core/somaxconn 来设置其值;

backlog 是 listen(int sockfd, int backlog) 函数中的 backlog 大小,Nginx 默认值是 511,可以通过修改配置文件设置其长度;

前面模拟测试中,我的测试环境:

somaxconn 是默认值 128;

Nginx 的 backlog 是默认值 511

所以测试环境的 TCP 全连接队列最大值为 min(128, 511),也就是 128,可以执行 ss 命令查看:

接着把 Nginx 的 backlog 也同样设置成 5000:

最后要重启 Nginx 服务,因为只有重新调用 listen() 函数 TCP 全连接队列才会重新初始化。

重启完后 Nginx 服务后,服务端执行 ss 命令,查看 TCP 全连接队列大小:

客户端同样以 3 万个连接并发发送请求给服务端:

服务端执行 ss 命令,查看 TCP 全连接队列使用情况:

从上面的执行结果,可以发现全连接队列使用增长的很快,但是一直都没有超过最大值,所以就不会溢出,那么 netstat -s 就不会有 TCP 全连接队列溢出个数的显示:

全站分卷索引 · 185 卷
  1. 1前言
  2. 2勘误事宜
  3. 3应用层
  4. 4网络层
  5. 5数据链路层
  6. 6物理层
  7. 7总结
  8. 8二、HTTP 篇
  9. 9HTTP 基本概念
  10. 10GET 与 POST
  11. 11HTTP 特性
  12. 12HTTP 与 HTTPS
  13. 13HTTP/1.1、HTTP/2、HTTP/3 演变
  14. 14读者问答
  15. 15最后
  16. 162.2 HTTP/1.1如何优化?
  17. 17如何减少 HTTP 请求次数?
  18. 18减少重定向请求次数
  19. 19合并请求
  20. 20延迟发送请求
  21. 21无损压缩
  22. 22总结
  23. 23最后
  24. 242.3 HTTPS RSA 握手解析
  25. 25RSA 握手过程
  26. 26TLS 第一次握手
  27. 27客户端验证证书
  28. 28证书链
  29. 29TLS 第三次握手
  30. 30TLS 第四次握手
  31. 31最后
  32. 322.4 HTTPS ECDHE 握手解析
  33. 33离散对数
  34. 34DH 算法
  35. 35DHE 算法
  36. 36ECDHE 算法
  37. 37TLS 第一次握手
  38. 38TLS 第三次握手
  39. 39TLS 第四次握手
  40. 40总结
  41. 412.5 HTTPS 如何优化?
  42. 42分析性能损耗
  43. 43硬件优化
  44. 44软件优化
  45. 45密钥交换算法优化
  46. 46TLS 升级
  47. 47证书优化
  48. 48OCSP
  49. 49OCSP Stapling
  50. 50会话复用
  51. 51Session Ticket
  52. 52Pre-shared Key
  53. 53总结
  54. 54最后
  55. 552.6 HTTP/2 牛逼在哪?
  56. 56HTTP/1.1 协议的性能问题
  57. 57头部压缩
  58. 58静态表编码
  59. 59动态表编码
  60. 60二进制帧
  61. 61并发传输
  62. 62服务器主动推送资源
  63. 63总结
  64. 64最后
  65. 65美中不足的 HTTP/2
  66. 66TCP 与 TLS 的握手时延迟
  67. 67网络迁移需要重新连接
  68. 68QUIC 协议的特点
  69. 69更快的连接建立
  70. 70连接迁移
  71. 71总结
  72. 72最后
  73. 73三、TCP 篇
  74. 74TCP 基本认识
  75. 75TCP 连接建立
  76. 76TCP 连接断开
  77. 77Socket 编程
  78. 78读者问答
  79. 79最后
  80. 803.2 TCP 重传、滑动窗口、流量控制、拥塞控制
  81. 81重传机制
  82. 82超时重传
  83. 83快速重传
  84. 84SACK 方法
  85. 85滑动窗口
  86. 86流量控制
  87. 87操作系统缓冲区与滑动窗口的关系
  88. 88窗口关闭
  89. 89糊涂窗口综合症
  90. 90拥塞控制
  91. 91慢启动
  92. 92拥塞避免算法
  93. 93拥塞发生
  94. 94快速恢复
  95. 95拥塞算法示意图
  96. 96读者问答
  97. 97最后
  98. 98显形“不可见”的网络包
  99. 99解密 TCP 三次握手和四次挥手
  100. 100TCP 三次握手异常情况实战分析
  101. 101实验场景
  102. 102实验二:TCP 第二次握手 SYN、ACK 丢包
  103. 103实验三:TCP 第三次握手 ACK 丢包
  104. 104TCP 快速建立连接
  105. 105TCP 重复确认和快速重传
  106. 106TCP 流量控制
  107. 107零窗口通知与窗口探测
  108. 108发送窗口的分析
  109. 109TCP 延迟确认与 Nagle 算法
  110. 110读者问答
  111. 1113.4 TCP 半连接队列和全连接队列
  112. 112什么是 TCP 半连接队列和全连接队列?
  113. 113实战 - TCP 全连接队列溢出
  114. 114实战 - TCP 半连接队列溢出
  115. 115读者问答
  116. 116最后
  117. 1173.5 TCP 内核参数
  118. 118TCP 三次握手的性能提升
  119. 119客户端优化
  120. 120服务端优化
  121. 121如何绕过三次握手?
  122. 122小结
  123. 123TCP 四次挥手的性能提升
  124. 124主动方的优化
  125. 125被动方的优化
  126. 126小结
  127. 127TCP 传输数据的性能提升
  128. 128如何确定最大传输速度?
  129. 129小结
  130. 130读者问答
  131. 131四、IP 篇
  132. 132前菜 —— IP 基本认识
  133. 133主菜 —— IP 地址的基础知识
  134. 134IP 地址的分类
  135. 135无分类地址 CIDR
  136. 136公有 IP 地址与私有 IP 地址
  137. 137IP 地址与路由控制
  138. 138IP 分片与重组
  139. 139IPv6 基本认识
  140. 140IPv4 首部与 IPv6 首部
  141. 141点心 —— IP 协议相关技术
  142. 142ARP
  143. 143DHCP
  144. 144NAT
  145. 145ICMP
  146. 146IGMP
  147. 147读者问答
  148. 1484.2 ping 的工作原理
  149. 149IP协议的助手 —— ICMP 协议
  150. 150查询报文类型
  151. 151差错报文类型
  152. 152a. 网络不可达代码为 0
  153. 153c. 协议不可达代码为 2
  154. 154ping —— 查询报文类型的使用
  155. 155traceroute —— 差错报文类型的使用
  156. 156读者问答
  157. 157五、网络综合篇
  158. 158真实地址查询 —— DNS
  159. 159指南好帮手 —— 协议栈
  160. 160可靠传输 —— TCP
  161. 161远程定位 —— IP
  162. 162两点传输 —— MAC
  163. 163出口 —— 网卡
  164. 164出境大门 —— 路由器
  165. 165互相扒皮 —— 服务器 与 客户端
  166. 166一个数据包臭不要脸的感受
  167. 167最后
  168. 1685.2 Linux 系统是如何收发网络包的?
  169. 169Linux 网络协议栈
  170. 170Linux 接收网络包的流程
  171. 171Linux 发送网络包的流程
  172. 172总结
  173. 173六、学习心得
  174. 1746.1 计算机网络怎么学?
  175. 175入门系列
  176. 176深入学习系列
  177. 177实战系列
  178. 178最后
  179. 1796.2 操作系统怎么学?
  180. 180入门系列
  181. 181深入学习系列
  182. 182最后
  183. 183七、画图经验
  184. 184赞赏支持
  185. 185支付宝赞赏码