← 返回目录

实战 - TCP 半连接队列溢出

第 114 / 185 卷日期:

说明 TCP 全连接队列最大值从 128 增大到 5000 后,服务端抗住了 3 万连接并发请求,也没有发生全连接队列溢出的现象了。

如果持续不断地有连接因为 TCP 全连接队列溢出被丢弃,就应该调大 backlog 以及 somaxconn 参数。

实战 - TCP 半连接队列溢出

如何查看 TCP 半连接队列长度?

很遗憾,TCP 半连接队列长度的长度,没有像全连接队列那样可以用 ss 命令查看。

但是我们可以抓住 TCP 半连接的特点,就是服务端处于 SYN_RECV 状态的 TCP 连接,就是 TCP 半连接队列。

于是,我们可以使用如下命令计算当前 TCP 半连接队列长度:

如何模拟 TCP 半连接队列溢出场景?

实验环境:

客户端和服务端都是 CentOs 6.5,Linux 内核版本 2.6.32

服务端 IP 192.168.3.200,客户端 IP 192.168.3.100 服务端是 Nginx 服务,端口为 8088

注意:本次模拟实验是没有开启 tcp_syncookies,关于 tcp_syncookies 的作用,后续会说明。

本次实验使用 hping3 工具模拟 SYN 攻击:

当服务端受到 SYN 攻击后,连接服务端 ssh 就会断开了,无法再连上。只能在服务端主机上执行查看当前 TCP 半

同时,还可以通过 netstat -s 观察半连接队列溢出的情况:

上面输出的数值是累计值,表示共有多少个 TCP 连接因为半连接队列溢出而被丢弃。隔几秒执行几次,如果有上升的趋势,说明当前存在半连接队列溢出的现象。

大部分人都说 tcp_max_syn_backlog 是指定半连接队列的大小,是真的吗?

很遗憾,半连接队列的大小并不单单只跟 tcp_max_syn_backlog 有关系。

上面模拟 SYN 攻击场景时,服务端的 tcp_max_syn_backlog 的默认值如下:

TCP 第一次握手(收到 SYN 包)的 Linux 内核代码如下,其中缩减了大量的代码,只需要重点关注 TCP 半连接队列溢出的处理逻辑:

从源码中,我可以得出共有三个条件因队列长度的关系而被丢弃的:

  1. 如果半连接队列满了,并且没有开启 tcp_syncookies,则会丢弃;
  2. 若全连接队列满了,且没有重传 SYN+ACK 包的连接请求多于 1 个,则会丢弃;
  3. 如果没有开启 tcp_syncookies,并且 max_syn_backlog 减去当前半连接队列长度小于

(max_syn_backlog >> 2),则会丢弃;

关于 tcp_syncookies 的设置,后面在详细说明,可以先给大家说一下,开启 tcp_syncookies 是缓解 SYN 攻击其中一个手段。

接下来,我们继续跟一下检测半连接队列是否满的函数 inet_csk_reqsk_queue_is_full 和检测全连接队列是否满的函数 sk_acceptq_is_full:

从上面源码,可以得知:

全连接队列的最大值是 sk_max_ack_backlog 变量,sk_max_ack_backlog 实际上是在 listen() 源码里指定的,也就是 min(somaxconn, backlog);

半连接队列的最大值是 max_qlen_log 变量,max_qlen_log 是在哪指定的呢?现在暂时还不知道,我们继续跟进;

我们继续跟进代码,看一下是哪里初始化了半连接队列的最大值 max_qlen_log:

从上面的代码中,我们可以算出 max_qlen_log 是 8,于是代入到检测半连接队列是否满的函数 reqsk_queue_is_full:

也就是 qlen >> 8 什么时候为 1 就代表半连接队列满了。这计算这不难,很明显是当 qlen 为 256 时, 256 >> 8 = 1。

至此,总算知道为什么上面模拟测试 SYN 攻击的时候,服务端处于 SYN_RECV 连接最大只有 256 个。

可见,半连接队列最大值不是单单由 max_syn_backlog 决定,还跟 somaxconn 和 backlog 有关系。

在 Linux 2.6.32 内核版本,它们之间的关系,总体可以概况为:

当 max_syn_backlog < min(somaxconn, backlog) 时,半连接队列最大值 max_qlen_log = max_syn_backlog * 2;

半连接队列最大值 max_qlen_log 就表示服务端处于 SYN_REVC 状态的最大个数吗?

依然很遗憾,并不是。

max_qlen_log 是理论半连接队列最大值,并不一定代表服务端处于 SYN_REVC 状态的最大个数。

在前面我们在分析 TCP 第一次握手(收到 SYN 包)时会被丢弃的三种条件:

  1. 如果半连接队列满了,并且没有开启 tcp_syncookies,则会丢弃;
  2. 若全连接队列满了,且没有重传 SYN+ACK 包的连接请求多于 1 个,则会丢弃;
  3. 如果没有开启 tcp_syncookies,并且 max_syn_backlog 减去当前半连接队列长度小于

(max_syn_backlog >> 2),则会丢弃;

假设条件 1 当前半连接队列的长度「没有超过」理论的半连接队列最大值 max_qlen_log,那么如果条件 3 成立,则依然会丢弃 SYN 包,也就会使得服务端处于 SYN_REVC 状态的最大个数不会是理论值 max_qlen_log。

似乎很难理解,我们继续接着做实验,实验见真知。

服务端环境如下:

配置完后,服务端要重启 Nginx,因为全连接队列最大值和半连接队列最大值是在 listen() 函数初始化。

根据前面的源码分析,我们可以计算出半连接队列 max_qlen_log 的最大值为 256:

客户端执行 hping3 发起 SYN 攻击:

服务端执行如下命令,查看处于 SYN_RECV 状态的最大个数:

可以发现,服务端处于 SYN_RECV 状态的最大个数并不是 max_qlen_log 变量的值。

max_qlen_log。

我们来分析一波条件 3 :

从上面的分析,可以得知如果触发「当前半连接队列长度 > 192」条件,TCP 第一次握手的 SYN 包是会被丢弃

所以,服务端处于 SYN_RECV 状态的最大个数分为如下两种情况:

如果「当前半连接队列」没超过「理论半连接队列最大值」,但是超过 max_syn_backlog - (max_syn_backlog >> 2),那么处于 SYN_RECV 状态的最大个数就是 max_syn_backlog -

(max_syn_backlog >> 2);

如果「当前半连接队列」超过「理论半连接队列最大值」,那么处于 SYN_RECV 状态的最大个数就是「理论半连接队列最大值」;

每个 Linux 内核版本「理论」半连接最大值计算方式会不同。

在上面我们是针对 Linux 2.6.32 版本分析的「理论」半连接最大值的算法,可能每个版本有些不同。

比如在 Linux 5.0.0 的时候,「理论」半连接最大值就是全连接队列最大值,但依然还是有队列溢出的三个条件:

并不是这样,开启 syncookies 功能就可以在不使用 SYN 半连接队列的情况下成功建立连接,在前面我们源码分析也可以看到这点,当开启了 syncookies 功能就不会丢弃连接。

syncookies 是这么做的:服务器根据当前状态计算出一个值,放在己方发出的 SYN+ACK 报文中发出,当客户端返回 ACK 报文时,取出该值验证,如果合法,就认为连接建立成功,如下图所示。

syncookies 参数主要有以下三个值:

0 值,表示关闭该功能;

1 值,表示仅当 SYN 半连接队列放不下时,再启用它;

2 值,表示无条件开启功能;

那么在应对 SYN 攻击时,只需要设置为 1 即可:

如何防御 SYN 攻击?

减少 SYN+ACK 重传次数

方式一:增大半连接队列

在前面源码和实验中,得知要想增大半连接队列,我们得知不能只单纯增大 tcp_max_syn_backlog 的值,还需一同增大 somaxconn 和 backlog,也就是增大全连接队列。否则,只单纯增大 tcp_max_syn_backlog 是无效的。

增大 tcp_max_syn_backlog 和 somaxconn 的方法是修改 Linux 内核参数:

增大 backlog 的方式,每个 Web 服务都不同,比如 Nginx 增大 backlog 的方法如下:

最后,改变了如上这些参数后,要重启 Nginx 服务,因为半连接队列和全连接队列都是在 listen() 初始化的。

方式二:开启 tcp_syncookies 功能

全站分卷索引 · 185 卷
  1. 1前言
  2. 2勘误事宜
  3. 3应用层
  4. 4网络层
  5. 5数据链路层
  6. 6物理层
  7. 7总结
  8. 8二、HTTP 篇
  9. 9HTTP 基本概念
  10. 10GET 与 POST
  11. 11HTTP 特性
  12. 12HTTP 与 HTTPS
  13. 13HTTP/1.1、HTTP/2、HTTP/3 演变
  14. 14读者问答
  15. 15最后
  16. 162.2 HTTP/1.1如何优化?
  17. 17如何减少 HTTP 请求次数?
  18. 18减少重定向请求次数
  19. 19合并请求
  20. 20延迟发送请求
  21. 21无损压缩
  22. 22总结
  23. 23最后
  24. 242.3 HTTPS RSA 握手解析
  25. 25RSA 握手过程
  26. 26TLS 第一次握手
  27. 27客户端验证证书
  28. 28证书链
  29. 29TLS 第三次握手
  30. 30TLS 第四次握手
  31. 31最后
  32. 322.4 HTTPS ECDHE 握手解析
  33. 33离散对数
  34. 34DH 算法
  35. 35DHE 算法
  36. 36ECDHE 算法
  37. 37TLS 第一次握手
  38. 38TLS 第三次握手
  39. 39TLS 第四次握手
  40. 40总结
  41. 412.5 HTTPS 如何优化?
  42. 42分析性能损耗
  43. 43硬件优化
  44. 44软件优化
  45. 45密钥交换算法优化
  46. 46TLS 升级
  47. 47证书优化
  48. 48OCSP
  49. 49OCSP Stapling
  50. 50会话复用
  51. 51Session Ticket
  52. 52Pre-shared Key
  53. 53总结
  54. 54最后
  55. 552.6 HTTP/2 牛逼在哪?
  56. 56HTTP/1.1 协议的性能问题
  57. 57头部压缩
  58. 58静态表编码
  59. 59动态表编码
  60. 60二进制帧
  61. 61并发传输
  62. 62服务器主动推送资源
  63. 63总结
  64. 64最后
  65. 65美中不足的 HTTP/2
  66. 66TCP 与 TLS 的握手时延迟
  67. 67网络迁移需要重新连接
  68. 68QUIC 协议的特点
  69. 69更快的连接建立
  70. 70连接迁移
  71. 71总结
  72. 72最后
  73. 73三、TCP 篇
  74. 74TCP 基本认识
  75. 75TCP 连接建立
  76. 76TCP 连接断开
  77. 77Socket 编程
  78. 78读者问答
  79. 79最后
  80. 803.2 TCP 重传、滑动窗口、流量控制、拥塞控制
  81. 81重传机制
  82. 82超时重传
  83. 83快速重传
  84. 84SACK 方法
  85. 85滑动窗口
  86. 86流量控制
  87. 87操作系统缓冲区与滑动窗口的关系
  88. 88窗口关闭
  89. 89糊涂窗口综合症
  90. 90拥塞控制
  91. 91慢启动
  92. 92拥塞避免算法
  93. 93拥塞发生
  94. 94快速恢复
  95. 95拥塞算法示意图
  96. 96读者问答
  97. 97最后
  98. 98显形“不可见”的网络包
  99. 99解密 TCP 三次握手和四次挥手
  100. 100TCP 三次握手异常情况实战分析
  101. 101实验场景
  102. 102实验二:TCP 第二次握手 SYN、ACK 丢包
  103. 103实验三:TCP 第三次握手 ACK 丢包
  104. 104TCP 快速建立连接
  105. 105TCP 重复确认和快速重传
  106. 106TCP 流量控制
  107. 107零窗口通知与窗口探测
  108. 108发送窗口的分析
  109. 109TCP 延迟确认与 Nagle 算法
  110. 110读者问答
  111. 1113.4 TCP 半连接队列和全连接队列
  112. 112什么是 TCP 半连接队列和全连接队列?
  113. 113实战 - TCP 全连接队列溢出
  114. 114实战 - TCP 半连接队列溢出
  115. 115读者问答
  116. 116最后
  117. 1173.5 TCP 内核参数
  118. 118TCP 三次握手的性能提升
  119. 119客户端优化
  120. 120服务端优化
  121. 121如何绕过三次握手?
  122. 122小结
  123. 123TCP 四次挥手的性能提升
  124. 124主动方的优化
  125. 125被动方的优化
  126. 126小结
  127. 127TCP 传输数据的性能提升
  128. 128如何确定最大传输速度?
  129. 129小结
  130. 130读者问答
  131. 131四、IP 篇
  132. 132前菜 —— IP 基本认识
  133. 133主菜 —— IP 地址的基础知识
  134. 134IP 地址的分类
  135. 135无分类地址 CIDR
  136. 136公有 IP 地址与私有 IP 地址
  137. 137IP 地址与路由控制
  138. 138IP 分片与重组
  139. 139IPv6 基本认识
  140. 140IPv4 首部与 IPv6 首部
  141. 141点心 —— IP 协议相关技术
  142. 142ARP
  143. 143DHCP
  144. 144NAT
  145. 145ICMP
  146. 146IGMP
  147. 147读者问答
  148. 1484.2 ping 的工作原理
  149. 149IP协议的助手 —— ICMP 协议
  150. 150查询报文类型
  151. 151差错报文类型
  152. 152a. 网络不可达代码为 0
  153. 153c. 协议不可达代码为 2
  154. 154ping —— 查询报文类型的使用
  155. 155traceroute —— 差错报文类型的使用
  156. 156读者问答
  157. 157五、网络综合篇
  158. 158真实地址查询 —— DNS
  159. 159指南好帮手 —— 协议栈
  160. 160可靠传输 —— TCP
  161. 161远程定位 —— IP
  162. 162两点传输 —— MAC
  163. 163出口 —— 网卡
  164. 164出境大门 —— 路由器
  165. 165互相扒皮 —— 服务器 与 客户端
  166. 166一个数据包臭不要脸的感受
  167. 167最后
  168. 1685.2 Linux 系统是如何收发网络包的?
  169. 169Linux 网络协议栈
  170. 170Linux 接收网络包的流程
  171. 171Linux 发送网络包的流程
  172. 172总结
  173. 173六、学习心得
  174. 1746.1 计算机网络怎么学?
  175. 175入门系列
  176. 176深入学习系列
  177. 177实战系列
  178. 178最后
  179. 1796.2 操作系统怎么学?
  180. 180入门系列
  181. 181深入学习系列
  182. 182最后
  183. 183七、画图经验
  184. 184赞赏支持
  185. 185支付宝赞赏码