实战 - TCP 半连接队列溢出
说明 TCP 全连接队列最大值从 128 增大到 5000 后,服务端抗住了 3 万连接并发请求,也没有发生全连接队列溢出的现象了。
如果持续不断地有连接因为 TCP 全连接队列溢出被丢弃,就应该调大 backlog 以及 somaxconn 参数。
实战 - TCP 半连接队列溢出
如何查看 TCP 半连接队列长度?
很遗憾,TCP 半连接队列长度的长度,没有像全连接队列那样可以用 ss 命令查看。
但是我们可以抓住 TCP 半连接的特点,就是服务端处于 SYN_RECV 状态的 TCP 连接,就是 TCP 半连接队列。
于是,我们可以使用如下命令计算当前 TCP 半连接队列长度:
如何模拟 TCP 半连接队列溢出场景?
实验环境:
客户端和服务端都是 CentOs 6.5,Linux 内核版本 2.6.32
服务端 IP 192.168.3.200,客户端 IP 192.168.3.100 服务端是 Nginx 服务,端口为 8088
注意:本次模拟实验是没有开启 tcp_syncookies,关于 tcp_syncookies 的作用,后续会说明。
本次实验使用 hping3 工具模拟 SYN 攻击:
当服务端受到 SYN 攻击后,连接服务端 ssh 就会断开了,无法再连上。只能在服务端主机上执行查看当前 TCP 半
同时,还可以通过 netstat -s 观察半连接队列溢出的情况:
上面输出的数值是累计值,表示共有多少个 TCP 连接因为半连接队列溢出而被丢弃。隔几秒执行几次,如果有上升的趋势,说明当前存在半连接队列溢出的现象。
大部分人都说 tcp_max_syn_backlog 是指定半连接队列的大小,是真的吗?
很遗憾,半连接队列的大小并不单单只跟 tcp_max_syn_backlog 有关系。
上面模拟 SYN 攻击场景时,服务端的 tcp_max_syn_backlog 的默认值如下:
TCP 第一次握手(收到 SYN 包)的 Linux 内核代码如下,其中缩减了大量的代码,只需要重点关注 TCP 半连接队列溢出的处理逻辑:
从源码中,我可以得出共有三个条件因队列长度的关系而被丢弃的:
- 如果半连接队列满了,并且没有开启 tcp_syncookies,则会丢弃;
- 若全连接队列满了,且没有重传 SYN+ACK 包的连接请求多于 1 个,则会丢弃;
- 如果没有开启 tcp_syncookies,并且 max_syn_backlog 减去当前半连接队列长度小于
(max_syn_backlog >> 2),则会丢弃;
关于 tcp_syncookies 的设置,后面在详细说明,可以先给大家说一下,开启 tcp_syncookies 是缓解 SYN 攻击其中一个手段。
接下来,我们继续跟一下检测半连接队列是否满的函数 inet_csk_reqsk_queue_is_full 和检测全连接队列是否满的函数 sk_acceptq_is_full:
从上面源码,可以得知:
全连接队列的最大值是 sk_max_ack_backlog 变量,sk_max_ack_backlog 实际上是在 listen() 源码里指定的,也就是 min(somaxconn, backlog);
半连接队列的最大值是 max_qlen_log 变量,max_qlen_log 是在哪指定的呢?现在暂时还不知道,我们继续跟进;
我们继续跟进代码,看一下是哪里初始化了半连接队列的最大值 max_qlen_log:
从上面的代码中,我们可以算出 max_qlen_log 是 8,于是代入到检测半连接队列是否满的函数 reqsk_queue_is_full:
也就是 qlen >> 8 什么时候为 1 就代表半连接队列满了。这计算这不难,很明显是当 qlen 为 256 时, 256 >> 8 = 1。
至此,总算知道为什么上面模拟测试 SYN 攻击的时候,服务端处于 SYN_RECV 连接最大只有 256 个。
可见,半连接队列最大值不是单单由 max_syn_backlog 决定,还跟 somaxconn 和 backlog 有关系。
在 Linux 2.6.32 内核版本,它们之间的关系,总体可以概况为:
当 max_syn_backlog < min(somaxconn, backlog) 时,半连接队列最大值 max_qlen_log = max_syn_backlog * 2;
半连接队列最大值 max_qlen_log 就表示服务端处于 SYN_REVC 状态的最大个数吗?
依然很遗憾,并不是。
max_qlen_log 是理论半连接队列最大值,并不一定代表服务端处于 SYN_REVC 状态的最大个数。
在前面我们在分析 TCP 第一次握手(收到 SYN 包)时会被丢弃的三种条件:
- 如果半连接队列满了,并且没有开启 tcp_syncookies,则会丢弃;
- 若全连接队列满了,且没有重传 SYN+ACK 包的连接请求多于 1 个,则会丢弃;
- 如果没有开启 tcp_syncookies,并且 max_syn_backlog 减去当前半连接队列长度小于
(max_syn_backlog >> 2),则会丢弃;
假设条件 1 当前半连接队列的长度「没有超过」理论的半连接队列最大值 max_qlen_log,那么如果条件 3 成立,则依然会丢弃 SYN 包,也就会使得服务端处于 SYN_REVC 状态的最大个数不会是理论值 max_qlen_log。
似乎很难理解,我们继续接着做实验,实验见真知。
服务端环境如下:
配置完后,服务端要重启 Nginx,因为全连接队列最大值和半连接队列最大值是在 listen() 函数初始化。
根据前面的源码分析,我们可以计算出半连接队列 max_qlen_log 的最大值为 256:
客户端执行 hping3 发起 SYN 攻击:
服务端执行如下命令,查看处于 SYN_RECV 状态的最大个数:
可以发现,服务端处于 SYN_RECV 状态的最大个数并不是 max_qlen_log 变量的值。
max_qlen_log。
我们来分析一波条件 3 :
从上面的分析,可以得知如果触发「当前半连接队列长度 > 192」条件,TCP 第一次握手的 SYN 包是会被丢弃
所以,服务端处于 SYN_RECV 状态的最大个数分为如下两种情况:
如果「当前半连接队列」没超过「理论半连接队列最大值」,但是超过 max_syn_backlog - (max_syn_backlog >> 2),那么处于 SYN_RECV 状态的最大个数就是 max_syn_backlog -
(max_syn_backlog >> 2);
如果「当前半连接队列」超过「理论半连接队列最大值」,那么处于 SYN_RECV 状态的最大个数就是「理论半连接队列最大值」;
每个 Linux 内核版本「理论」半连接最大值计算方式会不同。
在上面我们是针对 Linux 2.6.32 版本分析的「理论」半连接最大值的算法,可能每个版本有些不同。
比如在 Linux 5.0.0 的时候,「理论」半连接最大值就是全连接队列最大值,但依然还是有队列溢出的三个条件:
并不是这样,开启 syncookies 功能就可以在不使用 SYN 半连接队列的情况下成功建立连接,在前面我们源码分析也可以看到这点,当开启了 syncookies 功能就不会丢弃连接。
syncookies 是这么做的:服务器根据当前状态计算出一个值,放在己方发出的 SYN+ACK 报文中发出,当客户端返回 ACK 报文时,取出该值验证,如果合法,就认为连接建立成功,如下图所示。
syncookies 参数主要有以下三个值:
0 值,表示关闭该功能;
1 值,表示仅当 SYN 半连接队列放不下时,再启用它;
2 值,表示无条件开启功能;
那么在应对 SYN 攻击时,只需要设置为 1 即可:
如何防御 SYN 攻击?
减少 SYN+ACK 重传次数
方式一:增大半连接队列
在前面源码和实验中,得知要想增大半连接队列,我们得知不能只单纯增大 tcp_max_syn_backlog 的值,还需一同增大 somaxconn 和 backlog,也就是增大全连接队列。否则,只单纯增大 tcp_max_syn_backlog 是无效的。
增大 tcp_max_syn_backlog 和 somaxconn 的方法是修改 Linux 内核参数:
增大 backlog 的方式,每个 Web 服务都不同,比如 Nginx 增大 backlog 的方法如下:
最后,改变了如上这些参数后,要重启 Nginx 服务,因为半连接队列和全连接队列都是在 listen() 初始化的。
方式二:开启 tcp_syncookies 功能
全站分卷索引 · 185 卷
- 1前言
- 2勘误事宜
- 3应用层
- 4网络层
- 5数据链路层
- 6物理层
- 7总结
- 8二、HTTP 篇
- 9HTTP 基本概念
- 10GET 与 POST
- 11HTTP 特性
- 12HTTP 与 HTTPS
- 13HTTP/1.1、HTTP/2、HTTP/3 演变
- 14读者问答
- 15最后
- 162.2 HTTP/1.1如何优化?
- 17如何减少 HTTP 请求次数?
- 18减少重定向请求次数
- 19合并请求
- 20延迟发送请求
- 21无损压缩
- 22总结
- 23最后
- 242.3 HTTPS RSA 握手解析
- 25RSA 握手过程
- 26TLS 第一次握手
- 27客户端验证证书
- 28证书链
- 29TLS 第三次握手
- 30TLS 第四次握手
- 31最后
- 322.4 HTTPS ECDHE 握手解析
- 33离散对数
- 34DH 算法
- 35DHE 算法
- 36ECDHE 算法
- 37TLS 第一次握手
- 38TLS 第三次握手
- 39TLS 第四次握手
- 40总结
- 412.5 HTTPS 如何优化?
- 42分析性能损耗
- 43硬件优化
- 44软件优化
- 45密钥交换算法优化
- 46TLS 升级
- 47证书优化
- 48OCSP
- 49OCSP Stapling
- 50会话复用
- 51Session Ticket
- 52Pre-shared Key
- 53总结
- 54最后
- 552.6 HTTP/2 牛逼在哪?
- 56HTTP/1.1 协议的性能问题
- 57头部压缩
- 58静态表编码
- 59动态表编码
- 60二进制帧
- 61并发传输
- 62服务器主动推送资源
- 63总结
- 64最后
- 65美中不足的 HTTP/2
- 66TCP 与 TLS 的握手时延迟
- 67网络迁移需要重新连接
- 68QUIC 协议的特点
- 69更快的连接建立
- 70连接迁移
- 71总结
- 72最后
- 73三、TCP 篇
- 74TCP 基本认识
- 75TCP 连接建立
- 76TCP 连接断开
- 77Socket 编程
- 78读者问答
- 79最后
- 803.2 TCP 重传、滑动窗口、流量控制、拥塞控制
- 81重传机制
- 82超时重传
- 83快速重传
- 84SACK 方法
- 85滑动窗口
- 86流量控制
- 87操作系统缓冲区与滑动窗口的关系
- 88窗口关闭
- 89糊涂窗口综合症
- 90拥塞控制
- 91慢启动
- 92拥塞避免算法
- 93拥塞发生
- 94快速恢复
- 95拥塞算法示意图
- 96读者问答
- 97最后
- 98显形“不可见”的网络包
- 99解密 TCP 三次握手和四次挥手
- 100TCP 三次握手异常情况实战分析
- 101实验场景
- 102实验二:TCP 第二次握手 SYN、ACK 丢包
- 103实验三:TCP 第三次握手 ACK 丢包
- 104TCP 快速建立连接
- 105TCP 重复确认和快速重传
- 106TCP 流量控制
- 107零窗口通知与窗口探测
- 108发送窗口的分析
- 109TCP 延迟确认与 Nagle 算法
- 110读者问答
- 1113.4 TCP 半连接队列和全连接队列
- 112什么是 TCP 半连接队列和全连接队列?
- 113实战 - TCP 全连接队列溢出
- 114实战 - TCP 半连接队列溢出
- 115读者问答
- 116最后
- 1173.5 TCP 内核参数
- 118TCP 三次握手的性能提升
- 119客户端优化
- 120服务端优化
- 121如何绕过三次握手?
- 122小结
- 123TCP 四次挥手的性能提升
- 124主动方的优化
- 125被动方的优化
- 126小结
- 127TCP 传输数据的性能提升
- 128如何确定最大传输速度?
- 129小结
- 130读者问答
- 131四、IP 篇
- 132前菜 —— IP 基本认识
- 133主菜 —— IP 地址的基础知识
- 134IP 地址的分类
- 135无分类地址 CIDR
- 136公有 IP 地址与私有 IP 地址
- 137IP 地址与路由控制
- 138IP 分片与重组
- 139IPv6 基本认识
- 140IPv4 首部与 IPv6 首部
- 141点心 —— IP 协议相关技术
- 142ARP
- 143DHCP
- 144NAT
- 145ICMP
- 146IGMP
- 147读者问答
- 1484.2 ping 的工作原理
- 149IP协议的助手 —— ICMP 协议
- 150查询报文类型
- 151差错报文类型
- 152a. 网络不可达代码为 0
- 153c. 协议不可达代码为 2
- 154ping —— 查询报文类型的使用
- 155traceroute —— 差错报文类型的使用
- 156读者问答
- 157五、网络综合篇
- 158真实地址查询 —— DNS
- 159指南好帮手 —— 协议栈
- 160可靠传输 —— TCP
- 161远程定位 —— IP
- 162两点传输 —— MAC
- 163出口 —— 网卡
- 164出境大门 —— 路由器
- 165互相扒皮 —— 服务器 与 客户端
- 166一个数据包臭不要脸的感受
- 167最后
- 1685.2 Linux 系统是如何收发网络包的?
- 169Linux 网络协议栈
- 170Linux 接收网络包的流程
- 171Linux 发送网络包的流程
- 172总结
- 173六、学习心得
- 1746.1 计算机网络怎么学?
- 175入门系列
- 176深入学习系列
- 177实战系列
- 178最后
- 1796.2 操作系统怎么学?
- 180入门系列
- 181深入学习系列
- 182最后
- 183七、画图经验
- 184赞赏支持
- 185支付宝赞赏码