实战 - TCP 全连接队列溢出
不管是半连接队列还是全连接队列,都有最大长度限制,超过限制时,内核会直接丢弃,或返回 RST 包。
实战 - TCP 全连接队列溢出
如何知道应用程序的 TCP 全连接队列大小?
在服务端可以使用 ss 命令,来查看 TCP 全连接队列的情况:
在「LISTEN 状态」时, Recv-Q/Send-Q 表示的含义如下:
Recv-Q:当前全连接队列的大小,也就是当前已完成三次握手并等待服务端 accept() 的 TCP 连接;
Send-Q:当前全连接最大队列长度,上面的输出结果说明监听 8088 端口的 TCP 服务,最大全连接长度为 128;
在「非 LISTEN 状态」时, Recv-Q/Send-Q 表示的含义如下:
Recv-Q:已收到但未被应用进程读取的字节数;
Send-Q:已发送但未收到确认的字节数;
如何模拟 TCP 全连接队列溢出的场景?
实验环境:
客户端和服务端都是 CentOs 6.5,Linux 内核版本 2.6.32
服务端 IP 192.168.3.200,客户端 IP 192.168.3.100 服务端是 Nginx 服务,端口为 8088
这里先介绍下 wrk 工具,它是一款简单的 HTTP 压测工具,它能够在单机多核 CPU 的条件下,使用系统自带的高性能 I/O 机制,通过多线程和事件模式,对目标机器产生大量的负载。
本次模拟实验就使用 wrk 工具来压力测试服务端,发起大量的请求,一起看看服务端 TCP 全连接队列满了会发生什么?有什么观察指标?
客户端执行 wrk 命令对服务端发起压力测试,并发 3 万个连接:
在服务端可以使用 ss 命令,来查看当前 TCP 全连接队列的情况:
其间共执行了两次 ss 命令,从上面的输出结果,可以发现当前 TCP 全连接队列上升到了 129 大小,超过了最大 TCP 全连接队列。
当超过了 TCP 最大全连接队列,服务端则会丢掉后续进来的 TCP 连接,丢掉的 TCP 连接的个数会被统计起来,我们可以使用 netstat -s 命令来查看:
上面看到的 41150 times,表示全连接队列溢出的次数,注意这个是累计值。可以隔几秒钟执行下,如果这个数字一直在增加的话肯定全连接队列偶尔满了。
从上面的模拟结果,可以得知,当服务端并发处理大量请求时,如果 TCP 全连接队列过小,就容易溢出。发生 TCP 全连接队溢出的时候,后续的请求就会被丢弃,这样就会出现服务端请求数量上不去的现象。
Linux 有个参数可以指定当 TCP 全连接队列满了会使用什么策略来回应客户端。
实际上,丢弃连接只是 Linux 的默认行为,我们还可以选择向客户端发送 RST 复位报文,告诉客户端连接已经建立失败。
tcp_abort_on_overflow 共有两个值分别是 0 和 1,其分别表示:
0:如果全连接队列满了,那么 server 扔掉 client 发过来的 ack;
1:如果全连接队列满了,server 发送一个 reset 包给 client,表示废掉这个握手过程和这个连接;
如果要想知道客户端连接不上服务端,是不是服务端 TCP 全连接队列满的原因,那么可以把 tcp_abort_on_overflow 设置为 1,这时如果在客户端异常中可以看到很多 connection reset by peer 的错误,那
么就可以证明是由于服务端 TCP 全连接队列溢出的问题。
通常情况下,应当把 tcp_abort_on_overflow 设置为 0,因为这样更有利于应对突发流量。
举个例子,当 TCP 全连接队列满导致服务器丢掉了 ACK,与此同时,客户端的连接状态却是 ESTABLISHED,进程就在建立好的连接上发送请求。只要服务器没有为请求回复 ACK,请求就会被多次重发。如果服务器上的进程
只是短暂的繁忙造成 accept 队列满,那么当 TCP 全连接队列有空位时,再次接收到的请求报文由于含有 ACK,仍然会触发服务器端成功建立连接。
所以,tcp_abort_on_overflow 设为 0 可以提高连接建立的成功率,只有你非常肯定 TCP 全连接队列会长期溢出时,才能设置为 1 以尽快通知客户端。
如何增大 TCP 全连接队列呢?
是的,当发现 TCP 全连接队列发生溢出的时候,我们就需要增大该队列的大小,以便可以应对客户端大量的请求。
TCP 全连接队列的最大值取决于 somaxconn 和 backlog 之间的最小值,也就是 min(somaxconn, backlog)。从下面的 Linux 内核代码可以得知:
somaxconn 是 Linux 内核的参数,默认值是 128,可以通过 /proc/sys/net/core/somaxconn 来设置其值;
backlog 是 listen(int sockfd, int backlog) 函数中的 backlog 大小,Nginx 默认值是 511,可以通过修改配置文件设置其长度;
前面模拟测试中,我的测试环境:
somaxconn 是默认值 128;
Nginx 的 backlog 是默认值 511
所以测试环境的 TCP 全连接队列最大值为 min(128, 511),也就是 128,可以执行 ss 命令查看:
接着把 Nginx 的 backlog 也同样设置成 5000:
最后要重启 Nginx 服务,因为只有重新调用 listen() 函数 TCP 全连接队列才会重新初始化。
重启完后 Nginx 服务后,服务端执行 ss 命令,查看 TCP 全连接队列大小:
客户端同样以 3 万个连接并发发送请求给服务端:
服务端执行 ss 命令,查看 TCP 全连接队列使用情况:
从上面的执行结果,可以发现全连接队列使用增长的很快,但是一直都没有超过最大值,所以就不会溢出,那么 netstat -s 就不会有 TCP 全连接队列溢出个数的显示:
全站分卷索引 · 185 卷
- 1前言
- 2勘误事宜
- 3应用层
- 4网络层
- 5数据链路层
- 6物理层
- 7总结
- 8二、HTTP 篇
- 9HTTP 基本概念
- 10GET 与 POST
- 11HTTP 特性
- 12HTTP 与 HTTPS
- 13HTTP/1.1、HTTP/2、HTTP/3 演变
- 14读者问答
- 15最后
- 162.2 HTTP/1.1如何优化?
- 17如何减少 HTTP 请求次数?
- 18减少重定向请求次数
- 19合并请求
- 20延迟发送请求
- 21无损压缩
- 22总结
- 23最后
- 242.3 HTTPS RSA 握手解析
- 25RSA 握手过程
- 26TLS 第一次握手
- 27客户端验证证书
- 28证书链
- 29TLS 第三次握手
- 30TLS 第四次握手
- 31最后
- 322.4 HTTPS ECDHE 握手解析
- 33离散对数
- 34DH 算法
- 35DHE 算法
- 36ECDHE 算法
- 37TLS 第一次握手
- 38TLS 第三次握手
- 39TLS 第四次握手
- 40总结
- 412.5 HTTPS 如何优化?
- 42分析性能损耗
- 43硬件优化
- 44软件优化
- 45密钥交换算法优化
- 46TLS 升级
- 47证书优化
- 48OCSP
- 49OCSP Stapling
- 50会话复用
- 51Session Ticket
- 52Pre-shared Key
- 53总结
- 54最后
- 552.6 HTTP/2 牛逼在哪?
- 56HTTP/1.1 协议的性能问题
- 57头部压缩
- 58静态表编码
- 59动态表编码
- 60二进制帧
- 61并发传输
- 62服务器主动推送资源
- 63总结
- 64最后
- 65美中不足的 HTTP/2
- 66TCP 与 TLS 的握手时延迟
- 67网络迁移需要重新连接
- 68QUIC 协议的特点
- 69更快的连接建立
- 70连接迁移
- 71总结
- 72最后
- 73三、TCP 篇
- 74TCP 基本认识
- 75TCP 连接建立
- 76TCP 连接断开
- 77Socket 编程
- 78读者问答
- 79最后
- 803.2 TCP 重传、滑动窗口、流量控制、拥塞控制
- 81重传机制
- 82超时重传
- 83快速重传
- 84SACK 方法
- 85滑动窗口
- 86流量控制
- 87操作系统缓冲区与滑动窗口的关系
- 88窗口关闭
- 89糊涂窗口综合症
- 90拥塞控制
- 91慢启动
- 92拥塞避免算法
- 93拥塞发生
- 94快速恢复
- 95拥塞算法示意图
- 96读者问答
- 97最后
- 98显形“不可见”的网络包
- 99解密 TCP 三次握手和四次挥手
- 100TCP 三次握手异常情况实战分析
- 101实验场景
- 102实验二:TCP 第二次握手 SYN、ACK 丢包
- 103实验三:TCP 第三次握手 ACK 丢包
- 104TCP 快速建立连接
- 105TCP 重复确认和快速重传
- 106TCP 流量控制
- 107零窗口通知与窗口探测
- 108发送窗口的分析
- 109TCP 延迟确认与 Nagle 算法
- 110读者问答
- 1113.4 TCP 半连接队列和全连接队列
- 112什么是 TCP 半连接队列和全连接队列?
- 113实战 - TCP 全连接队列溢出
- 114实战 - TCP 半连接队列溢出
- 115读者问答
- 116最后
- 1173.5 TCP 内核参数
- 118TCP 三次握手的性能提升
- 119客户端优化
- 120服务端优化
- 121如何绕过三次握手?
- 122小结
- 123TCP 四次挥手的性能提升
- 124主动方的优化
- 125被动方的优化
- 126小结
- 127TCP 传输数据的性能提升
- 128如何确定最大传输速度?
- 129小结
- 130读者问答
- 131四、IP 篇
- 132前菜 —— IP 基本认识
- 133主菜 —— IP 地址的基础知识
- 134IP 地址的分类
- 135无分类地址 CIDR
- 136公有 IP 地址与私有 IP 地址
- 137IP 地址与路由控制
- 138IP 分片与重组
- 139IPv6 基本认识
- 140IPv4 首部与 IPv6 首部
- 141点心 —— IP 协议相关技术
- 142ARP
- 143DHCP
- 144NAT
- 145ICMP
- 146IGMP
- 147读者问答
- 1484.2 ping 的工作原理
- 149IP协议的助手 —— ICMP 协议
- 150查询报文类型
- 151差错报文类型
- 152a. 网络不可达代码为 0
- 153c. 协议不可达代码为 2
- 154ping —— 查询报文类型的使用
- 155traceroute —— 差错报文类型的使用
- 156读者问答
- 157五、网络综合篇
- 158真实地址查询 —— DNS
- 159指南好帮手 —— 协议栈
- 160可靠传输 —— TCP
- 161远程定位 —— IP
- 162两点传输 —— MAC
- 163出口 —— 网卡
- 164出境大门 —— 路由器
- 165互相扒皮 —— 服务器 与 客户端
- 166一个数据包臭不要脸的感受
- 167最后
- 1685.2 Linux 系统是如何收发网络包的?
- 169Linux 网络协议栈
- 170Linux 接收网络包的流程
- 171Linux 发送网络包的流程
- 172总结
- 173六、学习心得
- 1746.1 计算机网络怎么学?
- 175入门系列
- 176深入学习系列
- 177实战系列
- 178最后
- 1796.2 操作系统怎么学?
- 180入门系列
- 181深入学习系列
- 182最后
- 183七、画图经验
- 184赞赏支持
- 185支付宝赞赏码