明察秋毫–用ss工具统计网络栈内存使用

技术分享 7天前 0 999+

前言

本文介绍了用ss工具来统计一下当前网络栈的内存使用情况

环境准备

组件	版本
操作系统	Ubuntu 22.04.4 LTS

查看socket内存相关参数，`-m` 参数

▶ ss -tm State       Recv-Q Send-Q                                                                   Local Address:Port                                                                                    Peer Address:Port  ESTAB       0      36                                                                         10.8.19.109:ssh                                                                                   182.148.53.161:25924          skmem:(r0,rb369280,t0,tb133632,f1792,w2304,o0,bl0,d1)

其中关于skmem

skmem:(r<rmem_alloc>,rb<rcv_buf>,t<wmem_alloc>,tb<snd_buf>,               f<fwd_alloc>,w<wmem_queued>,o<opt_mem>,               bl<back_log>,d<sock_drop>)

rmem_alloc 已经分配用于接收包的内存，如果应用层能及时消费 TCP 内核层接收到的数据，这个数字基本为 0
rcv_buf 接收包可以使用的总内存，与 net.ipv4.tcp_rmem 第二个参数相关
wmem_alloc 已经分配用于发送包的内存（已经到达ip层），包已经到达ip层，需要等待网卡将ip层的包取走
snd_buf 发送包可以使用的总内存与 net.ipv4.tcp_wmem 第二个参数相关
fwd_alloc 已经分配给socket使用内存，不用于接收/发送使用
wmem_queued 已经分配用于发送包的内存（没有到达ip层）
opt_mem 用于保存socket option所使用的内存
back_log back_log所使用的内存，进程从队列里面拿到新的数据包
sock_drop 在将数据包解复用到套接字之前丢弃的数据包数量

计算每一条socket消耗的内存，`-tm`

socket_memory = r(rmem_alloc) + t(wmem_alloc) + f(fwd_alloc) + w(wmem_queued) + o(opt_mem) + bl(back_log)

▶ ss -tm State       Recv-Q Send-Q                                                                   Local Address:Port                                                                                    Peer Address:Port  ESTAB       0      36                                                                         10.8.19.109:ssh                                                                                   182.148.53.161:25924          skmem:(r0,rb369280,t0,tb133632,f1792,w2304,o0,bl0,d1)

可以计算出这条socket消耗的内存： mem = 1792+2304 = 4096 4k内存

计算网络栈所使用的内存

cat /proc/net/sockstat sockets: used 502 TCP: inuse 65 orphan 0 tw 128 alloc 311 mem 21 UDP: inuse 5 mem 4 UDPLITE: inuse 0 RAW: inuse 0 FRAG: inuse 0 memory 0

mem 21，单位是page，查看一下page的大小

getconf PAGESIZE 4096

由此可得，当前tcp网络栈大约使用 mem = 21*4096 = 86016 84k内存

查看协议栈的其他参数信息，`-i`

▶ ss -ti State       Recv-Q Send-Q                                                                   Local Address:Port                                                                                    Peer Address:Port ESTAB       0      0                                                                        192.168.3.168:46099                                                                                  192.168.3.168:58625          cubic wscale:2,7 rto:201 rtt:0.043/0.005 ato:40 mss:65483 rcvmss:1924 advmss:65483 cwnd:10 bytes_acked:12424915507 bytes_received:3150 segs_out:10395577 segs_in:10395575 send 121828.8Mbps lastsnd:2188 lastrcv:2244390049 lastack:2188 rcv_rtt:1 rcv_space:43690

rto 重传超时时间，即从数据发送时刻算起，超过这个时间便执行重传，单位ms
rtt 一个连接的往返时间，即数据发送时刻到接收到确认的时刻的差值，单位ms
ato ack的超时时间，单位ms
mss 有效数据的最大分段，去掉3层和4层的header，就是MSS MTU - (TCP 标头 + IP 标头) = MSS
rcvmss 文档上没有这个参数的介绍，源码注释上标注： MSS used for delayed ACK decisions。对端告诉本端，对端的mss大小
advmss 文档上没有这个参数的介绍，源码注释上标注： Advertised MSS。告诉对端，本端的mss的大小
cwnd 拥塞窗口的大小： cwnd*mss
bytes_acked 已经被ack的字节数
bytes_received 收到但没被ack的字节数
segs_out 已发送的segment数，segment最大就是一个mss，但是也有可能小于mss（没有塞满一个mss就发送过来了）
segs_in 已收到的segment数
send 发送速率
lastsnd 最后发送一个包距离现在的时间，单位ms
lastrcv 最后接收一个包距离现在的时间，单位ms
lastack 最后一次收到ack距离现在的时间，单位ms
rcv_rtt 文档上没有这个参数介绍
rcv_space 用于tcp自动调优，用来调整sender的buffer