基于mediasoup的webrtc server,进行性能压测时发现,在1gbps的网络条件下,带宽利用率在40%(400Mbps)时,就会出现过高丢包率的(packet loss > 10%)的情况。这个结果是合理的吗?如果不合理,要如何提升性能?
研究发现,不同vps提供商网卡驱动能力不同,这可能跟选择的vps配置有关系。一些vps的网卡mtu设置为9001,另一些vps的以太mtu设置为1500。在局域网LAN中,mtu=1500。关于rx/tx ringbuffer size,一些vendor是2048,单队列。而一些vendor却只有256,多队列(4个queue)。并且这些参数,在vps上,是不能修改设置的。
一般vps都是按流量计费的,且带宽成本>90%。streaming的带宽利用率低并不会导致成本的增加,因此,并没有迫切需求要提升效率。
实测表明,1gbps网络条件(mtu=1500, tx/rx ringbuffer size=256, 单队列)下,mediasoup SFU的带宽利用率为40%(packet loss < 10%)。
设置优化参数后,重做测试。
网络环境:1gbps networking + vm虚拟机(debian11)
# ethtool -G ens33 rx 4096
# ethtool -G ens33 rx 4096
# vi /etc/sysctl.conf
# For RTC
net.core.rmem_max=16777216
net.core.rmem_default=16777216
net.core.wmem_max=16777216
net.core.wmem_default=16777216
重启网络服务service networking restart似乎不生效,估计得重启vm。
# 查看UDP缓冲区长度,默认只有200KB左右。
sysctl net.core.rmem_max
sysctl net.core.rmem_default
sysctl net.core.wmem_max
sysctl net.core.wmem_default
# 修改缓冲区长度为16MB
sysctl net.core.rmem_max=16777216
sysctl net.core.rmem_default=16777216
sysctl net.core.wmem_max=16777216
sysctl net.core.wmem_default=16777216
调整参数后,性能提升了30%左右,也就是说,带宽利用率达到50%以上,并且不再有严重的丢包问题。