先把测试链路摆正
核心答案:用iperf3在服务端执行iperf3 -s,客户端先跑默认上行,再加-R跑下行,必要时用--bidir跑双向;固定-t 30、-P 4~8,分时段跑至少3轮取中位数,才能判断大带宽服务器上下行是否对称。
判断上下行对称,本质是让同一对机器在相同路径、相近时段里,分别完成“客户端发、服务端收”和“服务端发、客户端收”,只看一次峰值,或者只跑单线程,很容易把TCP窗口、跨网绕行、高峰期拥塞误判成服务器带宽不对称。
测试前准备:两端系统、防火墙、网卡和时钟
先把测试环境摆正,再谈结果,建议服务端和客户端尽量同地域、同可用区,避免跨运营商绕行。
- 安全组和系统防火墙放行iperf3端口,默认是5201。
- 确认两端网卡协商速率和双工模式,避免千兆口跑万兆测试。
- 记录RTT和路由,跨地域测试先跑
mtr看路径。 - 关闭同机大流量业务、备份、同步任务,减少干扰。
- 服务端和客户端时间同步,便于对照多轮记录。
常用检查命令:
ethtool eth0 | grep -E "Speed|Duplex" tc qdisc show dev eth0 mtr -rw 对端IP
iperf3上下行带宽对比测试方法:正反两个方向各跑三轮
操作路径不复杂,关键是方向要跑全。
服务端启动监听:
iperf3 -s -p 5201
客户端跑上行,也就是客户端发送、服务端接收:
iperf3 -c 服务端IP -p 5201 -t 30 -P 4 -i 1
- 客户端加
-R跑下行,方向反转,服务端发送、客户端接收:
iperf3 -c 服务端IP -p 5201 -R -t 30 -P 4 -i 1
- 需要同时观察双向时,用较新版本iperf3的
--bidir:
iperf3 -c 服务端IP -p 5201 --bidir -t 30 -P 4 -i 1
- 上行、下行、双向各跑至少3轮,尽量覆盖不同时段,看输出里的
SUM行总吞吐和Retr重传次数,必要时加-J保存JSON结果,方便做表对比。
-R只改变测试方向,不改变链路。-P用来增加并发流,大带宽链路单流容易受窗口限制,4到8条流更接近实际业务。
对称与否怎么判定:看吞吐差距还是看瓶颈
业内专家指出,判断上下行对称不能只盯一个峰值,要同时看吞吐中位数、重传、CPU占用和网卡丢包。
- 上下行中位数接近,重传低,CPU没跑满,网卡无持续丢包,才更接近真实对称。
- 上行高、下行低,先查
-R方向的路由和接收端处理能力。 - 双向测试掉速明显,查共享端口、限速策略和并发流配置。
- 单流不满、多流能满,多半是TCP窗口或BDP限制,不是服务器带宽本身不对称。
| 观察项 | 上行命令 | 下行命令 | 重点看 |
|---|---|---|---|
| TCP吞吐 | iperf3 -c IP -t 30 -P 4 |
加-R |
SUM吞吐、Retr |
| 双向吞吐 | --bidir -t 30 -P 4 |
同左 | 两个方向是否互相挤压 |
| 主机瓶颈 | top、sar -n DEV 1 |
同左 | CPU软中断、网卡丢包 |
| 路径质量 | mtr -rw IP |
同左 | 丢包跳点、绕行 |
为什么大带宽服务器上下行不对称?四类瓶颈逐项排除
大带宽服务器上下行不对称怎么办:从网卡、路由到限速逐项排除
先别急着换机器,按链路到主机逐层查。
- 链路层:看网卡是否降速,光模块和交换机端口是否匹配,执行
ethtool -S eth0 | grep -i drop看丢包。 - 路由层:用
mtr -rw 对端IP看是否有固定跳点丢包,跨网测试尤其要看。 - 限速层:执行
tc qdisc show dev eth0,检查本机限速;云上还要看带宽包、公网峰值和安全组。 - 主机层:用
top、mpstat -P ALL 1、sar -n DEV 1看单核软中断和网卡队列。 - 协议层:用
ss -ti看重传和窗口,必要时调整-w或多流,不要盲目改系统参数。 - 测试层:UDP打太满会制造丢包,单流测万兆容易测不满,方法本身也会造成“假不对称”。
上海大带宽服务器上下行测试场景:同城与跨地域别混在一起
同城测试和跨地域测试要分开看,上海同城机器优先走内网或同可用区,先确认服务器自身和端口能力;跨地域再测公网,重点记录RTT、运营商路径和高峰时段,把跨网绕行当成上下行不对称,是常见误判,国内大带宽服务器做对比时,最好固定测试机、固定端口、固定时段,否则结果没有可比性。
参数怎么调:TCP、UDP、多线程和长连接
TCP测试:多流比单流更能代表大带宽
TCP吞吐受BDP限制,公式是带宽×RTT/8,RTT越大,单流越难跑满,大带宽链路建议用-P 4到-P 8,必要时加-w 2M或-w 4M,拥塞控制可用-C cubic或系统支持的bbr,看结果时别只看峰值,重点看稳定段和Retr。
UDP测试:看丢包和抖动,不要只追求打满
UDP测试用-u指定带宽,
iperf3 -c 服务端IP -u -b 1G -t 30 -l 1400
结果重点看lost和jitter,UDP会挤占链路,带宽值要按实际链路设置,不要把“打不满”直接等同于服务器不对称。
双向与长时测试:对称性要看稳定段
双向用--bidir,时长可拉到60秒,间隔5秒输出一次,前几秒常有慢启动,取稳定段更有意义,短时突发好看,不代表持续对称。
| 参数 | 作用 | 建议 |
|---|---|---|
-t 30 |
测试时长 | 先30秒,复测可60秒 |
-P 4~8 |
并发流 | 大带宽避免单流误判 |
-R |
反转方向 | 测下行必加 |
--bidir |
双向同时 | 看互相挤压 |
-J |
JSON输出 | 便于做对比表 |
结果对比表怎么做:把“感觉对称”变成可复核记录
国内大带宽服务器iperf测试价格:别让便宜带宽掩盖测试成本
行业共识认为,大带宽产品的价格差异往往来自保底带宽、峰值策略、计费方式和线路质量,测试成本也要算进去:两台同地域测试机、流量消耗、多时段复测时间,低价大带宽如果共享严重或高峰限速,标称带宽再高也测不出稳定对称,选型时把上行中位数、下行中位数、重传次数、测试时段一起记录,比只看价格靠谱。
| 记录项 | 示例写法 | 用途 |
|---|---|---|
| 测试方向 | 上行、下行、双向 | 防止漏测 |
| 轮次 | 第1轮到第3轮 | 看波动 |
| 中位数 | 取稳定段 | 降低偶然性 |
| 重传 | Retr次数 |
判断链路质量 |
| 主机状态 | CPU、丢包 | 排除本地瓶颈 |
复测与交叉验证:换工具换路径
iperf3结果要和mtr、curl上传下载、多时段复测交叉看。speedtest适合粗略参考,不适合替代iperf3做方向对比,换一台客户端复测,能快速判断问题在服务器侧还是测试侧。
用iperf3对比大带宽服务器上下行,核心不是跑一条命令,而是把方向、并发、时段和瓶颈拆开看。上下行都稳定、重传低、主机没瓶颈,才叫真对称。
Q&A:大带宽服务器上下行对称测试常见问题
iperf3测出来上行高下行低,一定是服务器不对称吗?
不一定,先看-R方向的路由、接收端CPU和网卡丢包,再看单流是否受窗口限制,多流能跑满、单流跑不满,更多是TCP BDP问题,不是服务器带宽方向不对称。
大带宽服务器上下行对称测试需要跑多久、跑几轮?
建议单轮30到60秒,上行、下行、双向各跑至少3轮,覆盖不同时段,取稳定段中位数,只跑10秒很容易被慢启动和突发缓存影响。
10G大带宽服务器用iperf3测不满怎么办?
先加-P 8多流,检查CPU单核软中断、网卡队列和Retr,再看-w窗口和路由丢包,UDP测试可辅助看丢包和抖动,单流测10G在较高RTT下本来就不容易跑满,这时先解决单流瓶颈,再谈上下行是否对称。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/800495.html


