多个虚拟机要实现高效稳定通讯，核心在于把虚拟网络当作真实物理网络来规划：按管理、存储、业务三个平面隔离流量，选对虚拟交换机模式，并用链路聚合和多队列消除单点瓶颈。
虚拟机之间如何通讯：先看清流量走的哪条路
调试虚拟机网络的前提，是知道数据包的实际路径，同一台宿主机上的两台虚拟机通讯，数据从虚拟网卡出发，进入虚拟交换机，虚拟交换机直接根据MAC地址表在内存中完成转发，整个过程不会触碰物理网卡,这个逻辑和物理交换机内部转发完全一致。
跨宿主机时路径变长：虚拟网卡→虚拟交换机→上行链路物理网卡→物理交换机→对端物理网卡→对端虚拟交换机→目标虚拟网卡，这两条路径搞清楚,排查网络延迟时就能少走很多弯路。
同宿主机通讯：优先走虚拟交换机内部
虽说同宿主机虚拟机之间的通讯在内存中完成，延迟远低于物理网络，但有一个前提：虚拟交换机本身没被拖累，如果你在vSwitch上配置了端口聚合、流量镜像，或者启用了QoS限速，那依然会引入额外延迟，建议在VMware的标准虚拟交换机上，给同宿主机的端口组单独划分一个VLAN,避免广播报文干扰正常业务。
跨宿主机通讯：VLAN规划和物理链路缺一不可
跨宿主机通讯依赖物理网络承载，一个VLAN一个广播域，别把上百台虚拟机全部塞进同一个广播域，否则某个虚拟机网卡故障发起广播风暴，整个虚拟网络都会跟着卡顿，物理链路的带宽规划同样重要，万兆网卡在虚拟化集群里已经是入门配置,千兆只适合规模很小的测试环境。
多虚拟机网络配置方案：桥接、NAT还是Overlay
选择哪种组网模式，取决于业务规模和运维能力，三种模式各有明确适用场景,盲目跟风会给自己添麻烦。
| 组网模式 | 适用场景 | 优势 | 典型局限 |
|---|---|---|---|
| 桥接模式 | 小规模、需与物理网络同网段 | 配置直观，虚拟机和物理机地位对等 | 广播域大，IP地址管理混乱 |
| NAT模式 | 开发测试环境、单机隔离 | 不占物理IP，天然隐藏内网 | 外部主动访问需端口转发，性能有损耗 |
| Overlay网络 | 跨数据中心、大规模集群 | 突破VLAN数量限制，网络策略随虚拟机漂移 | 封装解封装消耗CPU，依赖硬件卸载 |
桥接模式：最原始，但广播域隐患大
桥接模式把虚拟网卡直接映射到物理网络，虚拟机就像一台插在交换机上的实体机，不需要额外网关配置，在虚拟机数量不超过十几台的开发环境里很顺手，可一旦虚拟机规模上来，广播报文对物理交换机的CPU冲击会成倍增长，行业共识认为，生产环境应避免大面积使用桥接模式,除非你有完善的广播抑制手段。
NAT模式：适合需要快速隔离的测试环境
NAT模式由宿主机充当虚拟机的网关，虚拟机共享宿主机的IP出口，外部访问虚拟机时需要使用Docker类似的端口映射思路去配置转发规则，好处是虚拟机默认无法被外网直接探知，坏处是高端口并发场景下,NAT表项的维护会消耗宿主机CPU资源。
Overlay网络：大规模虚拟化集群的现代答案
VXLAN是Overlay网络的主流代表，它把二层报文封装进UDP传输，底层物理网络只需要具备三层路由能力，就能构建出跨越数据中心的二层逻辑网络，VLAN数量上限从4096扩展到1600万，虚拟机的网络策略也可以跟随虚拟机迁移自动携带，业内专家指出，在容器和虚拟机混合调度的场景中,Overlay方案几乎成了事实标准。
不过提醒一句，VXLAN封装会带来额外的CPU开销，如果宿主机网卡支持VXLAN硬件卸载，一定记得打开,否则高吞吐场景下CPU会成为新瓶颈。
虚拟机网络性能差怎么办：按顺序排查四个位置
网络慢不一定就是带宽不够，更多时候是配置没到位，下面这个排查顺序,是按照性价比从高到低排列的。
虚拟交换机带宽瓶颈：先看上行链路是否拥堵
很多性能问题的根源，不是物理链路不够快，而是虚拟交换机的上行链路太少，所有虚拟机的流量都挤在一条物理网卡上进出，解决办法是启用链路聚合（NIC Teaming）,把两块甚至四块物理网卡绑定成一个逻辑链路。
- VMware环境：vSphere Client中选择宿主机→配置→网络→虚拟交换机→编辑设置→网卡绑定，策略选“基于IP哈希的负载均衡”，故障切换选择“链接状态跟踪”。
- KVM环境：使用Linux的bonding模块或teamd，模式选择balance-xor,同样基于IP哈希做负载均衡。
操作完成后，用iperf3打流验证,吞吐量应接近多块网卡的聚合带宽。
中断与队列分配：CPU忙闲不均导致丢包
默认情况下，虚拟网卡的中断大概率被分配到CPU核心0上，单核打满、其他核空闲，表现就是吞吐上不去且延迟抖动大，解决方案是开启多队列（Multi-Queue）：
- VMware的vmxnet3网卡默认支持多队列，但需要在虚拟机内确认驱动已启用RSS（接收端缩放）。
- KVM环境给网卡配置多队列向量，将virtio-net的队列数设为与vCPU数量相同，同时使用
taskset或virsh vcpupin将vCPU绑定到不同物理核上。
这一步做完,收包能力会有肉眼可见的提升。
TCP卸载和巨型帧：CPU负载高但链路利用率低的元凶
TCP校验和卸载、TSO/GSO分段卸载，目的是把网卡已经能做好的事情从CPU手里接管过来，多数Linux发行版默认开启TSO，但如果你发现虚拟机内CPU占用率高、物理网卡吞吐上不去，用ethtool -K eth0 tso off临时关掉测试,反向排查。
巨型帧（MTU 9000）适合存储网络，降低报文数量减少CPU开销，但注意：必须保证虚拟交换机、物理交换机、存储设备整条链路的MTU完全一致，用ping -M do -s 8972 目标IP验证，只有一条链路没配好,就会引发碎片导致的间歇性卡顿。
底层物理交换机的配置遗漏
容易被忽略的是物理交换机端口上有没有启用STP收敛、端口信任和流控，虚拟机大规模迁移时，物理端口频繁UP/DOWN，如果STP收敛太慢，网络就会出现短暂中断，建议在物理交换机连接宿主机的端口上开启边缘端口（portfast）并启用BPDU保护。
虚拟机集群组网：将三张网络拆开，故障面自然缩小
集群规模越大，网络分层越重要，把管理、存储、业务三种流量混在同一张物理网络里,就是在为故障埋雷。
管理网络、存储网络、业务网络三网分离
- 管理网络：负责宿主机控制面、虚拟机迁移（vMotion/Live Migration），流量不大但延迟敏感,要求稳定可靠。
- 存储网络：承载iSCSI/NFS/FC存储流量，吞吐量最大，万兆起步，延迟要求苛刻,建议物理隔离。
- 业务网络：承载应用实际流量，按应用或租户细分VLAN,隔离广播域和安全域。
三网分离是虚拟化运维的基本功，存储IO和业务流量互挤带宽，一旦存储备份任务启动，业务网络就跟着抖动,这种连锁反应排查起来非常痛苦。
标准虚拟交换机还是分布式虚拟交换机
单台ESXi主机上，标准虚拟交换机足够用，配置简单直观，而当宿主机数量超过三台，且需要统一端口组、统一VLAN、统一安全策略时，用分布式虚拟交换机（vDS）更省事，虚拟机在宿主机之间做vMotion迁移时，分布式交换机的端口配置会跟着虚拟机一起走，网络策略不落地,运维心智负担小很多。
VMware的vDS需要Enterprise Plus授权，预算有限时也可以考虑用NSX-T的Overlay方案作为替代，选择标准就一条：物理主机数量越多、迁移越频繁,越值得上分布式交换机。
常见问题Q&A
虚拟机之间如何通讯，同宿主机访问也会绕物理链路吗？
正常情况下不会，虚拟交换机在宿主机内存中完成报文转发，不经过物理网卡，但如果你在虚拟交换机上开启了端口镜像或强制流量经由上行链路的策略，那就会绕远路,延迟和吞吐都会变差。
虚拟机网络性能差怎么办，最优先检查哪一步？
先确认虚拟交换机上行链路数量和负载均衡策略，单条物理链路承载所有虚拟机的南北向流量，是绝大多数性能瓶颈的根源，用iperf3分别测试虚拟机和宿主机物理网卡的吞吐量,差异明显就能定位到虚拟交换机配置问题。
跨数据中心的虚拟机集群，用什么组网方案靠谱？
VXLAN Overlay叠加专线互联是主流答案，底层物理网络只管路由，二层逻辑网络通过VXLAN隧道跨数据中心打通，虚拟机迁移时IP地址保持不动，配合多活网关部署,单点故障对业务无感知。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/article/634301.html
