虚拟机里跑DPDK，性能上不去通常不是CPU不够快，而是CPU亲和性、巨页内存、NUMA感知和vhost-user配置这四件事没做到位。只要把这四个环节按测试环境逐一调对，虚拟机内的IO转发性能能逼近物理机的八成以上，这套优化思路在近年来的NFV和云原生数据面场景中已经是行业共识,下面直接拆解实操步骤。
虚拟机DPDK性能差的原因和优化方向
很多人第一次在虚拟机里跑DPDK，第一反应是吃一惊：怎么物理机跑20Mpps，虚拟机里只剩5Mpps？差距从哪来的？业内专家指出，超过半数的性能损耗并非来自虚拟化本身，而是来自默认配置带来的中断风暴、内存拷贝和锁竞争。
宿主机CPU模式对性能的影响
虚拟机CPU的vCPU物理映射方式决定了后续所有优化的天花板，如果你用的是默认的qemu64或genericCPU型号，DPDK里的指令集优化基本全军覆没，测试前务必把CPU模式改成host-passthrough或host-model，让vCPU继承宿主机完整的指令集特性，包括SSE4.2、AVX2、AVX-512，以libvirt为例，在domain XML里这样改：
<cpu mode='host-passthrough' check='none'/>
改完之后用lscpu在虚拟机内确认Flags里是否有avx2和aes，没有的话，DPDK的rte_memcpy和加解密PMD会退化到通用路径,吞吐直接打个七折。
巨页内存和NUMA绑定的实战配置
DPDK需要大页内存来避免TLB miss,宿主机上先预留巨页：
echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages mkdir -p /mnt/huge && mount -t hugetlbfs nodev /mnt/huge
但很多人在这一步忽略了NUMA节点绑定，如果虚拟机跨NUMA分配内存和vCPU，访问远端内存的延迟会比本地高1.5倍左右，建议测试前先确认虚拟机的vCPU和内存都钉在同一个NUMA节点上，用
virsh vcpupin把vCPU固定到物理核，再用virsh numatune设置内存绑定：
virsh vcpupin vm-name 0 4 virsh vcpupin vm-name 1 5 virsh numatune vm-name --nodeset 0
这样配置之后，虚拟机内的DPDK程序跑testpmd时，--socket-mem参数建议直接指定对应节点，别用默认的--socket-mem=1024，那会在两个节点上各分配一次,白白浪费内存带宽。
虚拟机DPDK性能调优参数：从testpmd到业务程序
虚拟机内的DPDK应用如果直接裸跑默认参数，效果往往不理想，调优参数的关键在于让轮询线程、收包队列和物理中断三者之间互不干扰。
收包队列和Mempool大小怎么定义才合理
网卡队列数量通常等于vCPU核数，每队列配一个专用的lcore处理，以virtio-user或vhost-user接口为例,启动testpmd时这样设置：
./dpdk-testpmd -l 0-3 -n 4 --huge-dir=/mnt/huge --vdev=net_virtio_user0,path=/dev/vhost-net,queues=4 -- -i --rxq=4 --txq=4 --rxd=1024 --txd=1024
这里的--rxd和--txd是描述符环形队列深度，很多教程推荐默认256，但实际测试中，队列深度调到1024能明显降低DPI场景和VNF转发场景下的丢包率，过大的mempool也会拖慢cache命中率，建议--mbuf-size=2048,满足主流报文大小即可。
中断隔离和隔离核配置方法
轮询模式最怕被定时器和中断打断，宿主机上要给DPDK应用预留隔离核，Linux内核启动参数里加上isolcpus和nohz_full：
isolcpus=4-7 nohz_full=4-7 rcu_nocbs=4-7
同时把host上的中断irqaffinity挪到非隔离核上，具体做法是查看/proc/interrupts,找到对应网卡的队列中断号，
echo 1 > /proc/irq/31/smp_affinity
这一步做与不做，在PPS测试中的差距可达20%以上。
vhost-user与网卡透传的性能对比测试
虚拟机接入DPDK目前主要有两条路：vhost-user用户态交换，以及PCIe直通（VFIO透传），这两者的性能差异和适用场景差别很大,需要根据目标灵活选择。
- vhost-user：适合多虚拟机共享同一物理网卡的场景，数据面走共享内存通信，不需要经过内核协议栈，延迟较低,但会占用额外的vCPU做vhost后端轮询。
- PCIe直通：把物理网卡直接分配给单台虚拟机，性能最接近物理机，但灵活性差,无法在虚拟机之间动态迁移。
如果拿testpmd的io fwd模式做对比，同款Intel XL710网卡下，PCIe直通的PPS大约比vhost-user高出10%到15%，但vhost-user在CPU占用率上更优,因为vhost后端线程本身是个轻量级的轮询模型。
vhost-user多队列配置要点
vhost-user的多队列依赖QEMU的参数传递，启动虚拟机时,QEMU命令行加上这样的配置：
-chardev socket,id=char0,path=/tmp/vhost.sock,server -netdev vhost-user,id=net0,chardev=char0,queues=4 -device virtio-net-pci,netdev=net0,mq=on,vectors=6
注意vectors参数，它等于队列数乘以2再加2，配错的话，虚拟机内中断号不足，多队列会退化成单队列，这个坑很多人在测试时才会发现：明明开了queues=4，但ethtool -l显示只有一个队列。
性能测试场景下的结果解读和验证方法
调优做完了，怎么确认效果？不要只看testpmd的RX/TX数据，那只是转发路径的裸测，更接近业务的做法是用pktgen-dpdk打流，同时监控虚拟机内的CPU占用率、cache miss率和内存带宽。
虚拟机DPDK性能提升的典型数据表现
单核单队列收发64字节小包时，物理机约14.88Mpps，PCIe直通虚拟机通常能跑到12Mpps上下，vhost-user则受限于vhost后端调度，常见在8-10Mpps，这个差异不是因为DPDK效率低，而是virtio设备的链路层开销和vhost内核线程切换造成的。相比内核协议栈的1.5Mpps，哪怕vhost-user也能高出5倍以上,这就是虚拟化场景下DPDK的核心价值。
验证瓶颈不在CPU还是内存
如果调完还是上不去，用perf top看一眼热点，如果热点集中在rte_vhost_dequeue_burst，说明vhost后端线程饱和了，需要增加vhost线程或减少队列数，如果热点在rte_memcpy，优先检查CPU模式是否继承完整指令集，如果热点分散在spinlock相关函数，说明队列锁竞争严重，检查收包是否出现receive queue overrun，适度增大--rxd。
Q&A：虚拟机DPDK性能优化相关问题
问：虚拟机DPDK性能测试中，vhost-user和vhost-net有什么区别？
vhost-net是内核态的实现，数据面经过内核，存在系统调用和拷贝开销；vhost-user是用户态实现，基于共享内存通信，直接绕开内核，性能高出30%-50%，测试场景优先选择vhost-user，如果使用vhost-net，通常建议配合virtio-net的mergeable buffers特性，但实测效果仍不如vhost-user稳定。
问：DPDK价格成本高吗，虚拟机里测试需要什么硬件条件？
DPDK是开源的，没有软件授权成本，但硬件上有门槛，需要Intel或Mellanox等支持VFIO的网卡（如Intel X710/XL710、Mellanox ConnectX-4/5），宿主机CPU建议开启VT-d，BIOS中开启Intel VT-x和VT-d后，DPDK在虚拟机里的性能收益才体现得出来，如果是纯软件测试环境，即使没有物理网卡，也能用vhost-user的环回模式验证数据面逻辑，主要用来调试程序,不代表真实网络性能。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/article/626060.html
