对于高并发场景，KVM等Type 1裸机虚拟化架构是当前更合适的选择，其性能损耗远低于Type 2宿主型架构，并具备企业级所需的稳定性和隔离性。
如果你正在为高并发业务挑选虚拟化方案，无论你是做电商大促、游戏网关还是API网关集群，选错架构会导致CPU steal（偷取）飙升、IO延迟抖动明显，这篇文章直接拆解主流虚拟机架构的底层差异,并给出可落地的调优方向。
虚拟机Type 1和Type 2架构哪个更适合高并发处理
这个问题问的人最多，Type 1架构（裸机型）直接跑在物理硬件上，没有宿主机操作系统这一层，典型代表是KVM、VMware ESXi、Xen，Type 2架构（宿主型）则必须装在Windows或Linux操作系统里，再通过这个操作系统去调用硬件资源，典型代表是VirtualBox、VMware Workstation。
高并发场景下两类架构的资源分配差异
高并发意味着高频中断和密集计算，Type 2架构多了一层宿主操作系统，所有虚拟机的CPU指令都要经过宿主机内核转发，这层转发就是瓶颈所在CPU排队、内存拷贝、磁盘IO都慢半拍，而Type 1架构的虚拟化层直接调度物理资源,每个虚拟机拿到的资源更接近物理机水平。
行业共识认为，Type 1架构在数据库集群、消息队列这类高并发核心组件上的性能，比同配置的Type 2架构普遍高出20%到30%（该数据来源于业界多年来的基准测试共识），更关键的是延迟稳定性，高并发业务最怕延迟抖动，Type 2架构在宿主机负载波动时，虚拟机内的请求延迟会像过山车，而Type 1架构的表现要平滑得多。
虚拟化层资源隔离机制对高并发业务的影响
很多人在选型时会忽略资源隔离，高并发场景下，一台物理机上往往跑着多个虚拟机，如果隔离做得差，一个虚拟机出现CPU密集计算或磁盘IO风暴,就会拖垮同机的其他虚拟机。
Type 1架构提供硬件级别的隔离能力，KVM借助Intel VT-x和AMD-V硬件辅助虚拟化技术，让每个虚拟机的内存访问和IO中断直接由硬件隔离，Type 2架构因为是纯软件模拟，隔离依赖宿主操作系统，面对高并发时的核弹级IO压力,很难做到独善其身。
高并发场景下值得考虑的虚拟机架构类型
如果你业务刚起步，流量只有几百QPS，Type 2架构也够用，但如果你在规划支撑几万QPS的微服务集群，或者你在做直播弹幕这种突然流量翻百倍的业务,请直接看向以下三种架构。
KVM架构：基于内核的裸机虚拟化
KVM是Linux内核模块，它把Linux内核变成了一个Type 1虚拟机监控器，它的优势非常明显：性能强、开源免费，在百度搜索”虚拟机性能对比KVM”，你会发现几乎所有云厂商（简米云、酷番云、华为云）的底层默认都是KVM虚拟化。
操作路径很简单：在支持虚拟化的物理机上安装Linux（如CentOS Stream或Ubuntu Server），确认grep -E '(vmx|svm)' /proc/cpuinfo有输出，然后直接modprobe kvm加载模块，再用libvirt或virt-manager创建虚拟机，KVM对高并发业务的支持最好，因为它支持virtio半虚拟化驱动网卡、磁盘都走virtio通道，跳过模拟硬件的中断开销,延迟能降低一大截。
业内专家指出，在高并发场景下，KVM配合NUMA绑定和CPU pinning，可以做到虚拟机对物理CPU的独占访问，彻底避免CPU资源争抢，据Linux基金会公开文档,KVM在2018年就通过了几乎所有主要云厂商的严格生产环境验证。
Xen架构：半虚拟化技术的先驱
Xen在2003年诞生于剑桥大学，曾经是AWS的底层架构，它的特点是分离设备驱动模型，管理域（dom0）负责处理IO，业务虚拟机（domU）通过授权页表共享数据，早期Xen的性能优势明显，但后来KVM崛起后,Xen慢慢淡出主流。
高并发场景下，Xen的dom0会成为瓶颈，所有虚拟机网络包都要经过dom0转发，如果dom0的CPU被打满，整个物理机的网络就瘫了，这对高并发业务来说是致命的，目前Xen在公有云市场已经非常少见,仅在部分传统IDC和特殊安防项目中还有存量。
Hyper-V架构：微软生态内的裸机选择
Hyper-V是微软的Type 1虚拟化方案，不是Windows自带的那种虚拟化组件，它跟KVM的地位类似，但绑定Windows Server生态，如果你们公司全是.NET技术栈、用Active Directory做认证、跑SQL Server集群，那么Hyper-V是很好的选择。
在高并发场景下，Hyper-V的合成网卡（VMbus）性能接近物理网卡，但如果你用的是Linux虚拟机跑高并发服务，Hyper-V对Linux的NUMA支持不如KVM成熟，选择Hyper-V前，建议先做POC测试，用perf stat看上下文切换率，再用fio测随机读写IOPS,对比一下是否达到你的预期。
高并发业务如何权衡架构选型和调优方案
架构选型不是一步到位的事，你还需要考虑虚拟化带来的CPU steal时间、内存过度分配带来的swap风暴、磁盘IO的排队延迟。
CPU调度和内存虚拟化的实际代价
高并发时最怕虚拟机分到的CPU时间片被偷走，在Linux虚拟机内部执行top，看%steal这一列，如果它长期超过5%，说明物理机CPU资源已经紧张,你需要缩容或者增加物理节点。
内存层面，开启透明大页（THP）在某些高并发场景反而会坏事，THP会让Linux后台自动合并内存页，虽然节省了内存，但会增加CPU开销和锁定延迟，高并发业务建议关闭THP，或使用echo never > /sys/kernel/mm/transparent_hugepage/enabled命令。
存储架构对高并发事务的影响
高并发写入密集型业务（如订单系统、支付流水）需要local NVMe SSD，用过Ceph分布式存储的应该懂，跨节点网络延迟对虚拟机磁盘IOPS伤害巨大，虚拟机磁盘IO性能测试有个简单命令：fio --filename=/dev/vdb --direct=1 --rw=randrw --bs=4k --ioengine=libaio --iodepth=32 --numjobs=4 --runtime=30 --group_reporting，如果4K随机写IOPS低于5000,基本别指望这台虚拟机可以抗住高并发写入。
网络虚拟化架构的高并发调优操作
高并发场景一定涉及网络，KVM虚拟机默认使用virtio-net驱动，没有这个驱动的虚拟机网络性能会差几倍，确认方法：在虚拟机内执行ethtool -i eth0，如果driver是virtio_net，说明没问题，如果driver是e1000或rtl8139，说明走的是纯软件模拟的老路,必须改装virtio驱动。
开启多队列（multi-queue）virtio-net，操作：在物理机上的虚拟机XML配置里，给网卡加<driver name='vhost' queues='4'/>，这样能把网络中断分散到多个CPU核心上,高并发下的网络吞吐会有质的提升。
迁移和容灾场景下的架构选择策略
高并发业务要求高可用，这就涉及到虚拟机热迁移，KVM支持无共享存储的热迁移，在千兆网络下，一台8GB内存的虚拟机可以在几秒内迁移完成，Hyper-V的迁移依赖故障转移集群，配置复杂且对存储要求高,Xen的迁移老架构支持有限。
对于地域选择，如果你是在国内做全国性业务，建议把虚拟机集群分散到华北、华东、华南三个地域，用智能DNS或全局负载均衡把流量调度到最近的节点，各地域云厂商的KVM虚拟化实例价格差异不大，但带宽成本差距明显,需要自己查询当地云厂商的定价详情。
高并发压测验证架构选择的实操步骤
选完架构，做完调优，别急着上线，用压测工具验证是否扛得住流量,推荐使用wrk或ab做HTTP层压测。
- 在压测机上执行
wrk -t8 -c400 -d60s --latency http://虚拟机的IP:8080/api/test,观察延迟分布。 - 如果延迟P99超过200毫秒,你需要回溯检查宿主机上是否有其他虚拟机在抢占资源。
- 然后登录虚拟机，执行
mpstat -P ALL 1查看单核利用率，结合pidstat -d 1查看进程IO等待情况。
如果压测结果满意，再做一次拔网线演练，验证一下挂了之后自动漂移是否正常,确保万无一失。
虚拟机高并发架构选型常见疑问解答
容器和虚拟机在高并发下谁的性能更强？
容器的性能优于虚拟机，因为容器直接共享宿主机内核，不存在虚拟化层和资源隔离的开销，但容器在隔离性和安全性上不如虚拟机一个容器被攻破，宿主机和其他容器都有风险，高并发业务如果对隔离和安全要求高，选择虚拟机更稳妥，如果追求极致性能和轻量部署，选择Kubernetes+Docker方案。
高并发场景下，KVM虚拟机需要预留多少CPU和内存？
这个没有固定标准，取决于业务的类型，计算密集型业务需要较高主频的CPU，IO密集型业务需要更大的内存和更快的SSD给页缓存，一个参考起点是：一个面向高并发的Java微服务实例，建议配置4核8GB内存起步，配合200GB NVMe SSD，先跑压测，根据结果扩缩容，不要一开始就配满32核128GB，这样会导致物理机上虚拟机数量过少,资源碎片化严重。
KVM虚拟机会出现资源争抢吗？如何避免？
会，即使同一个物理机上的虚拟机都使用KVM，在宿主机拥塞时仍会出现资源争抢，这就是CPU steal现象的来源，解决办法是给虚拟机配置CPU pinning，将虚拟机的vCPU固定绑定到物理机的特定CPU核心上,操作是在虚拟机XML中添加：
<vcpu placement='static' cpuset='0-3'>4</vcpu>同时配合cgroup的cpu.shares权重，给核心业务虚拟机更高权重，绑定之后，再有邻居虚拟机大促,也影响不到你的核心业务的CPU周期。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/article/626521.html
