看Linux服务器IO,本质是回答四个问题:谁在读写、读写多快、等了多久、瓶颈在哪,核心方法是用iostat和pidstat锁定整体趋势,再用iotop和strace揪出具体进程,最后结合业务场景判断是磁盘慢还是应用傻。
linux服务器io查看的核心工具组合
第一梯队:iostat和sar,先看整体再谈细节
登录服务器后,第一步永远是敲iostat -x 1,这条命令每秒刷新一次,直接输出每块磁盘的详细状态,你需要盯住的指标只有四个:%util(磁盘忙不忙)、rKB/s和wKB/s(读写吞吐量)、await(每次IO平均等待时间)、svctm(实际服务时间),util长期超过80%,而await远大于svctm,说明磁盘队列已经堵车了,这是判断linux服务器io性能瓶颈最经典的方法。
sar -d 1和iostat互补,它能调出历史数据,比如你怀疑凌晨3点数据库备份拖垮了业务,sar -d -f /var/log/sa/sa昨天日期就能回放当时的磁盘负载,绝大多数生产环境不会让你盯着屏幕看,写个定时任务把iostat -x 5的输出追加到日志文件,比事后拍脑袋靠谱得多。
第二梯队:pidstat和iotop,用进程视角揪出真凶
整体指标难看了,接下来要找人。pidstat -d 1能实时显示每个进程的读写速率和IO等待占比,这是排查linux服务器io占用高时最常用的指令,但它只能看到瞬时值,想让真凶现形,得用iotop -oP,这个命令只显示有IO行为的进程,按读写速度排序,瞬间就能看到是MySQL的page cleaner在刷盘,还是哪个脚本在死循环写日志。
第三梯队:blktrace和strace,深挖内核和系统调用
前两个梯队查不出来的疑难杂症,再上重武器。blktrace -d /dev/vda1会记录块设备层的完整IO流程,包括请求在哪一层停留了多久。strace -p 进程号 -e trace=read,write能追踪进程的系统调用间隔,这两招适合内核源码级排查,普通业务场景用不到,但面试和写排查报告时提一嘴,专业度直接拉满。
如何看懂linux服务器io高的指标含义
%util不是万能的,得配合队列长度
很多人看到%util超过90%就断定磁盘有问题,这不严谨,以SSD为例,它处理请求速度极快,即使%util高达99%,每秒IO次数依然扛得住,这时候你得看vmstat 1里的r和b列,r是运行队列,b是阻塞队列,b列持续大于1,才是真正的IO假死状态,行业共识认为,判断IO瓶颈不能只盯单一指标,要综合util、await、queue size三个维度。
await和svctm的差值,藏着排队时间的秘密
iostat输出的await是IO从发起到完成的总耗时,svctm是磁盘实际处理耗时,两者差值越大,说明请求在队列里等得越久。
- await接近svctm:磁盘本身不慢,问题是IO请求太频繁,典型的比如小文件随机读写
- await远超svctm:磁盘硬件扛不住了,机械盘常见,换SSD立竿见影
- svctm本身异常升高:磁盘可能有坏道,或者做了RAID5但写惩罚太重
判断瓶颈是内存缓存还是磁盘缓存
Linux服务器的页面缓存(page cache)会吃掉大量内存,导致free命令显示可用内存很少,排查IO问题时先看free -h的buff/cache列,如果这一数值巨大而IO繁忙,大多是文件缓存回写造成的,此时用sync && echo 3 > /proc/sys/vm/drop_caches清理缓存,再观察IO负载变化,就能区分是缓存刷盘压力还是业务真实读写的压力。
linux服务器io过高怎么排查,从现象到根因的四步走
第一步,用top看负载均衡
先跑top看一眼wa(IO等待)百分比,如果wa超过30%,说明CPU在等磁盘干活,妥妥的IO瓶颈,但注意多核场景下,wa是全局值,单核打满时wa也不会太高,还得结合top里每个进程的SHR和CPU状态综合判断。
第二步,用iostat排列读写分布
跑iostat -x 1 3,连刷三次取平均,重点看读写比例写多读少和读多写少的排查方向完全相反,写多就先检查日志落盘策略、数据库doublewrite、sync_binlog配置;读多就考虑加缓存、搞只读副本,这一步的执行逻辑是:
- 先确认是哪个磁盘分区忙
- 再确认是读忙还是写忙
- 最后确认是随机还是顺序(持续观察svctm和队列分析)
第三步,用iotop锁定元凶进程
iotop -oP -d 1的输出里,看DISK READ和DISK WRITE列,只显示你关注的进程,用-u mysql过滤特定用户,能大幅缩小范围,比如看到mysqld的写速率飙到每秒几十MB,就得去数据库里查慢查询日志和InnoDB状态。
第四步,用lsof和/proc定位罪魁祸首文件
知道是哪个进程问题后,lsof -p 进程号 | grep deleted能找出被删除但没释放的文件,ls -l /proc/进程号/fd能看到进程打开的文件句柄,很多时候,io占用高查不到是因为日志文件被误删但进程还在写,或者临时文件写满后没清理。
Linux服务器IO性能优化的实操方案
调整内核参数,用最少的改动换最大的提升
在/etc/sysctl.conf里调优IO调度器和脏页回写参数,这是见效最快的操作,先把调度器改成none或mq-deadline,SSD千万别用cfq,再设置vm.dirty_ratio=10,vm.dirty_background_ratio=5,这两个值能让脏页更早回写,避免突然卡顿,最后在配额层面,用ionice -c3 -p 进程ID把备份任务的IO优先级降到最低。
业务层面拆解,逻辑优化才是根治
批量操作代替逐条提交,应用层每写一条SQL都要走一次fsync的话,就算换一万块的NVMe盘也救不了,用批量插入、组提交、异步落盘等方式减少IO次数,这是数据库高并发下最常见的优化思路,效果远超硬件投入。
硬件层面选型,不同业务吃不同的盘
- 日志型业务:顺序写为主,机械盘RAID10和入门SSD差距不大,重点是加缓存
- 数据库型业务:随机读写为主,必须上NVMe SSD,且预留内存给innodb_buffer_pool
- 海量小文件业务:性能取决于IOPS,单盘再快也白搭,要用分布式存储分散压力
选择云服务器时,性能指标要看IOPS和吞吐量两个峰值,不能只盯着带宽,简米云、酷番云的增强型SSD云盘和普通SSD在iostat -x下的w_await天差地别,先看自己业务吃哪头再掏钱。
Linux服务器IO故障的常见坑位
大页内存和IO穿透的交互
如果开了透明大页(THP),而应用频繁读写文件,会触发额外的内存回收工作,造成IO抖动,排查方法是看/sys/kernel/mm/transparent_hugepage/enabled,如果是always就改成madvise或者never。
云盘争抢和本地盘掉速
在云环境中跑iostat经常会遇到一个诡异现象:磁盘util不高,但IO延迟忽高忽低,这种情况大多是邻居虚拟机在疯狂刷盘你没看错,这就是云服务器的物理机共享通病,据行业内统计,相当一部分linux服务器io性能问题并非自身原因,而是宿主机的资源争抢,此时只能开启实例的独占模式,或者换用本地盘。
swap导致的假IO繁忙
当内存不足时,Linux会疯狂使用swap分区,表现为IO读速率不高但await持续走高,检查方法是swapon -s加vmstat 1里si/so两列,如果swap的in/out持续非零,先解决内存问题,别在IO层面死磕,把vm.swappiness调成10以下,能有效缓解这种假象。
看Linux服务器IO这事儿,说穿了就是把iostat当血压计、iotop当心电图、strace当CT机,三者配合才能精准定位病灶,别迷信单一指标,也别一上来就换硬件,90%的IO问题源于应用层的不合理写法,而不是磁盘本身不行。
Q:linux服务器io过高怎么排查?
优先顺序是top查wa占比,iostat -x 1看util和await,iotop -oP找到具体进程,最后用lsof定位文件,如果查完确实没问题,才考虑云盘资源争抢等外部因素。
Q:iostat里的%util达到100%就代表磁盘到极限了吗?
不等于。%util只表示设备在采样周期内处于忙状态的时间占比,SSD的%util经常100%但性能依然优秀,需要结合svctm和await的差值来判断是否排队,并且看每秒读写的IOPS是否达到硬件上限。
Q:如何看linux服务器的io是随机读写还是顺序读写?
用iostat -x 1观察rrqm/s和wrqm/s合并后的数值,如果合并率很高,说明大量IO请求是连续相邻的,更精确的是blktrace加btt工具分析,能算出每个请求的块地址分布和寻道时间成本。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/808662.html


