硬盘IO跑满会拖垮整个业务,先别急着换盘,按“临时降载→定位进程→核查调度→检查存储层→优化长期规划”五步走,绝大部分问题都能在半小时内找到根子。
华为服务器硬盘IO满了怎么办:先止血再挖根
IO打满是运维值班最常见的故障之一,表现很典型:业务接口变慢、页面转圈、数据库查询卡死,登录服务器执行df -h和top看CPU正常,但iostat里%util飙到99%,这种情况下的第一反应不是重启,而是先止血。
止血三板斧:能撑住业务才有时间排查
- 把非核心的批量任务、报表任务、备份任务直接停掉,或者错峰执行,优先保核心交易链路。
- 如果业务允许,降并发:比如限流入口、减少数据库连接池大小、关掉一些轮询脚本,通过华为iBMC管理界面或
ipmcset命令,也能临时关闭一些非关键的业务虚拟机。 - 清理日志分区:大量IO耗尽往往和磁盘空间无关,而是日志写入量暴涨。“硬盘IO满了”在多数场景下其实是指IO队列深度饱和,而不是存储空间满了,但如果是空间满导致的写入阻塞,立即清掉
/var/log下的老日志,删掉没用的core dump文件,能快速腾出余量。
做完这三步,业务通常能喘口气,接下来才有精力去挖到底是谁在吃IO。
华为服务器IO占用高如何排查:按进程-文件-调度逐层锁定
止血是应急,找到真凶才是根治,排查思路是从最上层应用往底层存储一层层剥。
第一步:用系统工具当场锁定IO消耗大户
执行以下命令组合,按第二列%util和第一列r/s、w/s降序排列:
iostat -x 1 5
重点看avgqu-sz(平均队列长度)和await(IO等待时间),如果await大于30毫秒且%util接近100%,说明磁盘确实忙不过来,配合pidstat -d 1或iotop -o,能直接看到是哪个PID在疯狂读写。
- 如果是MySQL实例的PID,直接登录数据库执行
SHOW FULL PROCESSLIST看有没有慢SQL或全表扫描。 - 如果是Java应用,用
jstack抓线程栈,找FileOutputStream、RandomAccessFile相关的线程。 - 如果是Kafka或Elasticsearch,大概率是segment合并或索引刷新频率过高。
第二步:按文件定位,切断源头
找到进程后,用lsof -p PID | grep deleted看有没有文件被删除但还被占着句柄,这类问题会持续产生大量写IO,再执行:
lsof -p PID | grep -E '\.log|\.bin|\.data'
确认是哪个文件或目录在被高频读写,然后去应用配置里调整日志级别或刷盘策略。
第三步:检查IO调度算法,别让SSD背锅
华为服务器标配SATA SSD或NVMe SSD时,Linux默认的IO调度器往往还是cfq(完全公平队列),这对SSD来说是负优化,用cat /sys/block/sda/queue/scheduler看当前调度器,如果显示noop [cfq]或none [mq-deadline],可以考虑切换:
echo mq-deadline > /sys/block/sda/queue/scheduler
临时生效,重启会变回去,要永久生效,改内核启动参数elevator=mq-deadline。
服务器io跑满是什么原因:从硬件和配置找深层隐患
排除了应用进程问题,IO还是满的,那就要往存储系统层面看,很多时候“硬盘IO满了”不是真的数据量太大,而是一些配置或硬件状态把磁盘拖入了低效模式。
硬盘降速或掉线导致的假性打满
RAID卡或硬盘固件触发错误后,磁盘会进入降速模式,读写IO被无限放大,登录华为iBMC查看硬盘状态,如果有黄色告警或Predictive Failure提示,直接执行hdparm -I /dev/sda看硬盘健康信息,更全面的是用华为工具:
hwdiag --disk
采集RAID卡日志和SATA/SAS链路状态,重点看有没有Link Error或Cable Error计数暴增,线缆松动或背板接触不良导致的链路重传,是IO延迟暴涨但看起来磁盘“不忙”的典型情况。
回写策略和掉电保护模块状态异常
华为服务器配合LSI/Avago RAID卡时,Write Back(回写)策略依赖缓存和BBU(电池备份单元),如果BBU电量不足或状态为“学习充电中”,RAID卡会自动把策略降级为Write Through(直写) 每一次写入都直接落盘,IO压力直接翻倍甚至更多。
登录RAID卡管理界面或用命令查:
storcli /c0 show bbuc
如果看到State = Learning或Battery Capacity = 30%,说明系统正在降级保护,等充电完成后,手动把策略切回:
storcli /c0 set wb
这条命令能恢复回写模式,IO负载会立刻改善。
文件系统碎片和挂载参数
针对大文件持续写入的场景,ext4默认的delalloc和data=ordered模式一般没问题,但如果是XFS,挂载参数少了largeio或allocsize,连续写场景会产生大量小IO,修改/etc/fstab,给数据分区加上:
defaults,noatime,allocsize=1m
noatime能减少大量元数据写操作,对日志型应用提升尤其明显。
华为服务器磁盘IO性能优化:从应急到结构性调整
临时救完火,下一步要考虑的是持续性的治理方案,IO问题问得最多的就是“要不要换SSD”,以及“怎么让业务跑得更顺”,这里给出一个清晰的决策路径。
拆分IO类型,错峰复用
行业共识认为,IO打满往往是“读写混跑、冷热不分”造成的,可以使用如下表格按业务特性进行区分:
| 业务类型 | 典型应用 | 推荐存储方案 |
|---|---|---|
| 高随机小IO | 数据库、消息队列 | NVMe SSD直通或RAID 10 |
| 高顺序大IO | 视频处理、数据备份 | SATA HDD大容量RAID 6 |
| 混合型IO | 虚拟化、Web应用 | SSD热数据+HDD冷数据分层 |
把冷数据迁移到机械盘,让SSD专心处理高并发随机读写,IO饱和的概率会大幅降低,如果预算允许,华为fusion compute或OpenStack环境里可以给虚机配置QoS策略,限制单台虚机的IOPS上限,防止“邻居吵民”。
存储端和系统端的参数调优
- 针对数据库场景,调整
vm.dirty_ratio和vm.dirty_background_ratio,先执行sysctl -w vm.dirty_background_ratio=5,让pdflush更积极地把脏页刷出去,避免一次性冲刷造成IO尖峰。 - 华为服务器重启后,保留iBMC历史告警记录,定期导出巡检,很多IO问题在发生前一到两周,iBMC里就已经有硬盘“感受器数据异常”的预警了,只是平时没人去看。
- 监控工具建议用
node_exporter配合Grafana,磁盘指标按iostat的r_await、w_await和队列长度avgqu-sz做阈值告警,而不是等业务方来报障。
选购和扩容时的避坑建议
如果你的华为服务器已经用了三年以上,硬盘性能下滑明显,别盲目加盘,先确认当前RAID组是否存在单块盘已经多次出现UNC(不可纠正错误)或Media Error,近几年SSD价格下滑明显,在数据量可控的规模下,直接加装两块企业级NVMe SSD做RAID 1,作为热数据分区,比抽换旧SATA盘的成本更低、收益更明显,采购时认准企业级固件,千万避开消费级盘,消费级SSD在7×24小时环境下写放大严重,IO延迟稳定性远不如企业盘。
华为服务器硬盘io问题常见问答
服务器IO跑满会不会自动恢复?
不会自动恢复,除非引起IO风暴的进程自己结束,多数情况下,进程进入死循环或磁盘坏道会让IO持续占满,是业务彻底不可用才会被注意到,最有效的临时操作就是停掉异常进程或直接重启该虚拟机,若重启后仍然重现,则说明是硬件层或内核参数问题,按上文排查调度器和RAID策略。
排查IO占满的过程中需要重启服务器吗?
不要第一时间重启,重启会清空系统内存中的状态,导致jstack、iostat、lsof这些排查工具的现场数据全部丢失,下次重现还得从头再抓,应该先记录下top -b -n 1的输出、dmesg -T | tail -100的内核日志、以及iBMC上RAID卡的状态截图,之后再做硬件隔离操作,重启只适合在完全无法进入系统时作为最后手段。
华为服务器iBMC里能直接看到硬盘IO占用吗?
iBMC的主动告警和传感器信息能显示硬盘状态、温度、SMART告警,但看不到实时占用率,查看实时IO占用需要登录宿主机操作系统本身,通过iostat或配套的性能监控平台采集,将iBMC的硬件告警和操作系统内的性能数据做联动,才能真正实现“硬件坏了能看见,系统IO满了也能看见”。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/800870.html


