服务器上n个硬盘同时损坏,最直接的定位方法是:先确认是否真的坏了(链路、供电、raid信息都可能误报),再通过系统日志、raid卡管理工具和smartctl逐块盘核对。 别急着拔盘,你以为是硬盘坏了,有时候只是背板供电不稳或者raid信息丢了,拔下来反而把阵列搞崩,下面按场景拆开说,从单块盘到多块盘,从易到难。
硬盘坏没坏,先看系统说了什么
操作系统是最早接触硬盘异常的模块。查看系统日志是所有排查的起点,这一步能告诉你盘是在什么时候、什么状态下掉了的。
日志里怎么找硬盘故障记录
在Linux系统上,直接看内核日志和系统日志两类文件:
- 执行
dmesg -T | grep -i"error\|fail\|offline"过滤内核错误信息 - 执行
tail -n 500 /var/log/messages或journalctl -p err -b查看系统级错误 - 最常见的报错关键字是
I/O error、medium error、sense key和disk offline,这些基本都指向物理读写层面出了问题
Windows服务器则打开事件查看器,定位到“系统”日志,筛选级别为“错误”的事件,一般能看到Disk或Ntfs模块的警告,事件ID 7、9、11是最典型的硬盘故障频发信号。
服务器硬盘故障排查方法:raid卡和直通盘要分开说
很多运维搞不清排查思路,是因为没区分环境:直通盘故障和raid阵列硬盘故障的排查路径完全不同。
直通盘环境:smartctl 是核心工具
如果你的服务器用的是直通模式(HBA卡或者主板原生sata/sas口),每块盘对系统来说是独立的,这种情况直接用smartctl读取每块硬盘的健康状态:
smartctl -a /dev/sdb
看三个核心参数:
- Reallocated_Sector_Ct(重映射扇区计数):这个值只要大于0,说明盘已经出现物理坏道了
- Current_Pending_Sector(当前待映射扇区):大于0说明正在尝试读取失败的扇区,这是坏道正在扩散的预警
- UDMA_CRC_Error_Count(传输层错误计数):如果这个数字不断上涨,问题往往出在数据线或背板接口
对于难以读出的坏块,可以运行 smartctl -t long /dev/sdb 做完整自检,几小时后用 smartctl -l selftest /dev/sdb 查看测试结果,这个方法对机械硬盘和ssd都适用。
raid阵列环境:先看阵列逻辑盘状态
服务器的盘基本上都用raid卡管理。在raid环境下,磁盘是不是坏了,不完全由硬盘决定,而是由raid卡对硬盘的状态判定决定,一块物理上完好的盘,因为链路问题被raid卡标记为failed,这种事每年机房都在发生。
用常规工具去做判断:
- 戴尔服务器用
omreport storage pdisk controller=0查询物理磁盘状态 - 惠普服务器用
ssacli ctrl slot=0 pd all show status - 联想服务器走
storcli /c0 /eall /sall show - 博通/lsi芯片组的通用工具是
MegaCli64 -PDList -aALL
状态显示为 Online 的不用管,显示为 Rebuild 的在重建(说明之前坏过),状态为 Failed、Unconfigured Bad 或者 Offline 的才是要处理的盘,如果登录到管理界面,通常在 raid 卡配置界面能直接看到闪烁的位置,背板灯快速闪动的就是故障盘。
不知道哪块盘坏了?用亮灯和定位命令找出来
服务器开了n块盘,raid卡告诉你有一块failed了,但没说是哪块这种情况很常见。别猜,用定位功能点亮故障盘对应的速率指示灯。
storcli 点亮硬盘位置灯
命令格式是:
storcli /c0 /eall /sall start locate
或者只点亮指定控制器上的盘:
storcli /c0 /eall /sall show locate
执行后机箱对应的盘位指示灯会闪烁蓝光或者常亮,物理上找到那个闪灯的拔掉就行,戴尔的机器可以执行 omreport storage pdisk controller=0,然后看 EncPartition 的字段值,配合机器的屏幕或者cirrus log能锁定位,惠普则是 ssacli ctrl slot=0 pd all show detail 然后看 Bay 编号。
多块盘同时坏,怎么定位哪些盘还能用
多个硬盘离线时,处理原则是先分清哪些盘是“逻辑下线”,哪些盘是“物理损坏”,都是offline状态,但不代表都坏了。
按以下顺序处理:
- 重启服务器,确认bios是否识别到所有物理硬盘,如果bios只能看到一部分盘,物理坏的可能性很大
- 如果bios能看到所有盘,进raid卡管理界面,逐个把offline的盘设为“Enable”,看是否能回到ready状态
- 把能认到的ready盘先做成新阵列(如果数据不重要)或者尝试激活之前阵列中处于“missing”状态的盘
- 之后再用smartctl逐块做个快速健康检查,看重映射数、待定扇区数和通电时间
这种方式多数情况下可以从“多块盘坏了”的震慑中恢复出至少一大部分的物理磁盘。
热备和冷备:这种场景下的替换逻辑
如果是带热备的阵列,n块盘损坏后热备盘会自动顶上,但你会遇到新的问题:搞不清热备盘顶上的是哪块,还是全都rebuild了。
热备盘和冷备盘的区别
常见误区是把热备当普通盘用,或者把冷备的盘插进阵列里让它自动重建,结果数据不一致。
- 热备盘:一直通电,处于待命状态,raid卡检测到阵列中的盘故障后自动用它重建数据
- 冷备盘:没有接电,存放在干燥防静电环境中,需要人工插上才能启用
热备盘替换故障盘后,阵列会自动开始rebuild。rebuild期间阵列性能下降是正常的,此时千万不要再拔掉其他盘,因为重建过程对盘的压力很大,状态较差的盘可能扛不住,产生二次故障,那数据基本就交代了。
替换硬盘的最优路径
- 确认故障盘位后,带防静电手套抽出硬盘
- 按硬盘标签填写故障记录(序列号、盘位、故障时间、日志摘要),方便后续返修
- 新盘上架前,在另一台电脑用
smartctl做一次短自检,确认无物理故障再插入 - 插入后等待引擎自动识别,手动操作加入阵列或重建
苏州上海机房场景下的运维成本参考
现在很多中小公司把物理机托管在苏州、上海等周边机房,异地运维整批硬盘故障时,最头疼的不是怀疑硬盘坏了,而是进出机房要审批、要开柜、要技术人员现场。
服务器硬盘坏了维修靠谱的去处和一般报价
- 同城机房上门排查一次,一般在 200-500元,含检测服务,换盘另算
- 一块企业级机械硬盘(4tb级)市场大概 600-1200元,含税票和三年换新
- raid卡重建手工费通常是 300-800元,看是否涉及数据恢复
- 如果涉及数据恢复,那价格就不是换盘能比的,一般起步 2000元/盘,恢复成功率看盘体损坏程度
这也提醒了一个基础动作:任何盘要拔下来之前,确认有没有近期可用的全量备份,没有备份就别做任何破坏性操作,直接联系专业的数据恢复公司,由他们处理盘体级故障,比自己瞎试安全得多。
硬盘已经拔下来了,怎么最后确认它彻底报废
如果不打算返修,只是要报废处理,做一次彻底擦除也是必要的,具体做法可以在系统里执行:
dd if=/dev/urandom of=/dev/sdX bs=4096 status=progress
或者用 hdparm --security-erase 做安全擦除,之后再用 smartctl -a 检查,你会看到重映射扇区数还在持续增长,这基本可以确定是物理坏道,不是逻辑损坏。
报废硬盘也注意保管好隐私:即使格式化过,企业盘的数据也依然能被恢复,如果是服务器硬盘建议使用物理破坏手段,或者交给有资质的处理公司销毁认证销毁。
现在理一下整个排查的顺序
- 先看日志,确定故障是不是一次性的(背板松动、pcie卡复位也会造成盘离线)
- 再看raid卡状态,区分物理故障和逻辑故障
- 该定位的定位,该点灯的亮灯,确认是哪块盘
- 替换盘之前用smartctl做一次整体检查
- 最后把故障盘标注完整再返修
这一套走下来,就算n个硬盘同时坏了,也能把损失范围缩到最小。少把“坏盘”的数量扩大化,别乱拔,别急于重建,大部分问题是可以控制的。
服务器多块硬盘故障常见问题解答
服务器提示硬盘阵列出错,但系统还能正常运行,是不是不用管?
不是,raid卡虽然依靠冗余逻辑维持了系统运行,但阵列中已经有盘处于降级状态,接下来每多运行一天,剩余硬盘负担都会加重,发生二次掉线的概率很大,建议找一个维护时间窗口,尽快更换故障盘让它重建,不要侥幸拖延。
新硬盘插进服务器后不能重建,是什么原因?
主要原因通常有三类:一是盘位方向插反或者接触不良,二是新盘的固件版本和raid卡不兼容,三是阵列当初设置的热备策略限制了直接用新盘自动重建,建议先看raid卡日志确认新盘是否被识别,再检查磁盘策略,最后确认固件兼容性,依次排查即可。
用smartctl检查时scan到的盘名对应不上物理盘位,怎么办?
每个盘符的序列号(serial number)可以对应到硬盘标签上,找到标签就行,另外可以通过 smartctl -i /dev/sdb 查序列号和型号,然后比对机箱侧面的盘位贴纸,如果机箱没有贴纸,等下次维护时打开机箱,按数据线顺序对照主板上的sata/sas口编号来确定。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/799833.html


