IBM服务器内存出问题,第一现场往往不是操作系统日志,而是IMM/IPMI里的System Event Log只要机器还能上电,那条最原始的内存报错记录就躺在那块管理芯片里,比Linux的dmesg早得多,也准确得多。
很多运维同行第一反应是登进系统敲命令,结果发现系统压根起不来,或者日志被覆盖得七零八落,内存故障的排查顺序应该反过来:先抓硬件带外日志,再看操作系统层的EDCA/MCE记录,最后用诊断工具交叉验证,下面按这个顺序拆开讲。
硬件层日志:IMM和IPMI里躺着最原始的证据
IBM x86服务器(System x3650、x3850 X6、以及后续的Lenovo品牌同期机型)都配有IMM2或IMM管理口,它独立于操作系统运行,内存的ECC错误、奇偶校验错误、温度异常都会被固件实时写入系统事件日志,即使系统蓝屏、无法启动,这份记录依然完整。
三种方式读取系统事件日志
- Web界面:浏览器登录IMM IP地址,进入
Server Management → Event Log,按Severity过滤Critical和Warning级别。 - 命令行(推荐,效率最高):
ipmitool -I lanplus -H <IMM_IP> -U USERID -P <密码> sel list - 单条详情:
ipmitool sel elist拿到事件ID后,用ipmitool sel get <事件ID>查看完整描述,包括DIMM编号和错误类型。
典型的报错条目长这样:Memory sensor | Correctable ECC | Asserted,或者Memory Subsystem | Uncorrectable ECC,前者是单比特可纠正错误,后者是多比特不可纠正错误,严重程度完全不同。
IBM Power系列走的是另一条路
如果手里是IBM Power小型机,别去翻IMM,应该从HMC管理台或ASMI界面进入 Service Aids → Error Log,用八位错误码(如B181xxxx系列)查维修手册,业内专家指出,Power平台的内存错误码与x86平台的地理地址映射规则不同,不能套用同一套判读逻辑。
IBM服务器内存报错怎么查日志:三类日志的判读要点
硬件日志告诉你”哪根条子坏了”,操作系统日志告诉你”坏成什么样了”,两边的信息要对得上,才能下结论,下表是三个层级的日志入口对比。
| 日志层级 | 读取位置 | 关键判读信息 |
|---|---|---|
| 带外硬件日志 | IMM Event Log、SEL | DIMM编号、ECC类型、发生次数 |
| 操作系统内核日志 | Linux dmesg、mcelog、rasdaemon | Machine Check Exception、物理地址 |
| 应用与系统日志 | Windows事件查看器、/var/log/messages | WHEA-Logger事件、蓝屏代码 |
Linux侧的重点命令
dmesg -T | grep -iE "edac|mce|memory error" 是第一刀,EDAC驱动会把每根DIMM的CE(可纠正错误)和UE(不可纠正错误)计数打出来,要看累计统计,用 grep "" /sys/devices/system/edac/mc/mc/csrow/ch_ce_count。
mcelog --client 或 rasdaemon 的 ras-mc-ctl --errors 能给出更结构的机器检查记录,包含出错的物理地址和是否被内核隔离。
Windows侧的重点来源
事件查看器 → Windows日志 → 系统,筛选来源为 Microsoft-Windows-WHEA-Logger,事件ID 17、18、19、47都与内存硬件错误直接相关,42、47号事件通常指向内存或缓存校验失败,PowerShell一条命令搞定:
Get-WinEvent -FilterHashtable @{LogName='System'; ProviderName='Microsoft-Windows-WHEA-Logger'} -MaxEvents 50
同时用 Get-CimInstance Win32_PhysicalMemory 导出槽位、容量、序列号,方便和报错编号对应。
IBM服务器内存故障日志分析:从事件码定位到具体DIMM
日志里显示”DIMM 12″的时候,麻烦才刚开始主板丝印上的编号和固件编号经常不是一回事。
三步锁定物理位置
- 在IMM日志里记下完整的DIMM标识,通常格式为
CPU1 DIMM 6或Slot D2。 - 拆开机箱盖,看主板上的丝印标签或随机的Light Path诊断面板,故障槽位对应的LED会亮琥珀色。
- 用
ipmitool fru或ipmitool sensor核对内存温度传感器读数,排除因散热风道堵塞导致的误报。
别急着换条,先分清错误类型
- 可纠正ECC(CE):偶发一两笔不用慌,但如果同一根DIMM单日内反复出现,说明颗粒开始老化,建议安排更换窗口。
- 不可纠正ECC(UE):立即停机,这类错误会直接导致数据损坏或系统崩溃,没有商量余地。
- 地址奇偶校验错、命令/地址总线错:多数情况下问题不在内存本身,而在插槽、主板或CPU内存控制器,此时换条子可能白花钱。
行业共识认为,服务器内存故障中相当一部分最终被证实是插接不良或插槽氧化,重新拔插并清洁金手指后恢复正常,所以更换前,先把条子拔下来换到备用槽位试一次,成本为零。
换不换、花多少钱:IBM服务器内存条更换价格与保修路径
判断依据很直接:机器是否还在保。
- 在保:走原厂报修,凭IMM日志里的机器序列号和故障事件码开工单,通常48小时内上门,原厂不会因为一条CE就换板换条,他们看的是错误频率和是否触发UE。
- 过保:自己买条子,原厂FRU内存价格通常是同规格兼容条的2到3倍,DDR3 ECC REG 16GB这个量级的条子,二手拆机件和全新兼容件价差能到几百元,买兼容条要认准ECC REG类型和频率,混插不同时序的内存容易引发新的报错。
- 维修渠道:北京、上海、深圳这类机房密集的城市,本地备件商当天能送到,异地则要考虑物流时间,北京IBM服务器内存维修的响应速度普遍快于二三线城市,这是备件库存密度决定的,不是技术差距。
有个细节容易被忽略:换完条子要清空IMM事件日志,否则旧报错会一直在里面,下次排查时误导判断,命令是 ipmitool sel clear。
完整处置流程
- 登录IMM导出完整SEL日志,存档备查。
- 记录故障DIMM编号、错误类型、发生频次。
- 交叉比对操作系统层EDAC或WHEA记录,确认地址一致。
- 断电,重新拔插该DIMM,换到备用槽位(如果有)。
- 开机跑MemTest86至少一个完整Pass,观察是否复现。
- 复现则更换,不复现则持续监控CE计数两周。
- 处置完毕后清空SEL,更新资产台账。
关于IBM服务器内存日志的常见疑问
IBM服务器内存报错日志里的CE和UE有什么区别?
CE是Correctable Error,单比特错误,硬件ECC机制能自动纠正,系统继续运行,但计数增长说明硬件在退化;UE是Uncorrectable Error,多比特错误,ECC已经纠正不了,会导致数据损坏或系统宕机,CE要监控,UE要停机。
服务器能正常开机,但日志里一直有内存告警,需要马上换吗?
不需要立即停机,但要建立监控,同一根DIMM的CE在短期内快速增长,或者出现地址奇偶校验错,就该安排计划内更换,如果只是几个月一次的孤立CE,重新拔插并观察即可。
没有IMM管理口权限,还能查到内存故障记录吗?
可以从操作系统层入手:Linux看dmesg、mcelog、/var/log/messages中的Machine Check记录,Windows看WHEA-Logger事件,但这些日志在系统崩溃或重装后会丢失,且不含DIMM物理槽位编号,定位精度不如IMM的SEL日志,最终还是要申请带外管理权限。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/807052.html


