检测服务器问题的核心不是把工具挨个跑一遍,而是按“现象层级根因”的顺序收缩范围:先用负载、进程和日志判断问题落在CPU、内存、磁盘、网络还是硬件层,再进入对应子系统细查,最后用带外管理和长期监控确认是不是硬件或上游链路导致。
先分层再动手,别一上来就重启
重启能解决相当一部分“看起来像故障”的问题,但它同时会抹掉现场,业内专家指出,排障时最有价值的往往是故障发生后的头几分钟,一旦重启,进程栈、连接状态、内核日志的上下文都可能丢失。
合理的检测顺序是这样一条链路:
- 第一层看现象:是整体卡顿、某个服务不可用、还是间歇性超时。
- 第二层看资源:CPU、内存、磁盘、网络四类资源谁先到瓶颈。
- 第三层看进程:哪个进程在吃资源,它的状态是R、D还是Z。
- 第四层看日志:内核日志、系统日志、应用日志三处对照。
- 第五层看硬件与上游:带外管理、磁盘SMART、交换机与云平台侧。
把常见的“现象优先检查层入口命令”对照列出来,能省掉大量来回试探:
| 现象 | 优先检查的层 | 入口命令 |
|---|---|---|
| 登录缓慢、命令卡顿 | CPU与负载 | top、vmstat 1 |
| 服务被系统杀掉 | 内存与OOM | free -m、dmesg -T \| grep -i oom |
| 写文件报错、日志不落盘 | 磁盘容量与inode | df -h、df -i |
| 接口偶发超时 | 网络与连接数 | ss -s、mtr |
| 无故重启、硬盘告警 | 硬件与带外 | ipmitool、smartctl |
服务器故障怎么排查:一条从现象倒推的检测路径
CPU和负载:先分清是真忙还是在排队
top 里第一行的 load average 只说明“有多少任务在等待”,不等于CPU忙,判断方法很直接:负载值除以CPU核数,长期大于1就要查,再看 vmstat 1 输出的 r 列和 wa 列,r 高说明CPU排队,wa 高说明在等磁盘。
uptime nproc vmstat 1 5 sar -u 1 3
如果是 wa 偏高,问题其实在磁盘,去看 iostat -x 1 的 %util 和 await,而不是继续在CPU上打转。
内存:看 available,别只看 free
free -m 里的 free 很少是因为系统把空闲内存拿去做缓存了,真正要看的是 available,当 available 见底、si/so 持续不为零时,说明已经在换页,性能会明显下滑。
free -m cat /proc/meminfo | grep -i -E "MemAvailable|Swap" dmesg -T | grep -i "out of memory"
OOM 记录能直接告诉你被杀的进程名和当时的调用栈,这比事后猜测准得多。
磁盘:容量、inode、IO 是三件不同的事
写不进文件不一定是磁盘满了。df -h 看容量,df -i 看inode,很多小文件场景(缓存、会话、邮件队列)先耗尽的是inode。
df -h df -i du -sh / 2>/dev/null | sort -rh | head iostat -x 1 3 iotop -o
%util 长期接近饱和、await 明显高于日常值时,要么是磁盘本身性能不足,要么是有进程在做大量随机写。
网络:连通、丢包、连接数分开测
先 ping 看基础连通,再用 mtr 看是本地出口、中间跳点还是目标端丢包,连接数问题则用 ss 统计。
ping -c 20 目标IP
mtr -rw 目标IP
ss -s
ss -ant | awk '{print $1}' | sort | uniq -c
curl -o /dev/null -s -w "dns:%{time_namelookup} conn:%{time_connect} total:%{time_total}\n" https://目标地址
curl 的分段耗时很有用:time_namelookup 高是DNS问题,time_connect 高是网络或对方端口问题,time_total 高而前两者正常,多半是应用处理慢。
云服务器和物理服务器检测有什么区别
云上要多看一层:宿主机和云监控
云服务器看不到物理硬件,但能拿到云平台提供的监控和事件,检测时除了系统内的命令,还要看控制台的CPU积分、磁盘IOPS上限、带宽峰值、实例事件(迁移、热升级、底层故障),云盘出现延迟抖动时,系统内的 iostat 往往会给出异常的 await,但根因在存储侧,这时候只能通过工单让云厂商确认。
物理机要多看一层:带外管理和硬件自检
物理机可以走带外管理口(IPMI、iDRAC、iLO)看硬件日志、温度、风扇、电源状态,也能远程重启和挂载镜像,磁盘用 smartctl -a /dev/sdX 看重映射扇区、待映射扇区、通电时间,内存报错优先查带外日志里的ECC记录,而不是等系统崩了再猜。
smartctl -a /dev/sda ipmitool sel list
行业共识认为,凡是“重启后暂时恢复、过一段时间又复发”的故障,都要优先怀疑硬件和上游链路,而不是应用代码。
Linux服务器CPU占用高怎么排查
按这五步走,基本能定位到具体源头:
top按P排序,找到占用最高的进程PID,记下来。top -H -p PID看是哪个线程在吃CPU,拿到线程TID。printf "%x\n" TID把线程号转成十六进制,用于对照堆栈。cat /proc/PID/status看进程状态、线程数、上下文切换次数。perf top或pidstat -u 1看热点函数和长期趋势。
如果发现是 ksoftirqd、kworker 这类内核线程占用高,方向要转到网卡中断、软中断分布和驱动上,用 cat /proc/interrupts 对照,必要时调整多队列网卡的中断绑定。
服务器检测工具哪个好用:按场景选,不按好坏选
工具没有绝对优劣,只有匹配不匹配:
| 场景 | 推荐工具 | 特点 |
|---|---|---|
| 临时登上去看几眼 | top、htop、vmstat、iostat、ss | 零部署,现场可用 |
| 需要历史趋势 | Prometheus + node_exporter、Zabbix | 能回溯,适合定责 |
| 硬件健康与带外 | smartctl、ipmitool | 直连硬件,故障前预警 |
| 网络链路定位 | mtr、tcpdump、iftop | 分段排查丢包与流量 |
| 压测复现 | stress-ng、fio、wrk | 主动制造负载验证瓶颈 |
一个实用经验:监控平台上告警的那几秒曲线,比事后手动敲十条命令更有价值,所以真正稳定的做法不是等出问题才检测,而是把关键指标长期采集下来,出问题时对照历史基线。
请人检测一次服务器,大概什么价位
价格差异主要来自交付形式,而不是技术难度:
- 单次故障排查:按次或按小时计费,适合突发宕机、性能骤降这类明确问题,通常按工时结算。
- 包月巡检:按月收费,覆盖监控配置、日志清理、安全补丁、容量趋势评估。
- 驻场或专属运维:成本最高,适合业务连续性要求强的场景。
- 机房与云厂商侧的支持:多数包含在服务内,但只覆盖硬件和平台层,不碰应用。
地域上也有差别,一线城市的现场上门服务报价普遍高于远程支持,远程排查基本不受地域影响,据行业公开报价区间,远程单次排查与包月巡检之间的价差往往比想象中小,业务量稳定的团队选包月更划算。
最容易被漏掉的几类问题
- 时间不同步:
chronyc sources或ntpq -p一看便知,时间漂移会导致证书校验失败、日志顺序错乱。 - 证书到期:
openssl s_client -connect 域名:443查看有效期,比等用户报错强。 - 文件描述符耗尽:
ulimit -n、ls /proc/PID/fd | wc -l,高并发场景下很常见。 - TIME_WAIT堆积:
ss -ant | grep TIME-WAIT | wc -l,配合内核参数一起看。 - 内核日志被忽略:
dmesg -T里常有磁盘I/O错误、网卡重置、文件系统只读这类关键线索。 - 定时任务与环境变量:手动跑正常、定时跑失败,多半是环境变量或工作目录不同。
Q&A:关于检测服务器问题的常见疑问
Q1:没有监控系统,怎么快速判断服务器是否健康?
先跑一遍基础四件套:uptime 看负载趋势,free -m 看可用内存,df -h 和 df -i 看磁盘,ss -s 看连接数总量,再配合 dmesg -T | tail -50 扫一眼近期内核告警,这五条命令能在几分钟内排掉大部分明显问题。
Q2:服务器间歇性卡顿,但查的时候又一切正常,怎么办?
这类问题靠实时命令抓不到,必须靠数据留存,部署轻量采集(node_exporter 或 sar 定时记录),把CPU、内存、磁盘、网络四项按分钟粒度存下来,等下次卡顿后回看那几分钟的曲线,同时确认 sysstat 服务是否开启,sar -f /var/log/sa/saXX 可以回放历史数据。
Q3:应用慢,但服务器各项资源都不高,还要检测什么?
这时候资源层已经排除,重点转向依赖链路:数据库连接池是否耗尽、下游接口响应时间、DNS解析耗时、TLS握手耗时,用 curl -w 拆解分段耗时,用 tcpdump 抓包看是否有重传,再对照应用日志里的耗时打点,通常能锁定在某一跳,检测的终点不是某个指标正常,而是找到那条能解释全部现象的证据链。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/798322.html


