Linux服务器CPU占用过高,排查的核心路径是:先用top锁定进程,再用top -H锁定线程,最后用strace、jstack或perf定位具体代码逻辑,整个流程按进程→线程→代码逐层深入。
服务器CPU飙高是运维和开发人员最常遇到的故障之一,系统响应变慢、接口超时、用户投诉接踵而至,压力瞬间拉满,这篇文章直接讲透排查思路和操作命令,按照下面步骤走,多数情况下能在几分钟内找到问题根源。
linux服务器cpu占用过高排查步骤:从定位进程到代码行
当接到告警说CPU使用率异常,不要慌,先登录服务器,确认现象,再逐层排查,整个过程分为三个层面:找进程、找线程、找代码。
第一层:用top命令定位“嫌疑进程”
执行top命令,按CPU使用率排序(默认就是按CPU排序),观察前几行的整体负载,再看进程列表里哪个进程的%CPU数值异常高。
操作要点:
- 按P键,按CPU使用率降序排列
- 重点关注持续多轮刷新后CPU仍然很高的进程
- 记录PID(进程号),这是后续排查的线索
如果看到某个Java进程CPU占满,明确是应用问题,如果看到的是mysqld、nginx等中间件进程,先回忆最近是否做过配置变更或发布。进程级别定位是整个排查流程的地基,这一步出错后续全跑偏。
第二层:用top -H定位“肇事线程”
单看进程不够,一个进程内部有大量线程,还需要找到具体是哪个线程在疯狂消耗CPU。
top -Hp PID
这条命令展示指定进程内部所有线程的CPU占用情况,按P排序,找到CPU占用最高的线程,记录其TID(线程号)。
接下来需要把线程号转成十六进制,因为线程栈文件里用的是十六进制:
printf "%x\n" TID
得到十六进制值,比如3f2c,这个值用于在后面的线程栈中搜索定位。
第三层:用jstack或strace定位代码位置
不同技术栈有不同的定位工具,这也是排查的分水岭。
Java应用:使用jstack导出线程快照:
jstack PID > thread_dump.txt
在线程栈文件中搜索刚才的十六进制线程号:
grep -A 30 "0x3f2c" thread_dump.txt
重点看该线程栈中是否有业务代码,还是卡在JDK的某个类库方法里,搜到业务包名(比如com.yourcompany)的代码行,问题基本浮出水面。
C/C++应用:使用gdb附加进程或perf采样:
perf top -p PID
该命令直接显示进程内正在执行的热点函数名,定位精准。
通用场景:strace跟踪系统调用:
strace -p PID -c -f
观察哪个系统调用的耗时占比最高,判断是IO阻塞还是在做密集计算。
linux cpu占用100%怎么排查:分清用户态与内核态
CPU跑满不代表都是应用逻辑在运算,还要区分CPU时间花在哪里。
用vmstat区分用户态和内核态
vmstat 1 5
重点看us列和sy列:
- us(user)高:应用层代码在密集计算,多半是死循环或超大循环体
- sy(system)高:CPU消耗在内核态,可能是系统调用频繁、上下文切换过多
- wa(iowait)高:CPU在等待磁盘IO完成,此时应用很可能在等待读写数据
以sy偏高为例,排查方向随即调整到频繁系统调用上,比如大量的小文件读写、锁竞争等,用pidstat可以进一步确认:
pidstat -p PID -u 1 5
该命令可以同时输出用户态和内核态的CPU消耗占比。
负载高但CPU不高的情况
这是另一个常见场景:load average很高,但CPU空闲,这是典型的D状态进程(不可中断睡眠)堆积,多数是磁盘IO卡死或NFS挂载异常,快速确认方式:
top -b -n 1 | grep D | wc -l
D状态进程数量多,说明有大量任务阻塞在IO上,检查磁盘健康状态和挂载的远程存储,方向就对了。
Java应用CPU飙升的专项排查
多数互联网公司的后端核心逻辑跑在Java进程里,这类问题出现频率最高,除了上面提到的jstack方式,实际处理中还有几个高效动作。
连续抓取三次线程栈做对比
单次jstack只能看到瞬间状态,建议间隔5秒连续抓三次:
for i in 1 2 3; do jstack PID > dump_$i.txt; sleep 5; done
三次快照中反复出现的同一个线程栈帧,大概率就是问题点,如果三次抓取各不相同,CPU是瞬间峰值,很可能是一次性的GC或批量任务触发,不是持续性问题。
结合GC日志排查
不少Java CPU飙升的元凶其实是频繁Full GC,当堆内存不足时,GC线程疯狂工作,表现为CPU飚高但业务线程几乎不执行。
jstat -gcutil PID 1000 10
观察FGC列(Full GC次数)和FGCT列(Full GC总耗时)是否快速上涨,如果是GC问题,排查方向转向内存泄漏、大对象分配和堆参数合理性,而不是业务代码。
处理常见Java CPU热点
从线程栈中能直接看出几类典型问题:
- HashMap在多线程下扩容形成死循环:栈中显示HashMap.resize或transfer,升级为ConcurrentHashMap
- 正则表达式灾难性回溯:栈中显示java.util.regex.Matcher相关的循环匹配,替换正则写法或加超时控制
- JSON序列化大对象:栈中显示Jackson或FastJSON的序列化方法,简化对象结构或改用流式处理
业内专家指出,Java应用CPU占用过高的问题中,有相当一部分并非业务代码逻辑错误,而是第三方库或框架在特定数据输入下触发了性能陷阱。
排查中的常见误区和盲区
排查CPU问题走弯路的情况并不少见,下面几个误区值得留意。
只看CPU而不看完整上下文
CPU高往往伴随内存紧张、磁盘IO抖动、网络延迟等问题,只看CPU使用率容易误判问题源头,建议排查时统一观察:
- free -h:内存余量
- iostat -x 1:磁盘IO饱和度和等待时间
- sar -n DEV 1 3:网卡流量与错误包
如果CPU飙高只是内存不足触发的连带反应,治标不治本地优化代码是白费功夫。
直接重启服务器掩盖问题
重启能恢复服务,但丢失所有现场信息,线上真实案例中,有团队反复重启服务器却始终没查根因,最后发现是定时任务每天凌晨定时触发的大数据量聚合运算,代码写成了笛卡尔积联表。先取证后处置是正确顺序,至少留一次线程栈和性能采样的记录再重启,不迟。
Linux服务器CPU排查常用工具组合
单个工具覆盖不了一个完整场景,组合使用效率更高。
| 场景 | 推荐工具 | 核心用途 |
|---|---|---|
| 全局状态 | top、htop、vmstat | 快速定位异常进程和整体负载 |
| 线程级诊断 | top -H、pidstat | 锁定具体线程 |
| 代码级分析 | jstack、gdb、perf | 定位代码位置 |
| 系统调用追踪 | strace、ltrace | 分析内核态消耗 |
| 离线深度分析 | 抓取dump文件后分析 | 还原故障现场 |
linux服务器卡顿原因分析多数逃不出CPU、内存、磁盘、网络四个维度,而CPU维度在四个维度里最容易被快速定位,因为工具链成熟,排查方法论清晰,如果遇到top和vmstat输出都正常但服务依然响应慢的情况,考虑是不是CPU频率被限制了(比如笔记本或云服务器被限流),用cat /proc/cpuinfo | grep MHz查看实时频率可以确认。
关于Linux服务器CPU占用过高的高频疑问
云服务器CPU占用高需要立刻升级配置吗?
不建议。先诊断再扩容,升级配置掩盖了问题,后续可能反复发作并增加成本,多数场景下代码层面的问题(死循环、缓存缺失、慢SQL)用低成本手段就能解决,只有确认是配置不足以支撑真实业务量(比如业务增长导致正常计算量提升),才有必要升级配置。
CPU使用率在100%和波动在80%-90%之间,处理方式有何区别?
CPU持续100%通常是死循环或无限递归,需要立即抓取线程栈定位代码,CPU在80%-90%波动可能是业务高峰期的正常负载,也可能是内存回收或定时任务的周期行为,先观察波动周期是否与业务高峰时段(如整点、早晚高峰)吻合,再决定是否介入,后台任务与业务高峰的叠加也常见,错峰调度即可缓解。
Crontab中配置了脚本任务,但CPU飙高时第一时间没发现是定时任务,这类问题怎么防止?
给所有定时任务脚本加上执行时间和PID记录,在脚本开头写入echo "$(date) PID:$$ start" >> /var/log/cron_monitor.log,脚本结束时记录结束状态,出现问题时查这个日志就能确认是否与定时任务执行时间点吻合,成本很低,但定位问题效率显著提升。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/805006.html


