服务器CPU突然变高,多数情况并不是CPU本身坏了,而是某个进程、某波流量或某个资源瓶颈把它顶起来了,按“看趋势定位进程判断性质决定处置”四步走,通常十分钟内就能找到方向;如果一上来就重启或直接升配,往往既没解决问题,又多花了钱。
先判断“高”的是什么,不要急着重启
第一步:看趋势,不要只看当前值
很多告警其实是瞬时尖刺,先把监控面板的时间窗口拉到6小时甚至7天,再看曲线是陡直拉升、阶梯上升,还是周期性锯齿。
- 陡直拉升:往往对应发布、重启、定时任务或攻击
- 阶梯上升:业务量增长,或连接数在堆积
- 周期性锯齿:备份、日志切割、批处理任务时间重叠
多数云监控产品的默认阈值是持续5分钟CPU超过80%,瞬时冒尖和持续高负载,处理方式完全不同。
第二步:用 uptime 和 top 看两个数
uptime top
uptime 输出的 load average 是1/5/15分钟平均负载,判断标准是负载值与CPU核数的比值:4核机器负载跑到4左右算吃满,跑到8以上说明有大量任务在排队,如果负载高但CPU使用率不高,问题多半在IO或锁等待,不在CPU。
top 界面里按 1 展开每个核,单核打满,基本可锁定单线程死循环或单线程任务;所有核一起高,才更可能是流量或并发问题。
第三步:分清用户态和内核态
top 里的 us(用户态)、sy(内核态)、wa(IO等待)、si/hi(软硬中断)指向完全不同的方向:
- us 高:应用在算,往业务逻辑、序列化、加解密、正则上找
- sy 高:系统调用频繁,常见于大量小包网络IO、频繁建线程、容器里疯狂读写
- wa 高:磁盘或网络存储慢,CPU其实在等
- si 高:网卡中断打满单核,通常是流量过大或中断未做多队列
这一步判断错,后面排查就全白费,业内专家指出,把IO等待当成CPU瓶颈去升配,是最常见的一类误判。
服务器CPU占用率100%怎么排查:从进程到线程
先抓进程
pidstat -u 1 5 # 或者 top -b -n 1 | head -20
找到吃CPU最多的PID,再判断它“该不该吃”,是nginx、Java、Python还是mysqld,处理路径完全不同。
再抓线程
top -H -p <PID>
线程级看谁在跑,拿到线程ID后转成十六进制,再去对应工具里找栈:
- Java:
jstack <PID> | grep -A 30 nid=0x<十六进制线程号> - Python:
py-spy top --pid <PID>,不用改代码、不用重启 - Go:
curl localhost:port/debug/pprof/profile?seconds=30抓CPU profile - C/C++:
perf top -p <PID>,看热点函数
见过最典型的一次,是一台4核机器CPU长期卡在380%,最后定位到某个正则表达式在特定输入下回溯爆炸,改一行正则就恢复了,机器根本不用动。
顺带确认资源瓶颈
vmstat 1 5 # 看 r 列(运行队列)和 wa 列 iostat -x 1 # 看 %util 和 await mpstat -P ALL 1 # 看每核,重点看 %steal free -h # 看 swap 有没有被吃掉
Linux服务器CPU占用高是什么原因:六种高频场景
对照着看,比凭空猜快得多:
- 业务量真涨了,流量曲线和CPU曲线同频同幅,这是好事,接下来谈扩容。
- 慢SQL和全表扫描,数据库机器CPU飙高,先翻慢日志,
EXPLAIN一跑就清楚。 - 定时任务时间重叠,备份、报表、日志切割、缓存预热全挤在同一分钟,改成错峰即可。
- GC或内存交换,JVM频繁Full GC会吃满CPU;swap被用上之后系统会持续软中断。
- 被扫描、被爆破、被挖矿,SSH爆破、Redis未授权、Web目录扫描都会带来持续的CPU和连接数。
- 云环境的资源争抢。
%steal不为零说明宿主机在抢CPU时间片;容器里则是CPU quota被限流,表现为“CPU不高但请求变慢”。
云服务器CPU突然飙升是业务增长还是被攻击
这两个方向的处置方式差别很大,用三步定性。
看流量和CPU是否同步
sar -n DEV 1 5 # 网卡出入流量
ss -antp | wc -l # 连接数
ss -antp state established | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -rn | head
流量涨、CPU涨、连接数涨,是业务,流量没涨、CPU涨,是代码或任务,流量涨但集中来自少数几个IP,大概率是被刷。
看进程是否可解释
同一时间有没有人发布、有没有新上线的定时任务、有没有运营活动,发布窗口和告警时间对得上,先回滚再排查,这一步能省下大量时间。
看异常出向流量
iftop -i eth0 # 或 nethogs
出现陌生的外连、持续上行流量、某个进程悄悄占满一个核,优先按挖矿和木马处理:断网、留证据、查进程和计划任务(crontab -l、/etc/cron.d)、检查SSH公钥和新增用户(/etc/passwd、~/.ssh/authorized_keys)。
行业共识认为,云上机器长期暴露公网、安全组不收敛,是这类问题的主要来源,基础防护做到位,能挡掉大部分。
定位之后怎么办:按现象匹配动作
| 现象 | 常见原因 | 处置动作 |
|---|---|---|
| 单核100%,其余空闲 | 单线程死循环、正则回溯 | 抓线程栈,改代码或重启该进程 |
| 全核高,流量同步上升 | 业务增长 | 限流、加缓存、扩副本,再评估升配 |
| us高,流量平稳 | 代码路径变重 | 对比发布记录,回滚或优化热点函数 |
| sy高,连接数大 | 小包多、连接频繁建立 | 开keepalive、调大somaxconn、上连接池 |
| wa高 | 磁盘或网络存储慢 | 换SSD、拆日志盘、优化慢查询 |
| %steal高 | 宿主机争抢时间片 | 换实例规格或迁移可用区 |
服务器CPU长期偏高要不要升级配置
短期尖刺靠优化,长期水位靠容量规划,判断标准是看常态水位:如果每天高峰稳定在70%以上,且已做过限流和缓存仍然压不住,升配是合理的;如果只是偶尔冲高,升配等于把钱花在闲着的核上。
按主流云厂商公开报价,同系列实例CPU和内存同比升一档,月费通常从几百元涨到上千元不等,具体看规格族、地域和付费方式,包年包月折算下来单价更低,长期稳定负载优先考虑包年。
省钱的三条路建议先走一遍:限流削峰(把突发流量挡在网关)、加缓存(把重复计算换成内存读)、错峰调度(把批处理挪到低谷),这三条做完再谈升配,性价比通常高得多。
华东、华南不同地域机房的实例规格库存和价格会有差异,跨可用区部署还能顺带解决单点问题,迁移成本往往比想象中低。
收尾
服务器CPU突然变高,本质上是一个“找证据”的过程:负载比值、用户态与内核态占比、进程和线程栈、流量与连接数,这四组证据摆在一起,原因基本就浮出水面了。先定位再动手,不要让重启和升配成为掩盖问题的习惯动作。
关于服务器CPU突然变高的三个常见问答
Q1:服务器CPU突然变高但业务不卡,需要处理吗?
要看持续性,周期性锯齿且幅度可控,多半是定时任务,优化调度即可;无规律的持续爬升,即使当下不卡,也在消耗余量,一旦叠加流量高峰就会雪崩,建议至少确认到具体进程再判断。
Q2:云服务器CPU突然变高,重启能解决吗?
重启只能清掉内存泄漏和死循环这类进程内状态,对流量攻击、慢查询、定时任务时间重叠、资源争抢基本无效,还会丢失现场,正确做法是先保留 top、pidstat、ss 的输出,再决定是否重启。
Q3:服务器CPU突然变高,一般多久能定位到原因?
有监控和日志的前提下,从告警到锁定具体进程通常在一次值班响应内完成,多数情况在十分钟到半小时之间;真正耗时的是从进程追到代码行,取决于有没有链路追踪和火焰图,缺少可观测性建设的机器,同样的排查可能要花上数小时。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/804151.html


