六个服务器过载,先别急着加机器,正确的做法是按“止血分流扩容优化”四步走,优先保住核心业务,再谈根治问题。
服务器过载是什么原因:先分清六种“累”法
服务器过载不是单一故障,而是六种不同“累”法的统称,我见过太多运维新手,一看到CPU跑满就重启,结果发现是磁盘IO堵死,白忙一场,这六种过载,你得分清楚再动手。
CPU过载:计算资源被榨干
CPU使用率长时间超过90%,负载均衡(load average)高于CPU核心数两倍以上,这就是典型的CPU过载,常见元凶是死循环代码、恶意爬虫、或者数据库查询没走索引导致的全表扫描,判断方法很简单,登录服务器执行top命令,按P键排序,看哪个进程占CPU最高,如果是一个PHP-FPM或Java进程,记下PID,再执行strace -p PID跟踪系统调用,十有八九能看出它在死磕什么。
内存过载:物理内存和SWAP打架
物理内存耗尽后,系统开始疯狂使用SWAP交换分区,磁盘读写飙升,响应变得极其迟缓,用free -h命令看,如果SWAP使用率超过物理内存的30%,基本可以断定内存吃紧,最常见的原因不是单一进程占用高,而是进程数量太多,每个吃一点就撑爆了,按内存排序执行ps aux --sort=-%mem | head -20,能把大头揪出来。
磁盘IO过载:读写堵车
CPU和内存都正常,但系统慢得像蜗牛,这时候要看iostat -x 1,如果%util接近100%,说明磁盘读写已经严重饱和,数据库服务器特别容易踩这个坑,大量并发写入会让机械硬盘直接罢工,SSD虽然好一些,但也会在持续高负载下掉速。日志写入和数据库binlog同步是常见的两个IO大户,检查这两个位置往往能找到突破口。
带宽耗尽:流量太大挤爆门口
这里说的带宽,既包括服务器的下行带宽(用户传数据进来),也包括上行带宽(服务器回传数据给用户),带宽跑满的症状很典型:ping延迟正常但网页打不开,iftop命令能看到流量飙到机房限制的上限,短视频推流、文件下载站、被CC攻击都是带宽杀手,要看即时流量,执行iftop -i eth0 -n -P,哪几个IP在蚕食带宽一目了然。
连接数打满:伙计们都在排队
服务器能同时处理的连接数是有限的,Nginx默认1024个,MySQL默认151个,一旦连接数被占满,新请求就得排队等待,表现就是“请求超时”或“502 Bad Gateway”,用ss -ant state established | wc -l数一下当前连接数,再对照软件配置里的上限,差距不大就说明快撞墙了。
程序锁竞争:大家都在抢一把锁
这种过载最隐蔽,表面上看CPU不高、内存够用、磁盘也不忙,但业务就是卡顿,原因通常是某个共享资源被锁住了,比如文件锁、数据库行锁、缓存锁,大量线程在等待锁释放,MySQL里执行SHOW ENGINE INNODB STATUS;,看TRANSACTIONS段落里有没有大量“LOCK WAIT”的记录,Redis里执行INFO commandstats,看有没有异常高的阻塞命令。
服务器过载怎么处理:六步应急手册
处理过载,顺序错了会火上浇油,下面这六步按优先级排列,每一步都可以验证效果后再走下一步。
第一步:快照和日志备份,保住证据
不管三七二十一,先把当前状态存下来,云服务器最快的方式是控制台做磁盘快照,本地服务器至少把/var/log/messages、nginx/error.log、php-fpm.log这几个关键日志复制一份到备份目录,这不是浪费时间,过载解除后你要复盘原因,没有日志全靠猜。
第二步:杀掉最凶的进程,快速止血
用top找到吃资源最猛的进程,确认不是你正在跑的重要业务后,就kill -9干掉它,如果这个进程恰好是数据库或者Nginx,别直接kill,先用systemctl restart重启服务,如果过载太严重连SSH都连不上,云服务器用户直接去控制台“强制重启”,本地服务器只能联系机房协助重启。
第三步:限制并发,先拒绝一部分流量
恢复了管理权限后,第一时间在Nginx层限制并发连接数,在nginx.conf的http块里加上:
limit_conn_zone $binary_remote_addr zone=perip:10m; limit_conn perip 20;
再把worker_processes调成CPU核心数,worker_connections调成1024或2048,别贪大,这能让服务器从“忙死”变成“累但能响应”,如果是业务高峰期,宁可让一部分用户排队,也不能让全部用户都卡死。
第四步:分流读写流量,把压力打散
单台机器扛不住,那就把流量分流出去,最实操的做法是给数据库做一主一从,把只读查询全部打到从库上,主库只处理写入,用MySQL的朋友,在my.cnf里配置好server-id和log-bin,再在主库执行GRANT REPLICATION SLAVE授权,从库执行CHANGE MASTER TO指向主库IP,10分钟能搞定,这样读压力至少减轻一半。
第五步:加缓存,拦住重复请求
数据库的重复查询是服务器过载的一大推手,在业务层接入Redis,把热点数据缓存起来,TTL设置30到60秒,能挡住大量穿透请求,以PHP为例,查缓存前先GET key,没有命中再查数据库,然后SETEX key 30 值写回,高频的接口、商品详情、登录状态,都适合走这个方案。缓存命中率超过80%的情况下,数据库压力能降一个量级。
第六步:扩容之前先问值不值
加机器是最快但最贵的方案,云服务器还好说,控制台点几下就能升配,但价格翻倍不止,国内主流云厂商的4核8G机型,包年费用大概在2000到4000元区间,8核16G直接跳到6000元以上,自建机房更贵,升级CPU和内存条动辄几千块不说,还得停机操作,我的建议是:短期的流量尖峰,比如秒杀、活动推广,直接升配;长期性的增长,优先做架构优化,比如拆服务、加缓存、换更高性能的存储引擎,把单台机器的钱花在刀刃上。
高并发服务器过载预防方案:别等爆了才动手
过载处理是救火,预防才是防火,以下三个方向是行业共识认为投入产出比最高的。
监控告警要早于用户体验下降
装一套监控是成本的,但比宕机损失便宜得多,推荐组合是Prometheus加Grafana,开源免费,能监控CPU、内存、磁盘、带宽、连接数等十几个指标,设置三档告警:使用率超过70%告知,超过85%警告,超过95%紧急,报警推送到钉钉或企业微信机器人,不管服务器过载什么原因,早发现10分钟,处理难度降一半。
压测要比用户先到
上线大促活动之前,用压测工具模拟真实流量,Apache Bench(ab命令)适合测单接口,ab -n 10000 -c 100 -T 'application/json' -p post.txt https://你的域名/api/xxx,能测出泰式并发能力,复杂场景用JMeter或locust,调整并发数从100往上加,观察响应时间在哪个节点开始指数级暴涨。上生产前发现瓶颈,比线上事故划算多了。
自动弹性伸缩应对“薛定谔的流量”
流量什么时候暴涨,有时候连运营都说不准,云服务器厂商基本都提供弹性伸缩组,设置好镜像和触发规则,比如CPU均超过75%持续5分钟就自动加一台,低于30%持续10分钟就自动释放一台,这样做的好处是不需要人在夜里盯监控,机器替你打工,自建机房的用户,至少要把服务做成无状态,能在多台机器上横向扩散,这是本地环境下最接近弹性伸缩的方案。
六个服务器过载的常见问题解答
服务器过载会不会导致数据丢失?
不会自动丢失,但存在间接风险,过载状态下如果强制重启,未落盘的数据可能丢失,数据库如果正在写入时崩溃,可能导致表损坏,MySQL用InnoDB引擎的话,事务日志能保证崩溃恢复;但你得有定时备份习惯,过载时不要贸然kill数据库进程,优先考虑慢查询分析和优化,给数据库一个缓冲时间。
六个服务器过载,到底是先加带宽还是先加CPU?
看观察到的瓶颈再决定,用iftop看到带宽打满,就加带宽;用top看到CPU满载而带宽空闲,就加CPU。加错资源不仅浪费钱,问题也解决不了,大多数情况下,网站访问慢是带宽和CPU的协同问题,但总有一个是主要矛盾,一步到位的方法是:先看云监控面板的趋势图,哪个指标最先触顶,就优先升配哪个。
服务器过载导致的宕机,恢复业务后要做哪些善后工作?
用半天时间做三件事:第一,复盘日志,把触发过载的具体请求和IP找出来,封掉恶意IP;第二,检查代码层有没有明显慢查询或死循环,有就立刻修;第三,压力测试验证当前配置能扛住上次峰值流量的5倍,这能确保下次流量再来时,你心里有底而不是坐在机房干瞪眼。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/810640.html


![[附带参考数据]最适合练习自救的服务器!](https://i0.hdslb.com/bfs/archive/9870b1103216c3d773172e598668e9b5f02b130e.jpg)