服务器总开小差,绝大多数情况下不是玄学,而是资源瓶颈、代码隐患或配置疏漏在特定流量下的集中爆发,解决办法是建立一套从监控告警到预案演练的闭环体系。
很多站长半夜被报警短信吵醒,登录后台看到一串502、504错误,第一反应是“服务器又抽风了”,其实服务器很委屈,它只是按照配置和负载在工作,真正出问题的是我们对它的使用方式,与其对着屏幕叹气,不如花半小时梳理清楚排查路径,让“开小差”变成可控事件。
先分清“开小差”的类型再动手
不同表现对应不同病因,乱重启只会掩盖问题。
- 页面加载极慢但最终能打开:多半是CPU或内存占用过高,数据库查询卡顿,也可能是带宽跑满。
- 直接502 Bad Gateway:Nginx或Apache后端服务挂了,PHP-FPM进程数耗尽,或者端口被占。
- 504 Gateway Timeout:后端处理超时,常见于慢SQL查询、第三方接口无响应、死循环脚本。
- 连接被重置或拒绝:防火墙拦截、iptables规则误配、TCP连接数被打满。
- 间歇性随机报错:代码里存在内存泄漏,或者缓存组件(Redis/Memcached)频繁淘汰键值。
行业共识认为,超过80%的服务器偶发故障在日志里都有迹可循,先看日志,再动服务,这是排查的第一原则。
建立三层排查体系:日志、资源、链路
按下面顺序操作,大多数问题能在十五分钟内定位。
第一层:看系统日志和错误日志
# 查看系统日志,关注OOM、磁盘错误、内核报错 dmesg -T | tail -50 # 查看Nginx错误日志 tail -100 /var/log/nginx/error.log # 查看PHP-FPM日志 tail -100 /var/log/php-fpm.log # 查看MySQL慢查询日志(需提前开启) tail -50 /var/log/mysql/slow-query.log
日志里如果出现Out of memory,说明内存不足,进程被内核杀了,出现Too many open files,则是文件描述符限制太低,出现Connection timed out,配合网络排查判断是带宽还是对方服务问题。
第二层:实时监控资源占用
# 实时查看CPU和内存,按资源占用排序
top -c
# 查看负载均衡情况,1分钟和15分钟负载差距大说明突发流量
uptime
# 查看磁盘空间,超过80%就要留意
df -h
# 查看磁盘IO是否繁忙,iowait过高的解决办法是换SSD或优化查询
iostat -x 2 3
# 查看网络连接数,TIME_WAIT过多说明连接未正常关闭
netstat -ant | awk '{print $6}' | sort | uniq -c | sort -nr
top命令里,如果wa(I/O Wait)数值超过10%,说明磁盘在拖后腿,如果load average超过CPU核心数,说明计算资源吃紧,这两个数据比单纯的CPU百分比更能反映真实瓶颈。
第三层:检查应用链路和依赖服务
- 逐个ping、telnet依赖的数据库、缓存、对象存储、短信网关。
- 检查Redis
INFO命令返回的connected_clients和used_memory。 - 检查MySQL
SHOW PROCESSLIST;,看有没有长时间未结束的查询。 - 用
curl -w "@curl-format.txt" -o /dev/null -s URL分阶段测耗时。
有个真实场景很典型:某电商站点每天下午三点准时卡顿,日志里没有异常,资源也不满,最后发现是定时任务每小时整点全量扫描商品表,锁住了大量行,导致前台查询排队。定时任务和高峰期重叠是最容易忽视的隐性杀手。
高负载场景下的即时止血操作
问题定位后,需要立刻恢复服务,再考虑根治。
快速释放资源
# 找到占用过高的进程PID
top -c
# 确认是僵尸进程或失控脚本后结束,切勿误杀主进程
kill -9 PID
# 清理占用大量内存的PHP-FPM进程池,这个操作会断开部分请求,谨慎评估
service php-fpm reload
# 重启数据库连接池,让积压的请求断开
mysqladmin -u root -p processlist | awk '{print $2}' | xargs -I {} mysqladmin -u root -p kill {}
启用临时限流和降级
如果后端压力来自突发流量,直接扩容可能来不及,先用Nginx限流兜底。
# 在nginx.conf的http块中定义限流区域
limit_req_zone $binary_remote_addr zone=req_limit:10m rate=10r/s;
# 在server块中应用
location / {
limit_req zone=req_limit burst=20 nodelay;
proxy_pass http://backend;
}
同时把非核心功能(搜索、推荐、消息推送)临时关闭,优先保障下单和支付接口,行业共识认为,降级方案要在系统平稳时设计好,而不是故障时临时开会讨论,所以建议提前在代码里埋好开关,比如通过配置中心动态控制功能模块的启用状态。
治本方案:如何让服务器彻底不“开小差”
止血只是第一步,以下措施能显著降低故障频率。
调整核心参数
按硬件配置给出常规参考值,具体需结合压测结果调整。
| 组件 | 参数 | 常规参考值 | 适用场景 |
|---|---|---|---|
| Nginx | worker_processes | 等于CPU核数 | 多核机器充分发挥并行能力 |
| Nginx | worker_connections | 10240-65535 | 高并发场景提升连接承载 |
| PHP-FPM | pm.max_children | 内存总量/单进程内存 | 避免内存耗尽 |
| PHP-FPM | pm.max_requests | 500-1000 | 防内存泄漏积累 |
| MySQL | max_connections | 500-2000 | 连接数上限 |
| 内核 | somaxconn | 1024-65535 | 高并发TCP连接排队 |
修改后务必执行nginx -t和php-fpm -t验证语法,再平滑重启。
配置自动化监控告警
手动盯服务器不现实,用脚本轮询也能做到基础告警,推荐三步走:
- 安装NodeExporter和Prometheus采集指标,Grafana做可视化面板。
- 设置阈值:CPU持续三分钟超过85%、内存使用率超过90%、磁盘可用低于10GB、5xx响应占比超5%。
- 通过Alertmanager推送到钉钉、企业微信或Webhook。
不用整套方案的话,写一个Shell脚本配合crontab每两分钟检查一次关键端口和负载也能应急,关键在于告警要及时,但不能频繁误报导致“狼来了”效应。
代码层优化,源头降低故障概率
服务器资源是有限的,不合理的代码消耗才是最致命的。
- 数据库查询一律走索引,禁止
SELECT,分页别用OFFSET,改用游标方式。 - 热点数据用Redis缓存,设置合理的过期时间和防雪崩的随机过期值。
- 外部HTTP请求设置超时上限(一般3秒)和重试次数上限(1-2次)。
- 文件上传单独走对象存储,别挤占应用服务器的磁盘IO。
- 定时任务用队列系统(如RabbitMQ、Beanstalkd)处理,和Web请求隔离。
比较大的概率你会发现,优化掉几个慢查询之后,服务器的负载直接下降一半,这说明很多时候不是硬件不够强,而是请求都堵在数据库的无效查询上。
常见疑难场景排查实例
结合几个典型问题,对照排查思路。
为什么重启又恢复,过几天又卡顿
这类问题通常指向内存泄漏或文件句柄泄漏,进程跑一段时间后占用越涨越高,直到触发OOM Killer,解决办法是给进程加监控看内存趋势图,对PHP-FPM设置pm.max_requests让进程定期回收,Java/Nginx的worker进程则要检查第三方扩展模块。
为什么服务器配置很高,并发还是上不去
大概率是单点瓶颈,CPU很闲但页面卡,可能是存储IO慢或网络带宽小,检查top里的wa值、iftop的流量情况就能分辨,另一个常见原因是Nginx的worker_connections没调大,或者PFM的pm.start_servers启动进程数太少。
为什么切换机房后频繁出现偶发超时
可能是DNS解析延迟、跨地域网络延迟、新机房BGP链路质量问题,用mtr分段看路由转向,确认延迟抖动点,再决定是否迁移或加CDN,也可能是云服务商限流,查看官网状态页确认是否存在丢包公告。
- 日志优先:别在没看日志前盲目重启,日志会告诉你根因。
- 监控先行:没有历史数据就无法对比判断,至少保留30天核心指标。
- 预案落地:每年做两次故障演练,模拟数据库宕机和流量突增场景。
- 事后复盘:每次故障记录时间线、根因、处理动作、改进项。
服务器的稳定运行是一项持续投入的工程,用“总开小差”的视角去抱怨没有意义,把每个异常当成一次优化机会,配合日志、监控和定期的性能巡检,开小差的频率会越来越低,最后补充一点:如果以上手段都试过仍然频繁故障,且业务量级确实增长较快,直接考虑升级配置或改用更高规格的云实例,算清楚宕机损失和升级成本的对比,往往升级是更划算的选择。
服务器开小差多久算故障
业内一般认为,单次中断超过10分钟,或一天内累计超过30分钟,就算作一次事故处理,如果是电商大促或在线教育上课高峰时段,这个标准要收紧到2分钟,建议根据业务SLA自定义告警级别:紧急告警(立即处理)、严重告警(15分钟内响应)、一般告警(2小时内处理),制定好分级策略后,值班工程师才知道哪些通知必须马上起身,哪些可以等手上事忙完再看。
服务器总开小差需要升级配置吗
不一定,先观察CPU、内存、带宽、IO四项指标的实际使用率,如果使用率长期徘徊在70%-80%但偶尔尖峰,优先做限流和缓存优化,把峰值削平,如果四项指标长期超过90%,并且优化代码后没有明显改善,那确实需要通过配置升级来解决。升级是横向加机器还是纵向升配置,取决于业务形态:无状态服务适合横向扩容,数据库这类有状态组件更适合纵向升级或做读写分离。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/801650.html

