服务器一直卡死,绝大多数情况不是硬件报废,而是资源耗尽或某个进程锁死了系统,第一步永远是通过SSH登录服务器看负载和日志,登录不上就用主机商的控制台VNC强制介入。
很多朋友一遇到服务器卡死,第一反应就是重启,重启确实能解决一部分问题,但如果不搞清楚根因,重启之后用不了几天又会卡死,下面按真实排查顺序来拆解,从发现问题到彻底解决,一条龙说清楚。
服务器卡死什么原因:先分清是假死还是真死
服务器卡死,行业内一般分成两种情况,一种是假死,表现为Ping不通、网站打不开,但VNC控制台还能看到界面,鼠标还能动,另一种是真死,按键盘没反应,大写锁定灯不亮,这种情况基本只能强制断电。
判断方法很简单,打开你的电脑终端,输入ping 你的服务器IP,如果丢包率100%,再用浏览器登录云服务商提供的VNC控制台,如果VNC能进去,那就是假死,系统还没完全瘫痪,如果VNC也连不上,那就是真死,该走强制重启流程了。
假死通常由资源耗尽、进程死锁、磁盘满导致,真死则大概率是硬件故障、内核崩溃或超频过度,据IDC运维圈的普遍共识,日常遇到的卡死事件中,假死占比超过九成,所以别慌,大部分情况都能救回来。
服务器卡死排查步骤:从登录开始逐层拆解
第一步:强制进入系统并查看负载
如果你能通过SSH连上,直接运行下面的命令看看系统现在什么状态:
top
这个命令实时显示CPU、内存和每个进程的资源占用,观察重点有三个:
- load average 这个数值如果长期大于CPU核心数,说明系统过载。
- %Cpu(s) 这里的
wa(等待I/O)如果很高,说明磁盘读写卡住了。 - 内存
free显示几乎没有剩余,结合si和so数值很大,说明内存不够用,系统在疯狂交换内存页。
如果SSH连不上,就用VNC进入,VNC能进说明系统核心还在。
第二步:锁定并处理高占用进程
看到 top 输出后,按 P 键按CPU排序,按 M 键按内存排序,找出谁在“吃”资源,常见的元凶包括:
- MySQL或MariaDB 的某个查询把CPU打满。
- PHP-FPM 进程数量爆炸,每个占几百MB内存。
- 被挂马的进程
kdevtmpfsi、xmrig这些挖矿程序。 - 日志写入进程
rsyslogd突然暴涨。
找到占用率极高的进程PID,用下面命令杀掉它:
kill -9 PID
杀完之后观察负载是否回落,如果负载还没掉,继续用 top 看下一批进程,逐个清理。
第三步:检查磁盘空间和inode
磁盘满是一个很容易被忽略的卡死原因,用命令查看:
df -h
/dev/vda1 使用率100%,那系统写入任何日志都会失败,表现为程序无响应,清磁盘可以用:
du -sh /var/log/ | sort -rh | head -10
找出占用最大的日志文件,清空它:
> /var/log/syslog
另外还需要检查inode是否满:
df -i
如果inode用完,即使有磁盘空间也没法创建新文件,表现为系统报“No space left on device”,这种情况通常是小文件太多,比如邮件队列或者缓存目录,可以用 find / -xdev -type f | wc -l 统计数量,然后清理垃圾文件。
第四步:检查内存和SWAP配置
如果内存跑满而且没有配置swap,很容易直接卡死,查看内存:
free -m
如果swap行全是0,说明没开或不够用,建议给服务器加2-4G的swap文件,用命令创建:
fallocate -l 4G /swapfile
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfile
然后在 /etc/fstab 里加一行 /swapfile none swap sw 0 0,这样重启后swap依然生效。
怎么预防服务器卡死:日常运维的三个习惯
卡死问题重在预防,指望每次都靠救火不现实,业内专家指出,定期做三件事能过滤掉80%的卡死隐患。
开启系统监控告警
别等到卡死了才去看状态,安装一个简单的监控工具,netdata 或者 Prometheus + Grafana 也可以,如果不喜欢太复杂的,用最笨的办法,用一个crontab定时任务,每隔5分钟检查一次,如果负载过高就发邮件告诉你。
优化Web服务器和数据库参数
对于nginx或Apache,调高 worker_connections,但别超过系统内存承受范围,对于MySQL,在 /etc/my.cnf 里设置 max_connections 为合理值,生产环境常用500-1000之间,但具体看内存大小,关键是要防止连接数暴涨打垮服务器。
定期清理日志和环日志
用 logrotate 设置日志轮转,确保单个日志文件不要超过几百MB,尤其是 /var/log/messages 和 nginx 的访问日志,一年不清理能轻松吃掉几十GB空间,设置方法是在 /etc/logrotate.d/ 目录下改配置,让日志按天或按大小分割,保留最近7天即可。
涉及服务器卡死怎么解决的几个具体场景
网站数据库卡住导致整机无响应
如果你跑的是WordPress或电商站,数据库卡死很常见,打开 top 发现 mysqld 占用了大多数CPU,可能是一条SQL没走索引导致全表扫描,处理方法是先杀掉那个导致问题的查询,然后重启MySQL:
systemctl restart mysql
如果你用的是宝塔面板,在软件商店里重启MySQL服务也行,重启后去数据库后台开慢查询日志(slow query log),找出哪些SQL耗时超过2秒,然后为对应的查询字段添加索引,这条操作能明显减少类似情况。
服务器被挖矿木马打满CPU
如果你的价格比较便宜的VPS主机或服务器,很容易被扫描爆破,植入挖矿木马,特征就是CPU使用率100%,进程名伪装成系统服务,处理流程:
- 干掉进程:
kill -9 PID - 删除病毒文件:
rm -rf /tmp/kdevtmpfsi - 检查定时任务:
crontab -l - 检查SSH密钥:
vi ~/.ssh/authorized_keys
做完之后立刻修改root密码,禁用密码登录,改用密钥登录,这个流程虽然简单,但相当部分的中毒事件能够通过这三步解决掉,不做安全加固的服务器,在公网上暴露几个小时内就会遭遇第一轮扫描。
硬件层面引起的彻底卡死
如果你的服务器怎么排查都找不出问题,但每隔一两个月还是固定卡死一次,而且都是真死,那就要考虑硬件了,独立服务器的经典硬件故障排行榜上,内存故障和磁盘坏道排前两位。
用命令检测内存:
memtest86+
这个工具需要重启进入工具模式,跑个几轮下来就知道内存有没有问题,检测磁盘用:
smartctl -a /dev/sda
查看 Reallocated_Sector_Ct 这项数值,如果为非零,说明磁盘已经有坏道了,建议联系服务器商做更换,租用的独立服务器通常享有硬件保修服务,直接提工单说明情况,一般都会支持更换。
最后的兜底方案:写一个自动重启脚本
如果以上排查都做了还是偶尔卡死,并且短时间内无法更换设备,那就写一个看门狗脚本,用crontab每2分钟执行一次探测,如果连续探测1分钟都不通,就自动重启服务器。
脚本逻辑很简单,在Linux服务器上用 ping -c 3 网关IP 检测网络,如果失败则执行 reboot,用Shell脚本实现,放在 /usr/local/bin/reboot_watchdog.sh 里,crontab -e 添加任务即可,这算是一个不太优雅但能解决可用性问题的应急办法。
遇到服务器一直卡死,最怕的是乱操作,先判断是假死还是真死,然后登录系统看负载和磁盘,杀掉异常进程,清理掉垃圾文件,再优化配置参数,最后做好监控脚本,这套流程走下来,绝大多数卡死问题都能在10分钟内定位并解决掉,别一卡就重启,找根源才是关键。
服务器一直卡死怎么办相关的常见疑问
Q1:服务器卡死后数据会丢失吗?
数据丢失与否取决于卡死的类型和文件系统状态,如果是内存耗尽导致进程被杀,MySQL或Redis的数据可能没来得及刷盘,回滚后丢失最近几秒的写入数据,如果是强制断电重启,ext4或xfs文件系统有日志机制,通常不会导致已落盘数据损坏,但页面缓存中未写入磁盘的数据会丢失,所以生产环境务必开启binlog和定期自动备份。
Q2:新买的云服务器卡死频率高,是配置不够还是运营商问题?
新服务器频繁卡死,优先排查两个方向,一个是套餐的CPU积分或突发性能型实例在CPU跑满后会被限制,导致系统响应极慢,这种属于配置和业务不匹配,另一个是默认安装的镜像系统里有漏洞,被入侵植入挖矿程序,先在控制台重置系统,换一个纯净版系统镜像,只装必要的环境,如果问题依然频繁出现,那就检查当前实例的CPU和内存规格是否满足业务并发需求,可以考虑升级配置。
Q3:频繁卡死和机房网络有关系吗?
关系很大,但分两种,一种是服务器本身没问题,而是机房出口带宽被打满,被DDoS流量攻击时会出现网络不通、登录卡顿,另一种是物理机的邻居租户频繁占用宿主机资源,导致你的实例性能被拉低,如果你用的是超售严重的廉价服务器商,症状是白天高峰时段卡死频发,可以尝试工单咨询服务商,确认是否设置了CPU和流量限制策略。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/810690.html


