部署爬虫时给虚拟专用服务器做系统调优,核心是围绕高并发短连接去调文件句柄、TCP回收、内存回收和日志落盘,而不是照搬建站那套参数。 先把负载画像摸清,再动内核和运行环境,最后用监控回看效果,这条顺序比背参数更重要。
先看清爬虫负载:它和普通网站服务器不是一回事
爬虫的负载特征
爬虫跑起来,最先吃紧的往往不是CPU,短连接多,TIME_WAIT堆积快;每个连接、每个打开文件都占文件描述符;DNS解析频繁,代理切换多;日志和抓取结果落盘密集;目标站点反爬还会带来重试、超时和并发波动。
一个常见场景:凌晨跑价格采集,几分钟内并发拉高,ss -s 看到TIME_WAIT几千,爬虫开始报“Cannot assign requested address”,这不是机器性能不够,是端口范围和连接回收参数没调。
爬虫服务器用什么配置好?先按采集强度分档
| 场景 | CPU | 内存 | 带宽 | 磁盘 | 调优重点 |
|---|---|---|---|---|---|
| 轻量定时采集,几十个站点 | 2核 | 2GB~4GB | 3M~5M | 40GB SSD | 文件描述符、日志轮转 |
| 中等并发,带代理池和多任务 | 4核 | 8GB | 10M以上 | 80GB SSD | TCP回收、conntrack |
| 大规模分布式采集 | 8核以上 | 16GB以上 | 按流量计费 | 独立数据盘 | 端口范围、DNS缓存、监控 |
不要只盯核数,爬虫经常卡在网络连接和磁盘IO上,CPU反而闲。
爬虫用云服务器还是VPS?部署前先算清三笔账
- 价格账:VPS月付低,但带宽超量、IP更换可能额外收费;云服务器按量计费灵活,适合流量波动大的采集任务。
- 网络账:目标站点在境内,优先国内BGP线路;跨境采集要看国际出口质量,便宜线路丢包会让重试率上去。
- 扩展账:VPS升级常要停机迁移;云服务器能弹性升配,行业共识认为,爬虫业务先小规模验证,再横向扩机器,比单机堆高配更稳。
爬虫VPS系统调优怎么设置?从内核参数到运行环境
文件描述符与进程数:先别让爬虫被“too many open files”卡住
操作路径很固定:
- 查看当前限制:
ulimit -n - 永久修改:在
/etc/security/limits.conf加入soft nofile 65535、hard nofile 65535 - systemd托管的爬虫再加一层:
systemctl edit crawler.service,写入LimitNOFILE=65535 - 内核上限:
/etc/sysctl.d/99-crawler.conf写入fs.file-max = 2097152 - 生效:
sysctl --system
只改limits.conf,systemd服务可能不生效,这是很常见的坑,要在unit里写LimitNOFILE,再用 systemctl show crawler.service -p LimitNOFILE 验证。
TCP连接回收与端口复用:高并发短连接的关键
把参数写进 /etc/sysctl.d/99-crawler.conf:
net.ipv4.ip_local_port_range = 10240 65000 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_fin_timeout = 30 net.core.somaxconn = 1024 net.ipv4.tcp_max_syn_backlog = 2048 net.netfilter.nf_conntrack_max = 262144
tcp_tw_reuse=1对爬虫这种客户端角色比较友好,能复用出站短连接。- 不要开
tcp_tw_recycle,新内核已移除,老内核在NAT环境开它容易出怪问题。 - 代理池场景要同步看conntrack表,
conntrack -C接近上限就调nf_conntrack_max。 - 端口范围别和本机服务冲突,数据库、Redis端口段避开。
内存与磁盘:别让日志和缓存把VPS拖垮
vm.swappiness调到 10 左右,减少爬虫进程被换出。vm.dirty_ratio、vm.dirty_background_ratio按磁盘性能调,避免一次性刷脏页卡IO。- 日志用logrotate按天切,保留7天;抓取结果写独立目录,别塞系统盘。
/tmp用tmpfs时注意内存占用,下载大文件别放/tmp。- SSD上调度器用
none或mq-deadline,机械盘再考虑bfq,用lsblk -d -o name,rota看磁盘类型。
DNS与网络栈:代理切换时容易忽略的细节
/etc/resolv.conf配两个可靠DNS,别只写一个。- 高频域名解析可上本地缓存,如
systemd-resolved或dnsmasq。 - 代理软件和爬虫同机时,注意文件描述符和端口占用。
- 防火墙规则别把出站连接拦了,
iptables -L -n和nft list ruleset都查一遍。
部署爬虫VPS需要多少带宽?按目标站点和代理模式反推
带宽不是拍脑袋,先算单次请求大小,再乘并发和频率。
- 页面HTML平均几十KB到几百KB,图片和API另算。
- 并发10、每请求200KB、每秒一轮,理论出口约 2MB/s,也就是十几Mbps,还要留重试和代理开销。
- 走代理池时,流量可能翻倍,按代理链路计费的要单独算。
- 建议先买按流量计费的机器跑一周,看
vnstat或云监控的出流量,再定固定带宽,近年来不少团队把带宽买大、CPU买小,结果采集效率卡在DNS和连接回收上。
国内爬虫VPS哪家便宜?价格之外看线路和封禁策略
- 国内地域优先选目标站点同区域,延迟低,重试少。
- 便宜套餐常限制带宽峰值或流量,爬虫跑满会触发限速。
- 问清IP是否独立、能否更换、被封后处理流程。
- 站群或高并发采集别把所有任务压在一台机器,分散IP和出口更稳,据工信部公开信息,IDC和云服务合规要求趋严,选有资质服务商能减少中途下架风险。
上线后的监控与灰度:调优不是一锤子买卖
- 必看指标:
load、ss -s的TIME_WAIT、conntrack -C、文件描述符使用数、内存、磁盘IO、抓取成功率、封禁率。 - 灰度步骤:先小流量跑2小时,再扩并发;每次只改一组参数,记录变更。
- 常用命令:
ss -s、ulimit -n、cat /proc/sys/fs/file-nr、iostat -x 1、dmesg -T | tail。 - 业内专家指出,爬虫调优的收益大头在减少无效重试和连接等待,不是把参数拉到最大。
调优的终点不是一堆漂亮的内核数字,而是爬虫在目标并发下稳定跑、失败可重试、磁盘不被日志撑爆,先定负载,再改参数,最后用监控闭环,这套顺序适用于大多数VPS部署场景。
Q&A:爬虫VPS系统调优与部署常见问题
爬虫VPS需要装宝塔之类的面板吗?
看团队习惯,面板方便看日志和进程,但会占内存、开额外端口,纯爬虫机建议最小化安装,用systemd管理进程,用logrotate管日志,减少攻击面。
调大tcp_tw_reuse会不会影响代理稳定性?
它主要影响出站短连接复用,对爬虫客户端通常有利,代理链路有NAT或中间设备时,先小流量验证;如果出现连接重置,回退参数并检查conntrack和防火墙。
爬虫跑在Docker里,ulimit改了不生效怎么办?
Docker默认继承宿主机限制,但容器内要在启动参数加 --ulimit nofile=65535:65535,compose里写 ulimits.nofile.soft/hard,改完用 docker exec 进容器执行 ulimit -n 验证,看到 65535 才算生效。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/809295.html


