遭遇异常流量时,区分正常访问与恶意请求的核心方法是看行为模式与资源消耗的匹配度,而不是单看流量峰值。 正常访问通常有明确来源、合理频率和业务路径;恶意请求则集中在高价值接口、频率异常、来源分散或伪装,换句话说,网站遭遇异常流量如何区分正常访问与恶意请求,答案不在“流量大不大”,而在“请求像不像真人、像不像正常业务”。
正常访问和恶意请求的区别有哪些?先看四个维度
流量曲线突然竖起来,先别急着封IP,把请求放进下面四个维度里对照,比拍脑袋可靠。
请求频率与时间分布
正常用户会停顿、翻页、思考,请求间隔有起伏,恶意请求往往固定间隔、高频重复,像机器按节拍器发车。
- 看同一IP在1分钟内的请求数是否远超业务均值。
- 看请求间隔方差:正常访问的间隔方差大,脚本请求的间隔方差小。
- 看夜间低谷期是否出现与白天持平的请求量。
可执行命令:awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -20,先找TOP IP,再结合时间字段看分布。
访问路径与业务逻辑
正常访问路径发散,会经过首页、列表页、详情页;恶意请求常集中登录、查询、下单、价格接口等高价值路径。
- 同一IP每秒请求同一商品接口,基本可判定异常。
- 只请求API不加载静态资源,缺少正常页面浏览链路。
- 请求参数规律性强,例如连续遍历ID或固定分页。
来源特征与用户代理
单看IP不够,业内专家指出,要结合UA、Cookie、TLS指纹和请求头完整性综合判断,正常用户UA完整、Cookie有会话痕迹;恶意请求可能UA为空、伪造主流浏览器UA,或来自代理池和数据中心IP段。
资源消耗与响应状态
行业共识认为,资源消耗与业务价值不匹配是关键信号,正常请求以2xx为主,资源消耗随业务量波动;恶意请求可能触发大量4xx/5xx,数据库连接数飙升,但加购率、下单率几乎为零。
| 维度 | 正常访问特征 | 恶意请求特征 | 判断权重 |
|---|---|---|---|
| 请求频率 | 有起伏、有停顿 | 高频、固定间隔 | 高 |
| 访问路径 | 分散、有导航链路 | 集中热门接口 | 高 |
| 来源特征 | IP分散、归属地合理 | 代理池、数据中心IP | 中 |
| 资源消耗 | 与业务量匹配 | 高CPU/DB连接、低转化 | 高 |
| 响应状态 | 2xx为主 | 4xx/5xx比例异常 | 中 |
电商大促期间如何识别恶意爬虫流量?三步排查法
大促时真实流量本来就高,爬虫容易藏在峰值里,按三步走,先找异常再处置。
第一步:拉取最近一小时访问日志
登录服务器,进入Nginx日志目录,通常是/var/log/nginx/access.log,执行:
awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -20
看TOP IP请求数是否远超平时均值,如果某个IP一小时请求量是正常用户的几十倍,先标记。
第二步:按IP和接口聚合分析
执行:
awk '{print $1,$7}' access.log | sort | uniq -c | sort -nr | head -50
观察同一IP是否集中请求商品详情、价格、库存接口,正常用户不会每秒请求同一API,再看同一接口的请求来源是否高度集中,接口集中度是重要信号。
第三步:验证人机特征与业务指标
- 检查UA是否为空、Cookie是否缺失、请求头顺序是否异常。
- 对比加购率、下单率:恶意爬虫流量大,但转化率接近零。
- 对可疑路径临时开验证码,观察通过率;通过率极低说明机器特征明显。
- 不要误杀正常比价用户,先限流观察,再决定是否封禁。
服务器被恶意请求攻击怎么办?从限流到清洗的处置路径
如果已经出现服务变慢、数据库连接打满,按“先保业务、再分析、后处置”的顺序操作。
临时限流与黑名单
Nginx可先加限流规则:
limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s;
在location中启用:
limit_req zone=one burst=20 nodelay;
对确认恶意的IP段可临时封禁:deny 192.0.2.0/24;,注意先小范围验证,避免误伤正常用户。
规则过滤与验证码
- WAF拦截空UA、异常Referer、高频同参数请求。
- 验证码只对可疑路径开启,不要全站弹验证。
- 先观察请求模式,再写规则;规则越具体,误杀越少。
流量清洗服务价格怎么算?按带宽和清洗能力评估
流量清洗服务价格通常由保底带宽、弹性峰值、清洗能力(如CC防护)决定,不同云厂商差异较大,建议按业务峰值带宽和清洗节点询价,北京地区网站异常流量处理时,可优先选择本地清洗节点,降低延迟,价格敏感的小站点,可先用云厂商按量清洗或免费额度做过渡。
区分正常访问与恶意请求,最终靠日志、行为特征和业务指标交叉验证。永远不要只凭流量峰值做封禁决策,先限流、再分析、后处置,才能既保住业务又挡住恶意请求。
遭遇异常流量时区分正常访问与恶意请求的Q&A
CDN日志里大量404,是不是恶意请求?
不一定,正常用户访问失效链接、爬虫探测都会产生404,看404是否集中在同一路径、同一IP段,是否伴随高频请求,结合2xx比例和业务转化判断,单看404数量容易误判。
小网站没有WAF,怎么低成本区分?
先用Nginx日志和百度统计异常流量排查方法交叉验证,看TOP IP、TOP URL、响应码分布,设置简单限流和空UA拦截,预算有限可先用云厂商免费额度或按量清洗,再根据攻击频率决定是否上WAF。
正常访问和恶意请求的区别有哪些量化指标?
可看请求频率方差、同一IP请求接口集中度、4xx/5xx比例、转化率,恶意请求往往频率方差小、接口集中度高、转化率接近零,这些指标需要结合业务基线设定阈值,不能直接套用固定数值。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/804129.html


