反爬虫规则配置

针对Hadoop MapReduce这类分布式爬虫，传统的IP频率限制已失效，必须采用基于行为特征、Cookie验证、JavaScript挑战等多层防护规则才能有效防御，这类爬虫利用分布式计算框架将请求分散到大量节点，每个IP的访问量极低，但整体速率可压垮小型站点,配置精准的反爬虫防护规则成为网站运营者的必修课……