网站防爬虫代码设置

防蜘蛛抓取网站代码的核心在于合理配置robots.txt、使用meta robots标签以及服务器端屏蔽规则，三者结合才能有效控制百度蜘蛛的抓取范围，同时避免误伤正常收录，为什么需要主动控制蜘蛛抓取网站运营中并非所有页面都希望被搜索引擎索引,开发中的页面、后台管理入口、重复内容以及敏感资源，都需要对爬虫说“不……