防蜘蛛抓取网站代码的核心在于合理配置robots.txt、使用meta robots标签以及服务器端屏蔽规则，三者结合才能有效控制百度蜘蛛的抓取范围，同时避免误伤正常收录。
为什么需要主动控制蜘蛛抓取
网站运营中并非所有页面都希望被搜索引擎索引,开发中的页面、后台管理入口、重复内容以及敏感资源，都需要对爬虫说“不”，如果不加限制，百度蜘蛛会按默认规则抓取所有可访问链接，既浪费抓取预算，也可能导致非公开内容泄露。
具体场景包括：
- 测试环境或未完工页面,防止被索引后给用户带来糟糕体验。
- 网站后台、登录页面，避免被爬虫探测到。
- 相似或重复内容（如标签聚合页、排序参数页），减少重复内容对权重的影响。
- 文件下载或图片资源,防止被直接批量抓取。
百度蜘蛛抓取规则：robots.txt 的正确写法
robots.txt 是网站与爬虫沟通的第一道防线，百度蜘蛛遵循标准的 robots 协议，通过设置 User-Agent 和 Disallow 指令，可以精确控制抓取路径。
基本语法与常见指令
- User-agent: 指定爬虫名称，针对百度蜘蛛写
User-agent: Baiduspider。 - Disallow: 禁止访问的路径，如
Disallow: /admin/表示禁止爬取 admin 目录。 - Allow: 在禁止范围内开放特定路径，如
Allow: /admin/public/。 - Sitemap: 指定站点地图路径，帮助蜘蛛发现内容。
示例：禁止百度蜘蛛抓取整个后台目录
User-agent: Baiduspider
Disallow: /admin/
Disallow: /temp/
Disallow: /private/
Sitemap: https://example.com/sitemap.xml如何针对百度蜘蛛单独设置禁止抓取
如果只想屏蔽百度蜘蛛而允许其他搜索引擎,只需在 User-agent 中指定 Baiduspider，其他爬虫（如 Googlebot）默认不受影响，行业共识认为，多数情况下 robots.txt 文件应放在网站根目录，且大小不超过 500KB。
防止蜘蛛抓取网站代码的常见错误
- 路径写错：
/admin和/admin/含义不同，前者匹配任何以 /admin 开头的路径，后者只匹配目录。 - 遗漏 User-agent：如果只写
Disallow: /而没有 User-agent，部分爬虫可能忽略。 - 大小写敏感：路径和文件名的大小写要与实际一致。
- 没有考虑 HTTPS：协议不影响规则，但需要确保 robots.txt 在 HTTPS 下可访问。
- 忽略 Sitemap：主动提交 Sitemap 能帮助蜘蛛更快了解网站结构，这在禁止抓取部分内容时尤为重要。
页面级防抓取：meta robots 标签实战
当需要控制某个具体页面是否被收录时,robots.txt 无法实现，因为后者只能阻止爬虫访问资源，但不能阻止爬虫发现该页面（如果有外部链接指向它），此时就需要 meta robots 标签。
百度不收录某个页面怎么办？用这个标签
在页面 <head> 中加入以下代码，可以明确告诉蜘蛛不要索引该页面：
<meta name="robots" content="noindex, nofollow">
noindex: 禁止搜索引擎将该页面加入索引。nofollow: 禁止爬虫跟踪页面上的链接。
如果只想禁止百度收录,而允许其他搜索引擎，可以专门针对百度蜘蛛：
<meta name="Baiduspider" content="noindex">
注意：meta robots 标签的作用是让爬虫在访问页面后不索引它，但如果爬虫无法访问该页面（比如被 robots.txt 禁止），则不会看到 meta 标签，自然也不会生效，robots.txt 和 meta 标签常配合使用：robots.txt 禁止爬取敏感目录，meta 标签用于不想被收录但允许访问的页面。
实操：什么时候用 noindex，什么时候用 robots.txt？
- 如果页面内容需要被爬虫看到（比如为了传递权重），但不想被收录，用
noindex
。
- 如果页面完全不需要被爬虫访问（比如后台文件），用 robots.txt 禁止抓取，必要时再配合服务器端屏蔽。
- 对于列表页中的分页参数（如
?page=2），可以在 robots.txt 中禁止抓取，或使用rel="canonical"和noindex组合，具体取决于策略。
服务器端屏蔽：.htaccess 与 Nginx 配置
当需要更彻底的屏蔽时,可以在服务器端根据 User-Agent 直接返回 403 或 404 状态码，这样即使爬虫忽略 robots.txt，也无法获取内容。
网站屏蔽爬虫代码的彻底方案
Apache .htaccess 示例
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Baiduspider|Bytespider) [NC]
RewriteRule . - [F]Nginx 配置示例
if ($http_user_agent ~ (Baiduspider|Bytespider) ) {
return 403;
}注意：这种方式会彻底屏蔽百度蜘蛛，适用于完全不想让百度抓取任何内容的场景，但大部分网站只需要部分屏蔽，所以更推荐在路径级别控制，或结合 location 指令只对特定目录生效。
进阶：通过 IP 段限制
业内专家指出,部分恶意爬虫会伪装成百度蜘蛛的 User-Agent，此时可以结合百度官方公布的 IP 段进行白名单验证，但百度 IP 段会动态更新，建议定期从百度搜索资源平台获取最新列表，并写入服务器防火墙规则，不过对于大多数站点，仅靠 User-Agent 屏蔽已足够。
利用百度搜索资源平台精细化管理
百度搜索资源平台（原百度站长平台）提供了一些工具，可以辅助防蜘蛛抓取。
- 死链提交：将已经删除或不想被收录的页面提交为死链，百度会较快更新索引。
- 屏蔽工具：在“搜索展现”->“屏蔽”中，可以添加不想在搜索结果中出现的 URL 模式，无需修改代码。
- 抓取异常：查看百度蜘蛛在抓取时的错误，有助于发现 robots.txt 是否配置正确，以及是否有被误杀的页面。
近年来,百度不断优化爬虫行为，对遵守 robots 协议的网站更加友好，定期检查抓取异常报告，可以及时发现并调整规则，如果发现某些页面意外被屏蔽，可以回到 robots.txt 或服务器配置中排查原因。
防蜘蛛抓取网站代码常见问题与解答
Q1: 设置了 robots.txt 后百度蜘蛛还会抓取吗？
A1: 会，robots.txt 只是请求爬虫不要抓取，对于遵守协议的爬虫（如百度蜘蛛）会遵守，但仍有部分爬虫可能会忽略，robots.txt 不能阻止其他网站链接到你的页面，百度仍可能通过外部链接发现页面，但不会抓取内容，如果希望彻底隔离，需要结合服务器端屏蔽。
Q2: meta noindex 标签和 robots.txt 冲突吗？
A2: 不冲突，但需要正确配合，如果某页面被 robots.txt 禁止抓取，蜘蛛无法访问页面，自然看不到 meta noindex 标签，因此该页面仍可能通过外部链接被收录（只是无内容），所以对于不想被收录的页面，应该先确保它们可以被爬虫访问（不禁止抓取），再使用 meta noindex 标签，或者，如果想让页面完全消失，直接禁止抓取并提交死链。
Q3: 如何检测防蜘蛛代码是否生效？
A3: 可以使用百度搜索资源平台中的“抓取诊断”工具，输入想要测试的 URL，选择百度蜘蛛类型，查看抓取结果和返回的 HTTP 状态码，如果返回 403 或 404，说明成功屏蔽；如果返回 200 但内容包含 meta noindex，说明 spider 可以访问但不会索引，通过查看网站日志，过滤百度蜘蛛的访问记录，可以确认规则是否被遵守，如果日志中仍有百度蜘蛛访问被屏蔽的路径，说明服务器端规则可能未生效，或抓取的是缓存页面。
控制蜘蛛抓取是网站优化的重要一环，合理运用 robots.txt、meta 标签和服务器配置，能够有效保护网站资源，同时不对正常收录造成负面影响。 从简单到复杂，逐步实施，并借助百度搜索资源平台验证效果，就能达到理想的防抓取状态。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/article/511033.html
