robots.txt编写指南：从规则到实战的完整教程

📍 WDQWDWQD987AAAAA:216.73.216.159
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7add39d5b8cb.html
📄

robots.txt 是网站与搜索引擎爬虫之间的“君子协定”，正确编写能有效引导抓取、保护敏感路径。本文将从基础语法到实战技巧，系统讲解 robots.txt 编写方法。

一、robots.txt 基本结构

一个标准的 robots.txt 文件由若干条规则组成，每条规则包含 User-agent、Allow、Disallow 和 Sitemap 等指令。其中 User-agent 指定规则适用的爬虫名称，Disallow 禁止抓取指定路径，Allow 允许抓取，Sitemap 则声明站点地图位置。

二、核心指令与匹配规则

• User-agent：指定爬虫，* 表示所有爬虫。
• Disallow：禁止抓取的路径，留空表示允许全部。
• Allow：允许抓取的路径，优先级高于 Disallow。
• Sitemap：声明站点地图 URL，便于爬虫发现。

路径支持通配符 * 和结尾 $，例如 Disallow: /*.pdf$ 可禁止所有 PDF 文件。注意规则按最长匹配优先，Allow 与 Disallow 长度相同时 Allow 优先。

三、编写步骤与注意事项

1. 确定需要保护的目录，如后台、临时文件、搜索结果页。
2. 为不同爬虫设置差异化规则，避免误伤重要爬虫。
3. 使用 Sitemap 指令提交站点地图。
4. 测试规则：通过搜索引擎工具或在线校验器验证。

重要提醒：robots.txt 不能阻止页面被索引，敏感内容应使用密码保护或 noindex 标签。同时，不要阻止 CSS/JS 文件，以免影响渲染。

四、常见误区

许多站长误以为 Disallow: / 能完全屏蔽网站，实际上它只阻止抓取，不阻止索引。另外，规则中的路径区分大小写，应确保与服务器一致。最后，定期检查 robots.txt 是否被意外修改，避免影响 SEO 表现。

掌握以上要点，你就能编写出既安全又对搜索引擎友好的 robots.txt 文件。