什么是robots.txt？搜索引擎爬虫的 “访问规则指南”

robots.txt是存于网站根目录的文本文件，核心作用是通过特定语法告知搜索引擎爬虫可访问或需忽略的页面/目录，帮助优化爬行效率、节省爬行预算。它并非安全工具，无法阻止恶意访问，配置时需注意语法规范与爬虫兼容性，避免泄露敏感信息。

一、robots.txt的核心定义：爬虫的“入门导航规则”

robots.txt是网站根目录下的纯文本文件，专门用于与搜索引擎爬虫（如Googlebot、百度蜘蛛）沟通。它通过明确的规则，告知爬虫网站中哪些页面、目录允许爬行，哪些需要回避，是指导爬虫高效工作的核心配置文件，也是技术SEO的基础环节。

二、robots.txt的4大核心基本语法

robots.txt通过简单固定的语法定义规则，核心指令包括：

1. User-agent：指定适用爬虫

用于明确规则针对的搜索引擎爬虫，是每条规则的开头。使用“*”表示规则适用于所有爬虫；也可指定具体爬虫名称（如Googlebot、Bingbot），仅对该爬虫生效。

2. Disallow：禁止访问指令

定义爬虫不允许访问的页面或目录，路径需从网站根目录开始写。例如“Disallow: /admin/”表示禁止爬虫访问/admin目录及其下所有内容；“Disallow: /”则表示禁止爬虫访问网站所有页面（极少使用）。

3. Allow：允许访问指令

用于覆盖父目录的Disallow规则，明确指定爬虫可访问的页面或目录。例如父目录“/data/”被Disallow，但“/data/public/”需允许访问，可通过“Allow: /data/public/”实现。

4. Sitemap：指定网站地图位置

用于告知爬虫网站地图（Sitemap）的URL地址，帮助爬虫快速找到网站地图，提升索引效率。语法格式为“Sitemap: 网站地图完整URL”，可在文件末尾添加。

三、robots.txt的3个实用配置示例

结合常见场景，以下示例可直接参考配置：

1. 禁止所有爬虫访问特定目录

需阻止所有爬虫访问后台管理目录（/admin/）和私人数据目录（/private/），配置如下：

User-agent: *Disallow: /admin/Disallow: /private/

2. 允许特定爬虫访问指定目录

禁止所有爬虫访问/images/目录，但允许Googlebot访问，配置如下：

User-agent: *Disallow: /images/User-agent: GooglebotAllow: /images/

3. 指定网站地图位置

在规则末尾添加网站地图地址，帮助爬虫快速识别，配置如下：

User-agent: *Disallow: /admin/Sitemap: https://example.com/sitemap.xml

四、使用robots.txt的6大核心注意事项

配置robots.txt需规避常见误区，否则可能影响爬虫爬行与索引：

1. 并非安全防护工具

robots.txt仅为“君子协定”，仅对遵守规则的搜索引擎爬虫有效，无法阻止恶意爬虫、黑客或有意图的用户访问被Disallow的内容，不能用于隐藏敏感信息（如用户数据、隐私内容）。

2. 路径大小写敏感

大多数服务器（如Linux服务器）对URL路径的大小写敏感，例如“Disallow: /Admin/”与“Disallow: /admin/”是两条不同规则，需确保路径与网站实际目录大小写完全一致。

3. 规则匹配URL开头

Disallow规则采用“前缀匹配”，只要URL以规则中的路径开头即生效。例如“Disallow: /page”会禁止访问“/page1”“/page/abc”等所有以“/page”开头的URL，需精准设置路径。

4. 子目录默认继承父目录规则

若Disallow某个父目录，其下所有子目录会默认被禁止访问。例如“Disallow: /data/”会同时禁止“/data/abc/”“/data/def/”等所有子目录，无需单独配置。

5. 不同爬虫可能有差异

部分小众搜索引擎的爬虫可能对规则解释存在差异，核心规则（如User-agent、Disallow）需遵循通用标准，避免使用特殊语法，确保主流爬虫都能正确识别。

6. 需测试规则有效性

配置完成后，建议使用Google Search Console的“robots.txt测试工具”或百度搜索资源平台的相关工具，验证规则是否生效，检查是否存在误禁止核心页面的情况。

五、robots.txt的核心SEO价值

正确配置robots.txt的核心价值的是“优化爬行效率、节省爬行预算”：通过禁止爬虫访问无价值页面（如后台页面、重复内容页、测试页），让爬虫将有限的爬行资源集中在核心页面（如产品页、文章页），提升核心内容的索引速度与覆盖率，为SEO排名打下基础。