在做网站优化时，Robots.txt 常常被忽略。但对 WordPress 网站来说，这个小文件就像守门员，决定搜索引擎能看到哪些内容。如果配置得当，文章、产品页面会更快被收录；如果配置错误，甚至可能让整个站点消失在搜索结果里。
什么是 Robots.txt？
Robots.txt 是一个放在网站根目录下的文本文件。搜索引擎的蜘蛛在进入网站前，会先查看这个文件，然后根据里面的规则决定能不能访问某些目录。它并不会删除页面，而是告诉搜索引擎“要看什么，不要看什么”。
举个例子：
你想让文章和分类页被收录，就要开放它们。
你不希望后台或插件文件被抓取，就可以禁止访问。
WordPress 默认情况
安装 WordPress 后，如果没有手动添加 Robots.txt，搜索引擎会尝试抓取所有内容。这样虽然不会影响基本收录，但问题是：
会浪费抓取资源在无用的文件上。
一些后台或插件路径可能被收录，没有意义。
标签页等重复页面会占用索引空间，影响主内容的权重。
所以，合理配置很有必要。
为什么需要配置 Robots.txt？
节省资源：搜索引擎不会浪费时间抓取无关页面。
突出重点：文章页、分类页、产品页更容易被关注。
保护隐私：避免后台和系统文件暴露。
提高收录速度：配合 Sitemap，能更快让新内容出现。
常见的 WordPress Robots.txt 示例
下面是一个常见的基础配置：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /readme.html
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap_index.xml
规则说明
User-agent: *：代表对所有搜索引擎生效。
Disallow：禁止访问的目录。
Allow：允许访问的文件。
Sitemap：告诉搜索引擎网站地图的位置。
不同类型网站的配置重点
1. 博客网站
重点在文章和分类目录，标签页可以屏蔽：
Disallow: /tag/
2. 电商网站
应保护好商品和分类页面，屏蔽购物车等：
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
3. 企业展示网站
内容较少，可以只屏蔽后台和系统文件，保持简单即可。
Sitemap 的作用
在 Robots.txt 文件里加入 Sitemap 地址，可以让搜索引擎更快找到网站重要页面。比如：
Sitemap: https://www.example.com/sitemap.xml
这样文章、分类、产品页都会被优先抓取。
常见错误
屏蔽过多目录：误把 /wp-content/ 整个目录屏蔽，图片无法收录。
忘记添加 Sitemap：导致新内容收录慢。
路径写错：WordPress 区分大小写，输入要正确。
未更新：新增插件或改版后要及时检查。
如何检查 Robots.txt 是否有效？
打开浏览器，在地址栏输入：
https://你的域名/robots.txt
能正常显示说明文件已生效。你也可以在 Google Search Console 里测试抓取规则，看是否有问题。
使用 SEO 插件设置（推荐新手）
最方便的方法是用 WordPress 的 SEO 插件，比如：
Yoast SEO
这类插件自带 Robots.txt 编辑功能，不用登录服务器。
操作步骤（以 Rank Math 为例）：
登录 WordPress 后台 → Rank Math → 常规设置 → 编辑 robots.txt
在编辑框里输入规则（比如前面所说的示例）。
保存设置，文件就会自动生成并生效。
总结
Robots.txt 看似简单，却直接关系到 WordPress 网站的收录情况。一个合理的配置，能让搜索引擎快速找到有价值的内容，减少无效抓取。