robots.txt 是指导搜索引擎抓取网站的重要文件，可以控制哪些内容允许被收录。对于 WordPress 用户，使用 Yoast SEO 插件可以轻松管理这个文件。本文会介绍 robots.txt 的作用、基本规则，以及如何用 Yoast SEO 进行设置。
一、什么是 Robots.txt 文件？
Robots.txt 是位于网站根目录的纯文本文件，用来指导搜索引擎蜘蛛（如 Googlebot、Bingbot）抓取或跳过特定内容。
例如：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
这段代码的含义是：禁止所有搜索引擎访问 /wp-admin/ 目录，但允许抓取 AJAX 接口。
二、为什么要设置 Robots.txt？
设置得当的 Robots.txt 文件可以帮助你：
阻止无意义或重复内容被收录（如后台、分类页、标签页）
保护敏感页面不被索引
引导搜索引擎将抓取资源集中在高价值的页面
例如，WooCommerce 商店常常会屏蔽 /cart/、/checkout/ 等功能页，来避免因低内容质量而拖累 SEO 表现。
三、如何使用 Yoast SEO 插件查看 Robots.txt 文件？
Yoast SEO 插件为 WordPress 提供了内置的 Robots.txt 文件查看和编辑功能，无需手动进入主机或 FTP。
步骤如下：
登录 WordPress 后台
进入菜单：Yoast SEO → 工具（Tools）
点击【文件编辑器】（File Editor）
如果你的网站允许编辑，页面中会显示当前的 Robots.txt 内容
如果还没有该文件，Yoast SEO 会提供“一键创建”按钮，自动在网站根目录生成 robots.txt。
四、如何修改 Robots.txt 文件？
在【文件编辑器】页面中，你可以直接编辑 Robots.txt 内容，例如：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /tag/
Disallow: /author/
Sitemap: https://yourdomain.com/sitemap_index.xml
完成编辑后，点击【保存更改】按钮，就可以更新 robots.txt 文件。
五、常见 Robots.txt 配置示例
标准配置（适合大多数 WordPress 网站）：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /tag/
Disallow: /author/
Sitemap: https://yourdomain.com/sitemap_index.xml
增强隐私性配置：
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /checkout/
Disallow: /cart/
注意：不要屏蔽以下内容，否则会影响页面展示效果
Disallow: /wp-content/themes/
Disallow: /wp-content/plugins/
这样会让搜索引擎无法加载 CSS/JS，从而影响移动端可用性评分。
六、验证 Robots.txt 是否生效
完成设置后，可以通过浏览器访问：
https://yourdomain.com/robots.txt
确保内容与 Yoast 编辑器中保持一致。同时推荐使用以下工具进行检测：
Google Search Console → 检查网址工具
Screaming Frog SEO Spider
Ahrefs Site Audit 工具
七、总结与建议
Robots.txt 文件虽小，却对 SEO 策略起着大作用。通过 Yoast SEO 插件，不用进入服务器就可以轻松管理这一关键文件。建议你定期检查并更新 Robots.txt，确保搜索引擎抓取策略与网站结构和营销目标保持一致。
建议做法：
屏蔽低质量、重复或隐私页面
保留 Sitemap 地址，利于索引
避免阻止 CSS/JS 文件加载