适用于WordPress的Robots.txt协议规则 优化搜索引擎爬虫访问

前言

　　创建和管理WordPress站点，robots.txt是关键的工具，可以控制搜索引擎爬虫在网站抓取哪些页面和不能抓取哪些页面，优化搜索引擎爬虫的访问对提高网站的可见性和排名至关重要。

使用方法

一、复制以下内容（此规则是WordPress站点通用）。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php
Disallow: /*?*

Sitemap: https://域名/wp-sitemap-posts-post-1.xml

二、在网站根目录创建名为robots.txt的文本文件，把以上内容粘贴到robots.txt文件内，再把内容的最后一条的“域名”修改成自己网站的域名并保存文件。

三、访问网址：https://域名/robots.txt，检查内容是否正确。

四、robots.txt内容最后一行的Sitemap，是WordPress内置Sitemap（站点地图）生成工具，此功能开关位置：进入WordPress后台 > 设置 > 阅读 > 对搜索引擎的可见性

建议：WordPress已内置Sitemap站点地图生成工具，没必要额外安装第三方的生成Sitemap站点地图插件。

可选附加规则

一、部分主题内置前端用户中心功能，用户中心的链接例如：https://域名/user/，不想被搜索引擎抓取，把/user/添加到robots.txt，规则如下。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php
Disallow: /*?*
Disallow: /user/

Sitemap: https://域名/wp-sitemap-posts-post-1.xml

二、部分主题和SEO相关优化插件，有外链转内链的功能，把文章内容里的外链（非本站域名的链接）转换成内链，例如：https://域名/?go=xxxxxxxxx，建议添加到robots.txt，规则如下。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php
Disallow: /*?*
Disallow: /user/
Disallow: /?go=

Sitemap: https://域名/wp-sitemap-posts-post-1.xml