最新公告
  • 欢迎您光临IO源码网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 如何优化WordPress网站的Robots.txt 很多WordPress站长询问有关如何优化robots.txt文件以改善SEO。在本教程中,我们将介绍如何基于SEO创建一个完美的robots.txt文件。 3月 09, 2021 82 0

    很多WordPress站长询问有关如何优化robots.txt文件以改善SEO。

    Robots.txt文件用于告诉搜索引擎如何抓取网站,这使其成为功能强大的SEO工具。

    在本教程中,我们将介绍如何基于SEO创建一个完美的robots.txt文件。

    什么是robots.txt文件?

    Robots.txt是站长可以创建的文本文件,用于告诉搜索引擎蜘蛛如何抓取网站页面并将其编入索引。

    它通常存储在网站的根目录(也称为主文件夹)中。robots.txt文件的基本格式如下所示:

    User-agent: [user-agent name]
    Disallow: [URL string not to be crawled]
    User-agent: [user-agent name]
    Allow: [URL string to be crawled]
    Sitemap: [URL of your XML Sitemap]

    您可以使用多行说明来允许或禁止使用特定的URL及添加多个站点地图。如果您不禁止URL,则搜索引擎蜘蛛会默认认为其支持爬取。

    下面是一个robots.txt文件示例:

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /wp-admin/
    Sitemap: https://example.com/sitemap_index.xml

    在上面的robots.txt示例中,我们允许搜索引擎对WordPress上传文件夹中的文件进行爬取和编制索引。

    在那之后,我们不允许搜索引擎蜘蛛爬取和索引插件目录和WordPress管理目录。

    最后,还提供了XML网站地图的URL。

    WordPress网站是否需要Robots.txt文件?

    如果网站没有robots.txt文件,则搜索引擎会抓取您的网站并为其编制索引。但是,您将无法告诉搜索引擎不应该抓取哪些页面或文件夹。

    当您第一次创建博客且内容不多时,这不会产生太大影响。

    但是,随着网站的发展和内容越来越丰富,您可能希望更好地控制网站的蜘蛛爬取行为和索引方式。

    这就是为什么。

    搜索引擎蜘蛛对每个网站都有一个爬取配额。

    这意味着它们在爬网会话期间对一定数量的页面进行爬网。如果他们还没有完成对您网站上所有页面的爬取,那么他们将返回并在下一个会话中继续爬取。

    这可能会降低您的网站索引率。

    温馨提示:你可以通过安装搜索引擎蜘蛛分析插件来进一步了解各大搜索引擎蜘蛛是如何爬取你的网站。

    您可以通过禁止搜索引擎阻止其爬网不必要的页面(如WordPress管理页面,插件文件和主题文件夹)来解决此问题。

    通过禁止不必要的页面,可以节省蜘蛛爬取配额。这有助于搜索引擎在您的网站上抓取更多页面,并尽快为其建立索引。

    使用robots.txt文件的另一个很好的理由是,当您需要禁止搜索引擎将您网站上的文章或页面编入索引时。

    这不是向公众隐藏内容的最安全方法,但是它将帮助您阻止部分内容出现在搜索结果中。

    什么是理想的Robots.txt文件?

    许多流行的博客使用非常简单的robots.txt文件。它们的内容可能会有所不同,具体取决于特定站点的需求:

    User-agent: *
    Disallow:
    Sitemap: http://www.example.com/post-sitemap.xml
    Sitemap: http://www.example.com/page-sitemap.xml

    该robots.txt文件允许所有搜索引擎蜘蛛为所有内容建立索引,并为它们提供网站XML站点地图的链接。

    对于WordPress网站,我们建议在robots.txt文件中使用以下规则:

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /wp-admin/
    Disallow: /readme.html
    Disallow: /refer/
    Sitemap: http://www.example.com/post-sitemap.xml
    Sitemap: http://www.example.com/page-sitemap.xml

    告诉搜索引擎将所有WordPress图像和文件编入索引。同时,不允许搜索引擎将WordPress插件文件,WordPress管理区域,WordPress自述文件和会员链接编入索引。

    通过将站点地图添加到robots.txt文件,您可以使搜索引擎蜘蛛轻松找到您网站上的所有页面。

    既然您已经知道理想的robots.txt文件是什么样子,那么让我们看一下如何在WordPress中创建robots.txt文件。

    如何创建WordPress网站的Robots.txt?

    有两种方法可以在WordPress中创建robots.txt文件。您可以选择最适合您的方法。

    方法1:使用Smart SEO Tool来编辑Robots.txt文件

    Smart SEO Tool,是我们自主开发的WordPress SEO插件,易于使用,并附带robots.txt文件编辑支持。

    如果您尚未安装Smart SEO Tool插件,则需要安装并启用插件。

    然后可以直接在WordPress管理后台进入插件设置界面来创建和编辑robots.txt文件。

    转到“设置»Smart SEO Tool”,选择robots.txt选项标签。

    首先你需要启用“Robots.txt”,切换为蓝色来打开编辑选项。

    启用此选项后,您可以创建自定义robots.txt文件。

    插件将会下面显示默认的robots.txt文件,此版本为插件预设的默认规则(当前插件版本不支持删除默认规则,只允许添加新规则)

    这些默认规则告诉搜索引擎不要抓取您的核心WordPress文件,允许蜘蛛为所有内容建立索引,并为它们提供指向网站的XML网站地图的链接。

    现在,您可以添加自己的自定义规则,以改善针对SEO的robots.txt。

    要添加规则,可以在默认规则另起行添加,每行一条规则。你可以阅读“深入了解Robots.txt及如何规范地编写”

    温馨提示:当用插件生成管理robots.txt,请确保你的服务器根目录已经删除静态的robots.txt。否则插件所编写的robots.txt是无效的。

    完成后,请不要忘记单击“保存更改”按钮来存储您的更改。

    方法2.使用FTP手动编辑Robots.txt文件

    对于这种方法,您将需要使用FTP客户端或者宝塔控制面板来编辑robots.txt文件。

    只需使用FTP客户端连接到您的WordPress网站托管的服务器帐户即可(或者登陆WordPress服务器的宝塔面板)。

    进入服务器后,您将可以在网站的根文件夹找到robots.txt文件。

    如果没有,则可能没有robots.txt文件。在这种情况下,您需要创建一个。

    Robots.txt是纯文本文件,这意味着您可以将其下载到计算机上,并使用任何纯文本编辑器(如记事本或TextEdit)进行编辑。

    保存更改后,将其上传回网站的根文件夹。

    如何测试Robots.txt文件?

    创建robots.txt文件后,最好使用robots.txt测试工具对其进行测试。

    有很多robots.txt测试器工具,但我们建议您使用Google Search Console所提供的。

    首先,您需要将网站与Google Search Console链接。

    然后,使用Google Search Console蜘蛛测试工具。

    只需从下拉列表中选择您的网站。

    该工具将自动获取您网站的robots.txt文件,并突出显示错误和警告(如果发现)。

    最后

    优化robots.txt文件的目的是防止搜索引擎蜘蛛抓取不公开的页面。例如,您的wp-plugins文件夹中的页面或WordPress admin文件夹中的页面。

    部分SEO专家甚至建议,阻止WordPress类别,标签和存档页面将提高爬网率,并导致更快的索引编制和更高的排名。

    这不是真的。这也违反了Google网站站长指南。但,如果你的存档页面和标签页面不太重要时,倒真的可以阻止蜘蛛爬取。

    我们建议您遵循上述robots.txt格式为您的网站创建robots.txt文件。希望本教程能帮助您学习如何基于SEO优化WordPress网站robots.txt文件。

    您可能对WordPress SEO终极指南和最佳WordPress SEO插件感兴趣,以进一步提升您的网站SEO。

    1. 本站所有资源来源于用户上传和网络,因此不包含技术服务请大家谅解!如有侵权请邮件联系客服!384324621@qq.com
    2. 本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载、失效或广告,请联系客服处理,有奖励!
    3. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负!
    4. 如果您也有好的资源或教程,您可以投稿发布,成功分享后有★币奖励和额外收入!

    IO 源码网 » 如何优化WordPress网站的Robots.txt 很多WordPress站长询问有关如何优化robots.txt文件以改善SEO。在本教程中,我们将介绍如何基于SEO创建一个完美的robots.txt文件。 3月 09, 2021 82 0

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    IO源码吧
    一个高级程序员模板开发平台

    发表评论

    • 75会员总数(位)
    • 10312资源总数(个)
    • 81本周发布(个)
    • 0 今日发布(个)
    • 378稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情