当您网站在进行SEO优化工作时,robots.txt文件是一个功能强大的工具,但应谨慎对待。它可以允许或拒绝搜索引擎访问不同的文件和文件夹,我们应该如何正确使用robots.txt文件?
如何正确使用robots.txt文件?
搜索引擎不断改进爬行方式和算法,这意味着几年前的更佳做法不再起作用,甚至可能损害您的网站。
如今,更佳做法意味着尽可能少地依赖robots.txt文件。实际上,只有在您遇到复杂的技术难题或没有其他选择时,才真正需要阻止robots.txt文件中的URL。
对于大多数网站,以下示例是更佳做法:
我们甚至在自己的robots.txt文件中使用此 *** 。
该代码的作用是什么?
该User-agent: *说明指出,以下任何说明都适用于所有的搜索引擎。
因为我们没有提供任何进一步的说明,所以我们说“所有爬网程序都可以不受限制地自由爬行该网站”。
如果您想防止搜索引擎对WordPress网站的某些部分进行爬网或编制索引,通常更好通过添加meta robots标签或robots HTTP标头来做到这一点。
在搜索结果的可见性之前,搜索引擎需要发现、爬网和索引页面。如果您已通过robots.txt阻止了某些URL,则搜索引擎将无法再通过这些页面来发现其他页面。这可能意味着关键页面不会被发现。
Robots.txt拒绝链接值
SEO的基本规则之一是来自其他页面的链接会影响您的性能。如果某个URL被阻止,不仅搜索引擎不会对其进行爬网,而且它们也可能不会将指向该URL的任何“链接值”或通过该URL分发给网站上的其他页面。
Google全面呈现您的网站
人们过去常常阻止对CSS和JavaScript文件的访问,以使搜索引擎专注于那些最重要的内容页面。
如今,Google会获取您所有的样式和JavaScript,并完全呈现您的页面。了解页面的布局和表示形式是评估质量的关键部分。因此,当您拒绝Google 访问CSS或JavaScript文件时,Google根本不喜欢它。
您(通常)不需要链接到您的站点地图
robots.txt标准支持将指向您的XML网站地图的链接添加到该文件。这有助于搜索引擎发现站点的位置和内容。
我们一直觉得这是多余的。您应该已经通过将站点地图添加到 Google Search Console和Bing网站管理员工具 帐户中来访问分析和效果数据。如果这样做,则在robots.txt文件中不需要引用。
扇贝,想必大家都熟悉,但是一部连续剧“扇贝去哪儿了”您熟悉么? 其实,这也不是一个真的连续剧,也是网友们给的一个比喻,说的是一个养殖扇贝的上市公司獐子岛,每到快收扇贝的时候,就发公告说扇贝出事了。2...
家婆在山东烟台农村种植了多亩葡萄庄园,有20很多年的栽种工作经验,商人在田里收红提,把大串的,成色好的都卖了,剩余一些小散串,家婆用于酿葡萄酒,在山东烟台,许许多多的红酒小作坊许多,种植葡萄的农户...
2020年10月26日,青葱新媒体sleeso邓小林团队,荣获“实力王者 冠军之师”荣誉称号。 邓小林 邓小林表示,“实力王者 冠军之师”由青葱新媒体sleeso...
曳怎么读?曳是什么意思?曳的词语出处也是那里?很多人在生活、学习中遇到“曳”这个词,大家都不知道怎么读这个生僻字。你想知道这些有趣的生僻字怎么读吗?豪友网专门精心整理了生僻字怎么读相关的内容,为你释疑...
最近玩王者荣耀的玩家都在问,游戏里面的阿古朵头像框小小朵怎么得?这个头像框是最近开启的阿古朵试炼活动的奖励,本周阿古朵这个新英雄就要上线了,小编我特意整理了相关的资讯,下面就是蚕豆网小编带来的王者荣耀...
魅蓝E2如何备份微信聊天记录?魅蓝E2作为今年发布的一...