当你开启一个全新站点的时候,默认的情况下网站根目录中是没有网站robots.txt文件的,这导致很多站长并不关心网站robots.txt协议,这为日后的运营,埋下隐患,比如:
(1)产生大量重复页面,动态链接被抓取。
(2)新站无内容栏目,被收录,影响站点质量评定。
对于新站而言,由于蜘蛛抓取频率有限,我们应该合理利用robos协议,巧用网站robots.txt文件,引导蜘蛛爬行与抓取。
1、网站robots.txt协议
简单理解:网站robots.txt协议是搜索引擎蜘蛛爬行的一种标准,当蜘蛛来访的时候会首先检测网站根目录下是否存在网站robots.txt这个文件。
如果存在,它会根据网站robots.txt协议的规定,去抓取只被SEO管理允许抓取的页面,而屏蔽不需要抓取的内容,它可以理解为是蜘蛛与站点之间的桥梁。
2、网站robots.txt文件样式
网站robots.txt通常存放在网站跟目录,你可以登录FTP查看站点跟目录下是否存在这个文件,如果没有可以自行创建,当robotx.txt为空的时候,它代表不为网站做任何的抓取限制。
通常网站robots.txt的写法如下:
User-agent:*
Allow:/
它表示允许抓取所有的内容,而将Allow:/替换成Disallow:/则表示禁止抓取站点所有内容。
其中值得注意的是,百度支持使用通配符"*"和"$"来模糊匹配UrL,具体关于网站robots.txt文件的相关设置,你可以参考百度官方文档,百度搜索资源平台->网站支持->数据监控->网站robots.txt。
同时,当你修改了相关网站robots.txt文件,而并不清楚是否设置正确的时候,也可以通过上述工具进行检测。
3、网站robots.txt常见问题
(1)如何生成网站robots.txt文件
目前线上平台有很多SEO推广软件,都支持客户端自动生成网站robots.txt文件,它提供了一些便利的条件,比如:自动屏蔽一些没必要的爬虫,避免浪费过多资源,以及相关栏目页面与图片等。
(2)网站不收录,熊掌号不出数据
通常出现这个问题,你可以之一时间查看网站robots.txt文件,是否由于操作失误,屏蔽了百度蜘蛛,导致网站不收录
(3)网站robots.txt与nofollow标签
有的时候当你试图屏蔽一个UrL的时候,明明在网站robots.txt禁止抓取了,仍然会被索引,这种情况是可能存在的,为了安全起见,你可以在<meta>标签中,添加nofollow,来达到万无一失的作用。
网站robots.txt文件是一个值得站长研究的协议,它合理的调配网站资源,有利于站点运营的快速发展。
裸奔式营销推广,就是无品牌,无背书,无资源,裸地只剩产品服务可讲的三无营销推广方式。 除非你的产品服务优秀到古往今来独此一个,否则,激烈的市场竞争,同行们分分钟教你做人。 那么该如...
黑链接一直以来都是SEO优化人员讨论的话题,在SEO优化早期,特别是网络安全意识淡薄的时代,曾被广泛应用,但随着百度算法不断的升级与调整,黑链接的使用,逐渐在减少。 黑链是什么?黑链和...
对于网站留言板而言,在网站建设的过程中,是一个经常被忽略的一个小细节,很少有专业的SEO优化人员关注网站留言板设计,甚至并不关心这个功能。而在实际运营的过程中,我们发现合理的善用网站在线网站留言板...
任何一个网站网址上线,我们要做的第一件事儿,就是网站网址百度收录提交,通过网站网址百度收录入口,尝试让百度优先抓取与百度收录网站网址。百度官方在这方面,提供了多种渠道百度收录网站网址,扶植新网站网...
今天摸索网小编为大家介绍书签是什么?书签的作用有哪些? 书签是为方便阅读而用硬纸等制作用来夹在书里标记读书进度的物件,画面随意,取材广泛,哪怕是一张用过的火车票、飞机票都可以当作书签。书签...
如果你在互联网行业工作,可能经常会问及:SEO优化是什么意思,这是一个被热议的话题,相信每个SEO优化从业者,都会有不同的解读。 SEO优化是什么? 简单理解:SEO优化实际上...