许多建站系统，在建成网站后，都网站根目次，默认有robots.txt协议文件。在网站优化竞争日益加剧的本日，原本设立之初无优化因素的robots.txt文件也被更大化利用，把握其写法，有备无患。 一：robots.txt […]

许多建站系统，在建成网站后，都网站根目次，默认有robots.txt协议文件。在网站优化竞争日益加剧的本日，原本设立之初无优化因素的robots.txt文件也被更大化利用，把握其写法，有备无患。

一：robots.txt协议文件有什么用？

搜索引擎会见一个网站的时候，更先会见的文件就是robots.txt。她汇报搜索引擎蜘蛛，哪些网站页面可以被抓取，哪些克制抓取。外貌来看，这个成果浸染有限。从搜索引擎优化的角度来看，可以通过屏蔽页面，到达会合权重的浸染，这，也是优化人员最为垂青的处所。

以某seo站点为例，其robots.txt文件如图所示：

二：网站配置robots.txt的几个原因。

1：配置会见权限掩护网站安详。

2：克制搜索引擎爬取无效页面，会合权值到主要页面。

三：怎么用尺度写法书写协议？

有几个观念需把握。

User-agent暗示界说哪个搜索引擎，如User-agent：Baiduspider，界说百度蜘蛛。

Disallow暗示克制会见。

Allow暗示运行会见。

通过以上三个呼吁，可以组合多种写法，答允哪个搜索引擎会见或克制哪个页面。

四：robots.txt文件放在哪里？

此文件需安排在网站的根目次，且对字母巨细有限制，文件名必需为小写字母。所有的呼吁之一个字母需大写，其余的小写。且呼吁之后要有一个英文字符空格。

五：哪些时候需要利用该协议。

1：无用页面，许多网站都有接洽我们，用户协议等页面，这些页面相对付搜索引擎优化来讲，浸染不大，此时需要利用Disallow呼吁克制这些页面被搜索引擎抓取。

2：动态页面，企业范例站点屏蔽动态页面，有利于网站安详。且多个网址会见同一页面，会造成权重分手。因此，一般环境下，屏蔽动态页面，保存静态或伪静态页面。

3：网站靠山页面，网站靠山也可以归类于无用页面，克制收录有百益而无一害。

来历：robots.txt协议

当前位置：seo教程 » SEO优化技能 »

本文地点：https://www.xminseo.com/2446.html

or分享 (0)