John Mueller最近就如何阻止robots.txt和站点地图文件在搜索结果中建立索引提供了一些建议。
Robots.txt文件被谷歌索引,怎么办
Gary Illyes的一条推文提示了这一建议,他随机指出,从技术上讲,robots.txt可以像其他任何URL一样被索引。尽管它为爬网提供了特殊的指导,但没有什么可以阻止它被索引的。
这是Illyes的完整推文:
“被一个内部问题触发:从索引的角度来看,robots.txt只是一个可以对其内容进行索引的url。就像任何其他URL一样,它可以变为规范或可以重复数据删除。
它仅具有爬网的特殊含义,但那里的索引状态根本不重要。”
作为对Google同事的回应,Mueller 说 x-robots-tag HTTP标头可用于阻止robots.txt或站点地图文件的索引编制。然而,这并不是他所要说的全部,因为可以说这是关键所在:
“此外,如果您的robots.txt或站点地图文件针对常规查询(而非站点:)进行排名,则通常表明您的站点确实状况不佳,应予以改善。”
因此,如果您遇到了robots.txt文件在搜索结果中排名的问题,那么使用x-robots-tag HTTP标头阻止它是一个不错的短期解决方案。但是,如果发生这种情况,那么从长远来看,可能会有更大的问题需要解决,正如Mueller建议的那样。
年末将至,上调最低工资标准的省份又有增加。11月份,河北、辽宁开始执行新的最低工资标准。福建省人社厅近日也印发通知,决定从2020年1月1日起,调整全省各地最低工资标准。 最低工资标准被视为一项“兜...
. 有些宝宝在吃完母乳以后会出现拉肚子的情况,很多妈咪就认为是母乳性腹泻了,其实母乳性腹泻儿也是有一定的特点的,母乳性腹泻也并不需要断奶,那么,什么情况下要考虑是其他因素引起的腹泻呢?接下来友谊长存...
首先物质分为纯净物和混合物。纯净物指的是组成单一的物质,如水、氧气等,而混合物的组成是多种,如溶液、胶体、空气、水泥、沙土等。纯净物又分为单质和化合物,组成物质的元素是单一的物质称为单质,而化合物的组...
上行带宽和下行带宽各是什么意思? 上行带宽即上行速率,一般是指从你的电脑上传速度,别人从你的电脑进行通讯的速率。 下行带宽即下行速率,下行带宽即下行速率是指网络向用户电脑发送信息时的传输速率,...
本文导读目录: 1、我的电脑被黑客设了密码 我打不开怎么办。。。。 2、我在电脑被黑客控制说改了开机密码,现在电脑打不开有什么方法可以开,打开电脑。 3、电脑被黑客黑了,弄上了密码打不开...
描写小伙伴的作文(描写我的小伙伴作文) 难忘的小伙伴 我上幼儿园时的小朋友有些已经记不起来了,可是有一个小伙伴的名字却深深的留在了我的脑子里,她就是金阳。 金阳是少有百思特网的几个住宿的孩子之中...