John Mueller最近就如何阻止robots.txt和站点地图文件在搜索结果中建立索引提供了一些建议。
Robots.txt文件被谷歌索引,怎么办
Gary Illyes的一条推文提示了这一建议,他随机指出,从技术上讲,robots.txt可以像其他任何URL一样被索引。尽管它为爬网提供了特殊的指导,但没有什么可以阻止它被索引的。
这是Illyes的完整推文:
“被一个内部问题触发:从索引的角度来看,robots.txt只是一个可以对其内容进行索引的url。就像任何其他URL一样,它可以变为规范或可以重复数据删除。
它仅具有爬网的特殊含义,但那里的索引状态根本不重要。”
作为对Google同事的回应,Mueller 说 x-robots-tag HTTP标头可用于阻止robots.txt或站点地图文件的索引编制。然而,这并不是他所要说的全部,因为可以说这是关键所在:
“此外,如果您的robots.txt或站点地图文件针对常规查询(而非站点:)进行排名,则通常表明您的站点确实状况不佳,应予以改善。”
因此,如果您遇到了robots.txt文件在搜索结果中排名的问题,那么使用x-robots-tag HTTP标头阻止它是一个不错的短期解决方案。但是,如果发生这种情况,那么从长远来看,可能会有更大的问题需要解决,正如Mueller建议的那样。
合生米奶粉沃蓝婴儿奶粉好吃吗,小孩会喜欢吃合生米奶粉沃蓝婴儿奶粉吗,吃合生米奶粉沃蓝婴儿奶粉是否会严重便秘呢,那麼到底这款婴儿奶粉怎么样呢,我就产生有关的使用评测吧。 商品总体 这款奶粉宝宝喝...
微信内容删除后找黑客能查出来吗相关问题 黑客可以进去一个群吗相关问题 黑客怎么进入互联网 有对方身份证号码怎么找人(身份证号码找人软件) 黑客怎么窃取股票资源 手机破解WI...
本文目录一览: 1、华为手机怎么远程守护孩子vivo手机 2、如何远程控制孩子的手机 3、oppo手机怎么远程控制孩子玩手机 华为手机怎么远程守护孩子vivo手机 以下是vivo手机设置设置...
本文导读目录: 1、元宇宙游戏毁了多少孩子? 2、周杰伦持有的NFT被盗并倒卖,它是如何被黑客盗走的? 3、周杰伦账户价值300万元NFT被盗,如何才能将“黑客”绳之以法? 4、周杰伦30...
盗墓笔记什么时候更新?电视剧盗墓笔记一周更新几集?爱奇艺自制剧盗墓笔记深受网友关注,盗墓笔记什么时候更新?盗墓笔记更新时间引发网友热搜,据悉,电视剧盗墓笔记一周更新2集,盗墓笔记更新的时间是每周五20...
C919的退出,让中国人极其自豪。 今日,安装着三代国家航空人理想的C919宣布退出。它是继“运-10”飞机场后,第二架我国自主研发的大客机,共用时七年時间。 C919归属于多通道窄体民航客机,混...