如何让网站页面内容不被抓取? 五个不让网站页面内容不被抓取的技巧_企 *** 公司

访客4年前黑客资讯625

可能有的朋友会奇怪,网站的页面不是让搜索引擎抓的越多越好吗,怎么还会有怎么让网站页面内容不被抓取的想法。

  首先,一个网站可以分出去的权重是有限,哪怕是Pr10的站,也不可能无限的分权重出去。这权重包括链到别人网站的处链以及自己网站内的内链。

  外链的话,除非是想坑被链的人。否则外链都是需要让搜索引擎所抓取。这不在本文讨论范围之内。

  而内链,因为有些网站有不少重复或冗余的内容。比如一些按条件查询的搜索结果。特别是一些B2C站,在专门查询页或在所有产品页面的某个位置内,都可以按产品类型,型号,颜色,大小等进行分类搜索。这些页面虽然对浏览者来说是极大的方便,但对搜索引擎来说,这可是耗费蜘蛛极大的抓取时间,特别是网站页面较多时。同时也会分散页面权重,对SEO不利。xs问答安利

  另外网站管理登陆页面,备份页面,测试页面等等,也是站长不想让搜索引擎所收录的。

  所以就有需要让网页的某些内容,或某些页面不被搜索引擎所收录。

  下面笔者先介绍一下较为有效的几种 *** :

  1.在FLASH展示不想被收录的内容

  众所周知,搜索引擎对FLASH的内容抓取能力有限,不能完全抓取所有FLASH内的所有内容。但遗憾的是,也不能完全保证FLASH的所有内容都不会被抓取。因为谷歌和Adobe正努力的实现FLASH抓取技术。

  2.使用robos文件

  这是暂时最有效的 *** ,但有个很大的缺点。就是不传出任何的内容及链接。大家知道,在SEO来说比较健康的页面应该是有进有出的。有外链的链入,同时也页面内也需要有链到外部网站的链接,所以robots文件控制,让此页面只进不出,搜索引擎也不知道内容是什么。会把此页定为低质量页面。权重有可能受一定的惩罚。这个多用于网站管理页面,测试页面等。

  3.使用nofollow标签包裹不想被收录的内容

  这个 *** 也不能完全保证不被收录,因为这并不是严格要求遵守的标签。另外,如果有外部网站链向了有nofollow标签的页面。这样就很有可能会被搜索引擎抓取。

  4.用Meta Noindex标签加上follow标签

  这个 *** 可以做到防止收录而且还能传递出权重。要不要传递,看网站建设站长自己的需要。这个 *** 的缺点是,也是会较大的浪费蜘蛛的抓取页面时间。

  5.用robots文件的同时在页面上使用iframe标签展示需要搜索引擎收录的内容robots文件可以阻止iframe标签以外的内容被收录。所以,可以把不想收录的内容放到正常页面标签下。而想被收录的内容放在iframe标签内。

  紧接着,再说一下已经失效的 *** ,大家以后不要用这些 *** 了。

  1.使用表格

  谷歌和百度早已经能抓取表格用的内容了,无法阻止收录。

  2.使用Javascript及Ajax技术

  以现在的技术来说,Ajax和javascript现在的最终运算的结果还是以HTML的形式传给浏览器以作显示,所以这同样无法阻止收录。

标签: 好话题

相关文章

黑客能侵入个人微信吗?教你如何入侵别人微信!

【编者按】越来越多的男士闲来无事时总是会拿出手机,打开微信用摇一摇等功能与其它的女士联系。这也让自己的另一伴十分的担心,因为他们十分害怕自己的老公会找其它的人,从而让自己被抛弃。黑客能侵入个人微信吗?...

网络招嫖暗藏生活服务类平台 私信称提供有偿性服务_容器

(原标题:网络招嫖暗藏生活服务类平台 私信称提供有偿性服务) 新京报记者 李一凡 11月24日上午,一个题为《吃喝玩乐找性服务,上大众点评》的帖子引发关注,文中称“不少招嫖人员通过大众点评...

微信快速恢复微信聊天记录的方法? 不被对方察觉

这是大数据时代,有时我们发现手机已经存储了太多重要信息。 微信快速恢复微信聊天记录的方法? 1.一旦记忆出现问题,会出现各种丢失现象,聊天记录丢失如何找到呢?你有没有想过快速取回它的方法?首先,我...

"酷玩实验室"侵犯百度名誉权,被判道歉并赔偿14万_快手

网易科技讯1月3日消息,近日自媒体“酷玩实验室”侵犯百度公司名誉权一案正式宣判,北京市海淀区人民法院判决认定,“酷玩实验室”及其运营主体北京趣智阿尔法科技有限公司的相关行为已经构成了对百度公司名誉权的...

这个处处是 套路的世界,还能给我们惊喜吗_世界

这个处处是“套路”的世界,还能给我们惊喜吗图片来源:图虫创意这个处处是“套路”的世界还能给我们惊喜吗文/许崧本文首发于总第883期《中国新闻周刊》前阵子读的一本书,解答了我的一个疑问:为什么以前的汽车...

可以查询通话记录的软件(电话历史通话记录查询)

可以查询通话记录的软件(电话历史通话记录查询)

根据最新的安全报告显示,Ryuk勒索软件依然猖獗,仍然有“几个”黑客组织使用Ryuk向受害者勒索钱财。对攻击者来说,他们对货运和物流行业的IT主机似乎更为感兴趣。   Ryuk本身似乎来...