24小时接单的黑客qq群(24小时接单的黑客

访客3年前关于黑客接单649

之一种、robots.txt ***

搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件放至网站根目录下,编辑代码如下:

User-agent: *
Disallow: /

通过以上代码,即可告诉搜索引擎不要抓取采取收录本网站,注意慎用如上代码:这将禁止所有搜索引擎访问网站的任何部分。

如何只禁止百度搜索引擎收录抓取网页

1、编辑robots.txt文件,设计标记为:

User-agent: Baiduspider
Disallow: /

以上robots文件将实现禁止所有来自百度的抓取。

这里说一下百度的user-agent,Baiduspider的user-agent是什么?
百度各个产品使用不同的user-agent:
产品名称 对应user-agent 
无线搜索 Baiduspider 
图片搜索 Baiduspider-image 
视频搜索 Baiduspider-video 
新闻搜索 Baiduspider-news 
百度搜藏 Baiduspider-favo 
百度联盟 Baiduspider-cpro 
商务搜索 Baiduspider-ads 
网页以及其他搜索 Baiduspider

你可以根据各产品不同的user-agent设置不同的抓取规则,以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录:
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-image
Allow: /image/

请注意:Baiduspider-cpro和Baiduspider-ads抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,这个就需要和百度的人联系才能解决了。

如何只禁止Google搜索引擎收录抓取网页, *** 如下:

编辑robots.txt文件,设计标记为:

User-agent: googlebot
Disallow: /

编辑robots.txt文件

搜索引擎默认的遵守robots.txt协议

robots.txt文件放在网站根目录下。

举例来说,当搜索引擎访问一个网站时,首先会检查该网站根目录中是否存在robots.txt这个文件,如果搜索引擎找到这个文件,它就会根据这个文件里的内容,来确定它抓取的权限的范围。

User-agent:
该项的值用于描述搜索引擎robot的名字,在”robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在”robots.txt”文件中,”User-agent:*”这样的记录只能有一条。

Disallow:
该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。例如”Disallow:/help”对/help.html 和/help/index.html都不允许搜索引擎访问,而”Disallow:/help/”则允许robot访问/help.html,而不能访问/help/index.html。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在”/robots.txt”文件中,至少要有一条Disallow记录。如果”/robots.txt”是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。


相关文章

怎样做绿豆糕(怎样做绿豆糕最简单)

怎样做绿豆糕(怎样做绿豆糕最简单)

怎样做绿豆糕(怎样做绿豆糕最简单)说到绿豆糕,相信大家都不陌生,它可是一道传统特色糕点,一般制作好的绿豆糕组织细润紧致,口味清香,软绵不粘牙,而且绿豆糕除了好吃之外,它还具有了清热解毒,去暑止渴,利水...

怀孕初期有什么症状,一定要小心宫外孕症状!

怀孕初期有什么症状,一定要小心宫外孕症状!

文|淘妈 然然和老公备孕一年后发现怀孕了,当时是大姨妈很长时间没有来,她用验孕棒测试的,显示的是两道红杠。但是她觉得还是去医院在检查一下比较放心,没想到去了医院听到却是不幸的消息。不是然然没有怀孕,...

红烧茄子怎么做(红烧茄子的做法步骤)

  红烧茄子,一道传统的家常菜。其鲜香适口,配米饭吃极其适合。   圆茄子一个蒜适量青辣椒适量   番茄酱适量食用油适量玉米淀粉适量糖2大勺盐2小勺鸡精1小勺老抽2小勺香油适量   1. 准备食材。...

网络开设赌场辩护成功案例「网上追奶产品可信吗」

辩护律师:陈亚飞律师 量刑建议:三年至五年有期徒刑 判决结果:判处有期徒刑一年六个月,缓刑二年。 案号:(2018)粤0303刑初706号 基本案情: 2017年6月份开始,被告人周某在深圳...

柏拉图是什么意思?柏拉图代表什么

柏拉图是什么意思?柏拉图代表什么

应口才沟通粉丝的要求 特免费赠送一套【 耿老师说话技巧与人沟通】 电子课程 即学即用 【 评论+私信】 即可免费领取   “柏拉图式的爱情”又称为“精神恋爱”。这种爱认为肉体的结合是不纯洁的...

翻到宝宝小时候的照片说说 孩子小时候照片朋友

翻出他儿时的相片确实好小只能萌好萌一转眼如今早已是有自身的念头不久学好平稳就想跑的大宝宝了。宝宝的照片激起爸爸妈妈的追忆。翻到小宝宝儿时的相片说说 小孩小时候照片朋友圈说说。产生有关详细介绍。 翻到...