之一种、robots.txt ***
搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件放至网站根目录下,编辑代码如下:
User-agent: *
Disallow: /
通过以上代码,即可告诉搜索引擎不要抓取采取收录本网站,注意慎用如上代码:这将禁止所有搜索引擎访问网站的任何部分。
如何只禁止百度搜索引擎收录抓取网页
1、编辑robots.txt文件,设计标记为:
User-agent: Baiduspider
Disallow: /
以上robots文件将实现禁止所有来自百度的抓取。
这里说一下百度的user-agent,Baiduspider的user-agent是什么?
百度各个产品使用不同的user-agent:
产品名称 对应user-agent
无线搜索 Baiduspider
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
商务搜索 Baiduspider-ads
网页以及其他搜索 Baiduspider
你可以根据各产品不同的user-agent设置不同的抓取规则,以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录:
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
请注意:Baiduspider-cpro和Baiduspider-ads抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,这个就需要和百度的人联系才能解决了。
如何只禁止Google搜索引擎收录抓取网页, *** 如下:
编辑robots.txt文件,设计标记为:
User-agent: googlebot
Disallow: /
编辑robots.txt文件
搜索引擎默认的遵守robots.txt协议
robots.txt文件放在网站根目录下。
举例来说,当搜索引擎访问一个网站时,首先会检查该网站根目录中是否存在robots.txt这个文件,如果搜索引擎找到这个文件,它就会根据这个文件里的内容,来确定它抓取的权限的范围。
User-agent:
该项的值用于描述搜索引擎robot的名字,在”robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在”robots.txt”文件中,”User-agent:*”这样的记录只能有一条。
Disallow:
该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。例如”Disallow:/help”对/help.html 和/help/index.html都不允许搜索引擎访问,而”Disallow:/help/”则允许robot访问/help.html,而不能访问/help/index.html。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在”/robots.txt”文件中,至少要有一条Disallow记录。如果”/robots.txt”是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。
怎样在58同城找黑客相关问题 最顶尖的黑客书相关问题 成为黑客该学些什么 黑客手把手教你黑赌博充值漏洞(黑客怎么找漏洞)...
棉质内裤我们在市面上经常见到,我们一般也是选择这种材质的内裤,但是棉质内裤往往透气散热性不好,出点汗就会特别不舒服。jockey作为一家知名内衣品牌,推出了一款冰丝系列内裤,那么这jockey冰丝内裤...
本文目录一览: 1、我今天在QQ上认识了一个黑客变态 说要看我的胸 然后我拉黑了 突然想报警怎么办? 2、变态黑客中的鬼泣5是不是可以玩? 3、黑客是怎样炼成的?? 4、谨防飞腾网络的黑客...
电脑屏幕闪烁(电脑屏幕闪烁的解决方法)电脑屏幕闪烁,相信大家在使用电脑的过程中都有遇到过这个问题,但会解决这个问题的人却没有多少,大部分人在遇到这个问题时,不是请求电脑高手的帮助,就是花钱到电脑店请人...
苹果手机一个id怎么同步微信聊天记录(苹果手机可以同步微信聊天记录吗)日前,市场调研机构Counterpoint Research发布报告称,在2019年第一季度,高端智能手机市场(手机价格在600美...
安全网黑客软件(我的世界安全黑客mod)(tiechemo.com)一直致力于黑客(HACK)技术、黑客QQ群、信息安全、web安全、渗透运维、黑客工具、找黑客、黑客联系方式、24小时在线网络黑客、黑...