引言

robots.txt基础详细介绍robots.txt是一个纯文本文档，在这个文档中网址管理人员能够申明该网址中不愿被robots访问的一部分，或是特定搜索引擎只百度收录特定的內容。当一个搜索机器人（有的叫搜索搜索引擎蜘蛛）访问一个网站时，它会更先查验该网站根目录下是不是存有robots.txt，假如存有，搜索机器人

robots.txt基础详细介绍

robots.txt是一个纯文本文档，在这个文档中网址管理人员能够申明该网址中不愿被robots访问的一部分，或是特定搜索引擎只百度收录特定的內容。

当一个搜索机器人（有的叫搜索搜索引擎蜘蛛）访问一个网站时，它会更先查验该网站根目录下是不是存有robots.txt，假如存有，搜索机器人便会依照该文件中的內容来明确访问的范畴；假如该文件不会有，那麼搜索机器人就顺着连接爬取。

此外，robots.txt务必置放在一个网站的根目录下，并且文件夹名称务必所有小写字母。

robots.txt创作英语的语法

更先，大家看来一个robots.txt案例：

# Robots.txt file from http://www.aa ***

# All robots will spider the domain

User-agent: *

Disallow:

之上文字表达的意思是容许全部的搜索机器人访问www.aa *** 网站下的全部文档。

实际语法分析：在其中#后边文本为表明信息内容；User-agent:后边为搜索机器人的名字，后边如果是*，则特指全部的搜索机器人；Disallow:后边为不允许访问的文件名称。

下边，例举一些robots.txt的实际使用 *** ：

容许全部的robot访问

User-agent: *

Disallow:

或是还可以建一个空文档 “/robots.txt” file

严禁全部搜索引擎访问网址的一切一部分

User-agent: *

Disallow: /

严禁全部搜索引擎访问网址的好多个一部分（下例中的01、02、03文件目录）

User-agent: *

Disallow: /01/

Disallow: /02/

Disallow: /03/

严禁某一搜索引擎的访问（下例中的BadBot）

User-agent: BadBot

Disallow: /

只容许某一搜索引擎的访问（下例中的Crawler）

User-agent: Crawler

Disallow:

User-agent: *

Disallow: /

此外，必须开展扩展表明，对robots meta开展一些详细介绍：

Robots META标签则主要是对于一个个实际的网页页面。和别的的META标签（如应用的語言、网页页面的叙述、关键字等）一样，Robots META标签也是放到网页页面的＜head＞＜/head＞中，专业用于告知搜索引擎ROBOTS怎样爬取该页的內容。

Robots META标签的书写：

Robots META标签中沒有英文大小写之分，name=”Robots”表明全部的搜索引擎，能够对于某一实际搜索引擎写成name=”BaiduSpider”。 content一部分有四个命令选择项：index、noindex、follow、nofollow，命令间以“,”隔开。

INDEX 命令告知搜索机器人爬取该网页页面；

FOLLOW 命令表明搜索机器人能够顺着该网页页面上的连接再次爬取下来；

Robots Meta标签的缺省值是INDEX和FOLLOW，仅有inktomi以外，针对它，缺省值是INDEX,NOFOLLOW。

那样，一共有四种组成：

下列是引入精彩片段：

＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞

＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞

＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞

＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞

在其中

下列是引入精彩片段：

＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞能够写出＜META NAME=”ROBOTS” CONTENT=”ALL”＞；

＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞能够写出＜META NAME=”ROBOTS” CONTENT=”NONE”＞

现阶段来看，绝大部分的搜索引擎机器人都遵循robots.txt的标准，而针对Robots META标签，现阶段适用的并不是很多，可是已经慢慢提升，如知名搜索引擎GOOGLE就彻底适用，并且GOOGLE还提升了一个命令“archive”，能够限定GOOGLE是不是保存网页快照。比如：

下列是引入精彩片段：

＜META NAME=”googlebot” CONTENT=”index,follow,noarchive”＞