近期有很多刚新手入门建立网站的盆友跟我说，robots.txt有什么作用，接下去 *** 黑客接单网就为大伙儿解读！
robots.txt为百度搜索引擎出示引导！

robots.txt的功效

1、正确引导百度搜索引擎搜索引擎蜘蛛爬取特定频道或內容；

2、网站优化或是URL重写提升情况下屏蔽掉对百度搜索引擎不友善的连接；

3、屏蔽掉死链、404错误网页页面；

4、屏蔽掉无內容、无使用价值网页页面；

5、屏蔽掉反复网页页面，如评价页、百度搜索页；

6、屏蔽掉一切不愿被百度收录的网页页面；

7、正确引导搜索引擎蜘蛛爬取sitmap；
 

如何开创robots.txt文件呢？

右键桌面上——在建文本文件——重新命名为robots.txt（一切文档必须小写字母）— —撰写老规矩——用FTP把文档上（放进根目录下）传入室内空间

开创robots.txt要求注意的知识要点：

1、必须是txt完毕的纯文本文档

2、文件夹名称一切英文字母必须是小写字母

3、文档必须要放到根目录下

4、文档内的灶具必须显示英文半角情况下

二：robots主要参数解說

User-agent

主要实际效果：用以勾勒百度搜索引擎搜索引擎蜘蛛的名字

举列：

1、勾勒一切搜索引擎蜘蛛

User-agent：*

2、勾勒百度爬虫

User-agent：BaiduSpider

百度搜索：BaiduSpider

Google：Googlebot

搜狗搜索：Sogou web spider

好搜：360Spider

MSN：MSNBot

有道：YoudaoBot

宜搜：EasouSpider

User-agent *** ：

1、当robots.txt不以空的时候，必须最少有一条User-adent记述

2、同样的名字，只有有一条（比如User-agent:*），但是不一样搜索引擎蜘蛛，可以有好几条记述（比如：User-agent：Baiduspider和User-agent:Googlebot）。

Disallow

主要实际效果：用以勾勒不同意百度搜索引擎爬行和爬取的URL。

应用 *** ：

1、在robots.txt中最少要有一条Disallow

2、Disallow记述为空，则说明网址一切网页页面都同意被爬取。

3、应用Disallow，每一个文件目录必须独自一人隔开申明

4、注意Disallow:/abc/（abc文件目录下边的文件目录不同意爬取，但是文件目录下边的html同意爬取）和Disallow:/abc（abc文件目录下边的文件目录跟html也不同意被爬取）的差别