看到很多网站都没有robots文件,那么一个常规的robots.txt文件应该要这么写呢,小编今天给大家来说说robots.txt怎么写,robots文件常规的写法。
上图是小编的robots文件,我的个人博客是织梦的系统,织梦默认是有部分robots文件的,小编先给大家解释一下其中的写法。
1、允许所有搜索引擎访问 User-agent: * Allow:
2、禁止所有搜索引擎访问 User-agent: * Disallow: /
3、网站地图:Sitemap:
哪些页面要用robots.txt屏蔽
知道怎么写了,但很多朋友还是不知道哪些页面需要屏蔽,让搜索引擎不被访问,其实很简单,不想被搜索引擎抓取的页面就屏蔽,那么哪些页面是我们不想被搜索引擎抓取的呢。
空白页面:什么是空白页面,比如注册页面、联系我们、关于我们等页面属于空白页面,因为这种页面在搜索引擎看来是没有意义的,没有人会搜索注册来到你的网站。
后台页面:后台是不被搜索引擎收录的,所以我们需要robots屏蔽后台登陆页面。
动态页面:通常情况下,我们网站都会做伪静态,那么动态页面我们会屏蔽掉。
总结:robots文件有必要写,一来给搜索引擎做个更好的之一印象,其次是给搜索引擎做一个网站地图。
99%的人还阅读了:
robots是什么,robots怎么写?
屏蔽百度蜘蛛的 ***
电脑提示c:\windows\temp\*.tmp文件损坏怎么办?近日不少用户询问电脑右下角提示c:\windows\temp\*.tmp文件损坏的问题,本文就给大家介绍一下具体解决方法。 ...
现在的文件格式千千万,接收文件时难免会遇到几个陌生的文件格式,比如ai格式,那么ai格式用什么软件来打开呢?今天小编就给大家介绍一下是PS软件和Adobe illustrator软件打开ai格式的方法...
jsp文件怎么打开(java-web中jsp的理解)JSP:Java Server Pages。JSP是一种网页的编码格式,不同于HTML的是JSP中是由 HTML中的标签指令 和 Java逻辑代码...
pptx文件怎么打开(打开.docx文件的6种方法分享) 打开docx文件的6种方法分享:docx文件怎么打开? docx文件介绍 docx是微软Word的文件扩展名,Microsoft Off...
打开一个文件的时候,Win7系统提示不能打开此文件,那么win7系统打开文件提示Windows不能打开此文件怎么办? 原因:一般都是文件关联出错,或者是一个程序关联你要打开的文件类型,而程序被删...
Win7/Vsita禁用了AHCI驱动措施(Msahci.sys),必需先启用SATA驱动,夜上海原唱 才气变动成AHCI模式。 阴阳师夜叉 永恒战士2鱼骨阐明法要办理原地踏步走 此问题,请在变动...