不清楚我们的网站百度蜘蛛是否来过,不知道我们网站百度蜘蛛是否能来,那你可以利用网站日志来分析蜘蛛是否来过,爬行过哪些页面,什么时候来过等问题,那么我们应该如何去分析网站蜘蛛日志。
在我们分析网站日志的前提是必须要下载ISS日志,一般的情况下,我们都使用ftp,那么ISS日志均为空间商会给你提供下载地址。一般是在weblog文件中,我们可以直接从这一文件中获取站点的日志文件。一般的情况下,ISS日志是每天生成一次,但是对于网站较大,站点内容较多的可以设置每小时生成一次。
以上的代码是我从自己的空间下载的一段日志,现在与大家一起来分析一下,这段代码具体意思如下:
61.135.168.22:来路IP,也就是说这个用户或者蜘蛛进来我们网站的IP是多少。
11/Feb/2014:04:02:45:时间2014年2月11日早上4点02分45秒。
/SEOjishu/161.html:蜘蛛访问的页面,加上网站的主域名如:http://www.hack6.com/SEOjishu/161.html
200:表示能够正常访问你的网站。
8450:表示此次加载了8450个字节。
Baiduspider:百度蜘蛛的全名。
以上是网站日志分析的细节,那么以上的内容有两点,是我们需要注意的,同时在分析的过程中也需要记住的。那就是状态代码和程序名的解析。
200 - 服务器成功返回网页
404 - 请求的网页不存在
503 - 服务器暂时不可用
500 - 服务器出现错误
百度(Baidu)爬虫名称(Baiduspider)
谷歌(Google)爬虫名称(Googlebot)
雅虎(Yahoo)爬虫名称(Yahoo Slurp)
有道(Yodao)蜘蛛名称(YodaoBot)
搜狗(sogou)蜘蛛名称(sogou spider)
MSN的蜘蛛名称:msnbot
那么看懂这些数据以后,很多朋友可能会很失望,觉得自己的网站蜘蛛访问的很少甚至没有访问记录,那么你也别担心,可能是你网站的一些小问题引起了蜘蛛的不关注。下面来看看面对蜘蛛不关注我们的网站,我们应该如何操作吧。
定时更新:对于小网站或者博客网站,我们可以定时更新1-3篇少量信息,那么对于论坛门户这种栏目较多的网站,我们就需要更具自己网站的情况来更新,以便获得蜘蛛的青睐。
网站地图: *** 蜘蛛网站地图,当蜘蛛在抓取你的页面,蜘蛛会先抓取你的robots文件,所以网站地图写在robots文件里面来引导蜘蛛抓取网站地图内容。
外链引导:我曾经做过一次这样的实验,新建一个文本页面的网站,不做任何操作,仅仅在A5论坛发了一个纯文本链接,第二天百度收录了我的那个文本页面。这一点说明SEO外链是可以引导百度蜘蛛来收录你的网站的。
推荐此文:如果你的条件允许的情况下,你可以将你的内容文字推荐到首页,或者在其他内容页推荐,因为一个网站首页的权重是更高的,所以在首页推荐的情况下,是非常容易就可以收录你的文章。
施工日志怎么写(如何全方位正确填写施工日记) 施工过程中日记该怎么写 施工日记管理 1、施工日记的要求: (1)项目经理或生产副经理应指定专人逐日记录施工日记。中途发生人员变动时,...
电脑日志记录着电脑每分钟的工作情况,我们查看电脑日志就可以了解电脑日常的在运作情况。了解电脑的启动、关闭、运行时间,出现错误,发出的警告已经安全信息等。日志文件相当于系统写的日记,万一系统出现问题可以...
做网站优化的进程中很重要的一点,就是网站日志的阐明。通过来访记录的日志文件我们能相识到网站呈现的许多问题。以网站日志上的百度蜘蛛IP为例: 123.125.68.*这个蜘蛛通常来,别的来的少,示意网...
相信很多人都不希望自己的个人电脑被人偷偷进入吧,但是如果真的被人知道了密码,打开电脑,又要如何才能得知呢?今天笔者就告诉你个方法,能够直接查看自己电脑的使用记录。 工具/原料: 电脑 方法/步骤...
你多久没看网站日志了?我相信许多搜索引擎优化人员的统一谜底是很长的。对付中小企业的站长,我们常常太过优化存眷要领,根基上很少跟进存眷数据阐明。网站日志已经成为一件重要且常常被忽视的工作。 那么,网站...
【励志恋爱唯美日志】 我汇报你:第一是我爱你,第二照旧我爱你,第三仍是我爱你我爱你 因为我想汇报你,如果遭遇一次冰海沉船,我必然不会让你孤傲的沉入酷寒的。。 阳光总在风雨后。温柔励志。。 不要...