经常会碰到站长们抱怨蜘蛛抓取返回码老是304状态,且抓取的次数越来越少的问题。搜索引擎为了自身的用户体验,会想尽办法来提高检索调用率、准确性、新鲜度,这将导致引擎不得不把主要的精力放在拥有优质内容源的网站上。惟其如此,搜索结果的质量才能更加符合搜索者的体验。
由此我们联想到:搜索引擎爬虫会更加青睐内容源更新频繁的网站。通过特定时间内对网站抓取返回的状态码来调节对该网站的抓取频繁。若网站在一定时间内一直处于[304:没有变化]的状态,那么引擎爬虫可能会降低对网站的抓取次数。相反,若网站变化的频率非常之快,每次抓取都能获取新版本,那么日积月累,爬虫的回访率也会提高。
无论是抓取少还是304,这都是一种现象,并不是问题的原因,假设网站返回的都是200,就能达到提升排名带来流量的目的么?相比之下更应该思考产生304的原因是什么?改304对网站目标能够有什么样的效果?不能忽视整体的目标而强调过程的细节,为了200而去解决304。
304状态是如何产生?
服务器为了提高网站访问速度,对之前访问的部分页面制定缓存机制,当客户端在此对这些页面进行请求,服务器会根据缓存内容判断页面与之前是否相同,若相同便直接返回304,此时客户端调用缓存内容,不必进行二次下载,可以说304从某种角度起到了减少服务器带宽并提高蜘蛛爬行效率的作用。
304状态产生原因?
1、页面更新周期长或不更新
2、纯静态页面或强制生成静态html
304状态处理思路?
1、先对产生304页面进行细分,到底是哪类页面返回了304?这些页面是否应该返回304?
2这些页面生成的方式是怎样的?是否有更新机制?更新机制是否符合蜘蛛对网站的抓取频率?
3、页面更新区域的位置是否合理?是否位于该页面主要内容的承载区
304状态码出现过多会造成以下问题:
1、网站快照停止
2、收录减少
3、权重下降
那么如何减少304返回码呢?
据我所知,首先内容更新方面要迎合百度蜘蛛,分析日志,把蜘蛛到访的时间记录下来,可以大致得出蜘蛛到访的频率,然后以此为依据,更新文章:一定是原创+转载,不能纯采集。转载也需要最新更好的优质资源。让蜘蛛这个点过来能有吃的。从而返回更多 200 正常码。
其次呢,更好增加个互动版块,现在大网站基本已经都做了这方面,比如评论、留言等,大网站更新起来变化可能会很小,但是有了这些互动,用户会在上面发些内容,网站会有很多新的东西。
广州极品商务上门服务预约【金易梦】,上海是一座成功人士的聚集地,对商业模特的需求也是比较大的,今天明星商务分享模特访梦,年龄北京 女 28,婚姻:未婚,学历:高中,气质:广州极品商务上门服务预约寻找方...
说明:以下关于牡丹江市大学名单数据来源于自中华人民共和国教育部网站,2016年6月3日教育部发布了全国高等学校名单,全国高等学校共计2879所,其中普通高等学校2595所(含独立学院266所),成人高...
国内最大的黑客交流论坛是什么? 性在国内属于一流控制软件。梦想黑客联盟论坛拥有优秀的免杀团队。彻底解决各主流杀软查杀及主动查杀问题。华夏黑客基地华夏黑客基地为中国领先的网络安全门户类网站,国内人气最火...
谢谢“花水木”的分享。 岂非不流行考公务猿了?考试用书都大降价了,共四本,4.8米还包邮, 平均价格1.2一本,买个笔记本都不够。。 谁要考的,买套学学。。 不外买了记得要看。。 购置地址:...
8月25日上午发布的文章,过了一会儿收录了,但显示的收录时间是8月22日,快照穿越到3天前。这令我不解,难不成百度蜘蛛的生物钟还在3天前,木有缓过神来?还是百度8月22日提出算法升级公告,在升级过...
本文目录一览: 1、大家推荐几个好的黑客论坛! 2、国内著名安全技术论坛有哪些? 3、国内最大的黑客交流论坛是什么? 大家推荐几个好的黑客论坛! 华夏黑客联盟(我国第一个)黑客X档案(目前人...