一、搜索引擎为什么要重视原创
1.1采集泛滥化
来自百度的一项调查显示,超过80%的新闻和资讯等都在被人工转载或机器采集,从传统媒体的报纸到娱乐网站花边消息、从游戏攻略到产品评测,甚至高校图书馆发的催还通知都有站点在做机器采集。可以说,优质原创内容是被包围在采集的汪洋大海中之一粟,搜索引擎在海中淘粟,是既艰难又具有挑战性的事情。
1.2提高搜索用户体验
数字化降低了传播成本,工具化降低了采集成本,机器采集行为混淆内容来源降低内容质量。采集过程中,出于无意或有意,导致采集网页内容残缺不全,格式错乱或附加垃圾等问题层出不穷,这已经严重影响了搜索结果的质量和用户体验。搜索引擎重视原创的根本原因是为了提高用户体验,这里讲的原创为优质原创内容。
1.3鼓励原创作者和文章
转载和采集,分流了优质原创站点的流量,不再具属原创作者的名称,会直接影响到优质原创站长和作者的收益。长期看会影响原创者的积极性,不利于创新,不利于新的优质内容产生。鼓励优质原创,鼓励创新,给予原创站点和作者合理的流量,从而促进互联网内容的繁荣,理应是搜索引擎的一个重要任务。
二、采集很狡诈,识别原创很艰难
2.1采集冒充原创,篡改关键信息
当前,大量的网站批量采集原创内容后,用人工或机器的 *** ,篡改作者、发布时间和来源等关键信息,冒充原创。此类冒充原创是需要搜索引擎识别出来予以适当调整的。
2.2内容生成器,制造伪原创
利用自动文章生成器等工具,“独创”一篇文章,然后安一个吸引眼球的title,现在的成本也低得很,而且一定具有独创性。然而,原创是要具有社会共识价值的,而不是胡乱制造一篇根本不通的垃圾就能算做有价值的优质原创内容。内容虽然独特,但是不具社会共识价值,此类伪原创是搜索引擎需要重点识别出来并予以打击的。
2.3网页差异化,结构化信息提取困难
不同的站点结构化差异比较大,html标签的含义和分布也不同,因此提取关键信息如标题、作者和时间的难易程度差别也比较大。做到既提得全,又提得准,还要最及时,在当前的中文互联网规模下实属不易,这部分将需要搜索引擎与站长配合好才会更顺畅的运行,站长们如果用更清晰的结构告知搜索引擎网页的布局,将使搜索引擎高效地提取原创相关的信息。
三、百度识别原创之路如何走?
3.1成立原创项目组,打持久战
面对挑战,为了提高搜索引擎用户体验、为了使优质原创者原创网站得到应有的收益、为了推动中文互联网的前进,我们抽调大量人员组成原创项目组:技术、产品、运营、法务等等,这不是临时组织不是1个月2个月的项目,我们做好了打持久战的准备。
3.2原创识别“起源”算法
互联网动辄上百亿、上千亿的网页,从中挖掘原创内容,可以说是大海捞针,千头万绪。我们的原创识别系统,在百度大数据的云计算平台上开展,能够快速实现对全部中文互联网网页的重复聚合和链接指向关系分析。首先,通过内容相似程度来聚合采集和原创,将相似网页聚合在一起作为原创识别的候选 *** ;其次,对原创候选 *** ,通过作者、发布时间、链接指向、用户评论、作者和站点的历史原创情况、转发轨迹等上百种因素来识别判断出原创网页;最后,通过价值分析系统判断该原创内容的价值高低进而适当的指导最终排序。
目前,通过我们的实验以及真实线上数据,“起源”算法已经取得了一定的进展,在新闻、资讯等领域解决了绝大部分问题。当然,其他领域还有更多的原创问题等待“起源”去解决,我们坚定的走着。
3.3原创星火计划
我们一直致力于原创内容的识别和排序算法调整,但在当前互联网环境下,快速识别原创解决原创问题确实面临着很大的挑战,计算数据规模庞大,面对的采集方式层出不穷,不同站点的建站方式和模版差异巨大,内容提取复杂等等问题。这些因素都会影响原创算法识别,甚至导致判断出错。这时候就需要百度和站长共同努力来维护互联网的生态环境,站长推荐原创内容,搜索引擎通过一定的判断后优待原创内容,共同推进生态的改善,鼓励原创,这就是“原创星火计划”,旨在快速解决当前面临的严重问题。另外,站长对原创内容的推荐,将应用于“起源”算法,进而帮助百度发现算法的不足,不断改进,用更加智能的识别算法自动识别原创内容。
三菱重工和三菱电机(对比三菱电机和三菱重工12个不同)说到家庭装修中央空调,日本的三菱电机和三菱重工始终是不少人绕不过的坎,到底选择安装三菱重工还是三菱电机,让一些人非常犯愁,好比在苍老师和兰兰老师之...
近日,在云南昆明也有一辆7座的面包车被查了,打开车门一看,人头攒动……经过统计,里面一共坐了33名幼儿园的小朋友,加上司机,超员率高达385.7%!...
编辑导读:“间接性想谈爱情,一连性想只身”,说的就是今世年青人的情感糊口。我国只身人士的增加,催生了“只身经济”的繁荣。为什么有这么多年青人选择只身?“只身经济”有哪些特点?会给社会带来什么影响?针对...
本文导读目录: 1、如何制作并运行爬虫,亚洲股市指数,涨跌幅度? 2、网络爬虫是什么?具体要学哪些内容? 3、网络爬虫的几种常见类型 4、求个网页分析爬虫,能分析域名下所有的页面,把有我要...
gps是什么意思(关于GPS的原理)说起GPS,大家应该都听过,但是你对GPS真正的了解多少呢? GPS是Global Positioning System 的缩写,意思为全球定位系统。该系统可以在...
本文导读目录: 1、有黑客帝国中的男、女演员(尼欧、崔尼蹄、还有那个光头的人)他们的个人资料吗 2、黑客帝国1,2,3的剧情详细介绍! 3、谁能给我讲讲基努·里维斯呢?越详细越好! 4、请...