首页 关于我们 案例展示 新闻视点 业务领域 提交需求 加入我们 联系方式
Industry news 行业新闻
Company news 公司新闻
Website 网站建设知识
首页 > 新闻视点 > 网站建设知识
Google如何判断原创文章与伪原创
来源:老猫博客  发布日期:2011/10/17  浏览:564 次

    我们在做站群的时候,避免不了要大规模的生成大量的内容,一般都是靠采集+伪原创,Google对于伪原创的判别要比百度来的准的多,根据老猫掌握的数据,我们来看下Google是如何判断原创与伪原创的。

    首先我们要先掌握几个概念:

    1.相似度

    相似度是搜索引擎去重用的最多的算法,用的比较多的一种是TF/IDF算法,这个也是计算相关性的算法,TF-IDF的主要意思是说:如果某个词或短语在一篇文章中出现的频率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。

    TF词频(Term Frequency)指的是某一个给定的词语在该文件中出现的次数。

    IDF反文档频率(Inverse Document Frequency)指的是:如果包含词条的文档越少,IDF越大,则说明词条具有很好的类别区分能力。

    当一篇文章根据TF/IDF进行计算后,形成了一个多维的向量,这个向量就是这篇文章的内容特征向量,当两篇文章的特征向量趋于一致的时候,我们认为这两篇文章的内容接近,如果一致则说明是重复的。

    关于TF/IDF与向量算法的详细请参看 Google黑板报的数学之美12-余弦定理与新闻分类

    2.数据指纹

    当搜索引擎通过相似度把文章收集起来后,要判别一下是否是重复文章,经常用的就是数据指纹,数据指纹有很多种算法,常见的比如讲文章的标点符号提出,进行对比,你很难想象有两篇不同的文章,标点符合是一致的。还有对向量进行对比,也就是TF词频(关键词密度)等等来判断。

    这时候你可以想象出,现在很多伪原创工具,只是把关键词进行了替换,你想关键词替换后,标点符号指纹是不变的,甚至连TF词频都不变。还有对文章进行段落的重拍,这个的确是打乱了标点符号,但是向量和词频问题依然存在。那么这样的伪原创工具有没有价值你就可想而知了。(可能对于百度还是有作用的)

    3.代码噪音

    前面说的这些,都是基于一个条件的,就是搜索引擎要知道文章是什么,因为每个网站的模板都不同,代码也不同,各种信息混合在一起,如果能找到正文就是搜索引擎第一要处理的。

    一般Google都会通过对代码的布局和噪音比例进行区分,哪些是导航,哪些是正文,并可以对一些典型的代码进行忽略。那么我们在做模板的时候,就要注意了。这里有个纠结点,就是整页面降噪,方便搜索引擎进行正文的确认,但是正文区要适当的加燥,增加搜索引擎识别重复性的难度。

    原文地址:老猫博客



·行业新闻  ·公司新闻  ·建站知识 < Previous 上一篇 | Next 下一篇 >
 

Copyright © 2011-2018 郑州市康姆(COM)信息科技有限公司,版权所有
业务咨询电话:13949096733 13949096389  客服QQ:46779963 983097132 281246578 23321343
Email:xinxian100@163.com  Address:河南郑州市高新区万科城祥营社区 邮编:450000