搜索引擎如何判断核心内容的思考

搜索引擎蜘蛛把页面代码送回搜索引擎服务器后，SE是如何判断页面中最核心的内容呢？

先说下Kyw认为的搜索引擎运作过程的前几个步骤：
1. 蜘蛛下载A页面，送回服务器；
2. 服务器寻找A页面的核心内容位置，然后去除HTML代码；
3. 寻找网页核心内容；
……

我不确定GOOGLE、百度、YAHOO！是否真的有“判断核心内容”这个步骤，但我相信一定有类似的运算机制，因为如果没这个步骤，搜索引擎将耗费大量资源做重复运算。当然KYW不是搜索引擎工程师，下面只是对搜索引擎的一些思考。


SE面对一整页HTML代码，如何判断核心内容在哪里呢？
第一步：拿该页面和同域名、同目录、同文件名格式的页面做对比，去除相似的部分。经过这个步骤，头部的导航条、底部的版权信息、固定位置的广告就被去掉了。我估计搜索引擎在每增加一个新网站的时候，会建立一个对比模板来提高工作效率。如果网站经常改版，在改版刚开始的期间，搜索引擎还没反应过来，就可能造成新收录网页的排名不理想。

第二步：去掉有大量链接的部分。经过这步，“相关文章”“推荐文章”等都被去掉了，剩下一些包含文字内容的代码。

第三步：在剩余的代码中判断哪段标签（可能是DIV、TABLE、P或其它标签）中的文字内容最多，因为一般核心内容的文字量会比较多。

每个页面经过上面3个步骤，应该就能顺利的判断出核心内容所在的位置。经过这样的思考，我们也许可以这样总结：
1. 同目录下的页面，最好模板一样。
2. 核心内容文字量不能太少，特别是企业站和B2C网站，只放价格和包含大量说明文字的图片是很不好的。
3. HTML代码中如果错误很多，可能会影响排名，因为搜索引擎可能在判断核心内容的时候出差错。
4. 期待你的补充 ^_^
作者：Kyw@上海SEO搜索引擎优化实验室
 原文链接：http://www.seotest.cn/blog/se-panduan-hexin.html