搜索引擎工作原理简介

搜索引擎工作原理十分复杂,想要全部弄懂需要极为专业的知识,但作为SEO人员,我们必须了解基础性知识,如引擎是怎么实现网页收录、如何确定排名等,才能有针对性有效率地做好优化工作。下面就来看看hostgator美国主机小编为大家介绍的文章吧。

一、爬行和抓取

想要在引擎中展示出网站,第一步工作就是完成数据的收集。引擎通过蜘蛛爬行访问页面,将页面代码存入原始页面数据库,再通过连接爬行到其他页面重复抓取过程,直至完成所有页面的抓取。

通常蜘蛛爬行分为两种策略,深度优先与广度优先。简单说,前者是不断沿着发现的连接往下,直到前面再没有链接才返回到最初的页面爬行另一个链接。后者是优先将第一个页面的所有链接爬行完,再去爬行深层次链接。

因此,想要蜘蛛在网页待更尝试时间,希望更多页面收录,就要不断更新内容,导入其他链接等方式来吸引蜘蛛。怎么去优化网站,可以阅读如何着手优化网站?

二、预处理

当所有页面都存入到数据库中后,就需要对这些页面进行处理,否则数亿级别的页面想要在不到一秒之内呈现给用户,几乎是不可能的。

因此,搜索引擎会对抓取到的页面进行预处理,包括:

1.提取文字,将可识别的内容提取出来;

2.分词,将内容分成一个个关键词;

3.去停止词,删除“的”、“啊”等无影响词;

4.消除噪声,删除对内容毫无意义毫不相关的内容;

5.去重,去除与其他页面重复的内容;

6.正排索引,将页面转化为关键词的集合,与文件名产生对应关系,建立起索引词表库,如文件1包含关键词1、关键词2、关键词7,文件2包含关键词1、关键词3、关键词8等;

7.倒排索引,因为正排索引在筛选内容时需要扫描整个数据库,工作量太大,因此需要建立倒排索引,将关键词与文件关系对调,比如关键词1包含文件1、文件2,关键词2包含文件X。

8.计算链接关系,计算每个页面有多少链接,链接的质量如何,形成一定的权重。

三、排名

在以上预处理完毕后,就是排名。但用户在引擎上搜索一个关键词,引擎会优先将搜索词进行分词、去停止词、指令处理等简单处理一下,便于更好地识别配对,然后根据已经建立的倒排索引表配对。

但因为每个关键词可能配对的文件可能达到几十万甚至更多,需要的时间很长,因此,引擎会只计算大致前1000个结果,形成初始页面子集,最主要的判断就是页面权重,只有权重到达一定程度才能进入初始子集。

进入后,引擎对其计算相关性,更具综合计算方法最终确定排名。想知道个更多的内可以阅读搜索引擎应该如何更有效的优化呢?

发表评论

电子邮件地址不会被公开。 必填项已用*标注