解析百度搜索引擎的工作原理（二）

众所周知，搜索引擎的主要工作过程包括：抓取、存储、页面分析、索引、检索等几个主要过程。上一章我们主要介绍了部分抓取存储环节中的内容，此章简要介绍一下索引系统。

在以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针，也许一定的时间内可以完成查找，但是用户等不起，从用户体验角度我们必须在毫秒级别给予用户满意的结果，否则用户只能流失。怎样才能达到这种要求呢？

如果能知道用户查找的关键词（query切词后）都出现在哪些页面中，那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程，而检索即变成了页面名称之间的比较、求交。这样，在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程：

 1，页面分析的过程实际上是将原始页面的不同部分进行识别并标记，例如：title、keywords、content、link、anchor、评论、其他非重要区域等等；
        2，分词的过程实际上包括了切词分词同义词转换同义词替换等等，以对某页面title分词为例，得到的将是这样的数据：term文本、termid、词类、词性等等；
        3，之前的准备工作完成后，接下来即是建立倒排索引，形成{termàdoc}，下图即是索引系统中的倒排索引过程。

        倒排索引是搜索引擎实现毫秒级检索非常重要的一个环节，下面我们要重要介绍一下索引系统建立倒排索引的重要过程——入库写库。

索引系统在建立倒排索引的较后还需要有一个入库写库的过程，而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部，并且对数据进行压缩，这涉及到的过于技术化在此就不多提了。在此简要给大家介绍一下索引之后的检索系统。

检索系统主要包含了五个部分，如下图所示：
 
（1）Query串切词分词即将用户的查询词进行分词，对之后的查询做准备，以“10号线地铁故障”为例，可能的分词如下（同义词问题暂时略过）：
        10  0x123abc
        号   0x13445d
        线   0x234d
        地铁 0x145cf
        故障 0x354df

（2）查出含每个term的文档集合，即找出待选集合，如下：

  0x123abc   1  2 3  4  7  9…..
         0x13445d   2  5 8  9  10  11……
          ……
          ……
（3）求交，上述求交，文档2和文档9可能是我们需要找的，整个求交过程实际上关系着整个系统的性能，这里面包含了使用缓存等等手段进行性能优化；
（4）各种过滤，举例可能包含过滤掉死链、重复数据、色情、垃圾结果以及你懂的；
（5）较终排序，将较能满足用户需求的结果排序在较前，可能包括的有用信息如：网站的整体评价、网页质量、内容质量、资源质量、匹配程度、分散度、时效性等等

上面的内容好象有些深奥，因为涉及大量技术细节，我们只能说到这儿了。那下面我们说说大家较感兴趣的排序问题吧。用户输入关键词进行检索，百度搜索引擎在排序环节要做两方面的事情，先进是把相关的网页从索引库中提取出来，第二是把提取出来的网页按照不同维度的得分进行综合排序。“不同维度”包括：
        1，相关性：网页内容与用户检索需求的匹配程度，比如网页包含的用户检查关键词的个数，以及这些关键词出现的位置；外部网页指向该页面所用的锚文本等
        2，权威性：用户喜欢有一定权威性网站提供的内容，相应的，百度搜索引擎也更相信优质权威站点提供的内容。
        3，时效性：时效性结果指的是新出现的网页，且网页内承载了新鲜的内容。目前时效性结果在搜索引擎中日趋重要。
        4，重要性：网页内容与用户检查需求匹配的重要程度或受欢迎程度
        5，丰富度：丰富度看似简单却是一个覆盖范围非常广的命题。可以理解为网页内容丰富，可以有效满足用户需求；不仅可以满足用户单一需求，还可以满足用户的延展需求。
        6，受欢迎程度：指该网页是不是受欢迎。

以上便是百度搜索引擎决定搜索结果排序时考虑的六大原则，那么六大原则的侧重点是怎样的呢？哪个原则在实际应用时占比较大呢？其实在这里没有一个确切的答案。在百度搜索引擎早期，这些阈值的确是相对固定的，比如“相关性”在整体排序中的重量可以占到七成。但随着互联网的不断发展，检索技术的进步，网页数量的爆发式增长，相关性已经不是难题。于是百度搜索引擎引入了机器学习机制，让程序自动产出计算公式，推进排序策略更加合理。

我们理解网站生存发展需要资金支持，从来不反对网站添加各种合法广告，不要再问我们“我们网站加了XX联盟的广告会不会被处罚”这类问题。有些站点好不容易在百度有了比较好的排位，却在页面上放置大量有损访问用户体验的广告，已经严重影响到百度搜索引擎用户的使用感受。为此，百度质量团队2013年5月17日发布公告：针对0质量网页推出了石榴算法，旨在打击含有大量妨碍用户正常浏览的恶劣广告的页面，尤其是弹出大量0质广告、存在混淆页面主体内容的垃圾广告的页面。

虎网科技（西安网站制作）希望站长能够多从用户角度出发，朝着长远发展考虑，在不影响用户体验的前提下合理地放置广告，赢得用户的长期青睐才是一个网站发展壮大的基础。

以上内容由虎网科技（西安网站设计,西安网站制作）为您提供，更多精彩内容：https://www.huwz.com/

关注“虎网科技”微信公众号，快速获取互联网较新资讯

马尔代夫春节旅游安全吗？去马尔代夫旅游的话大概需要多少钱。需要注意些什么？

    2023年马尔代夫上市吗？ 马尔代夫2023年差不多可以上市，马尔代夫在今年过完春节才会准备上市，也就是2023年哦，预计最快也要明年五月份才能上市！ 明年国人可以出国旅游吗？ 我是萨沙，我来回答。 说一些个人观念。 大家首先要明确几个基本原则。 第一，新冠病毒绝非感染一次就没事了。 这不是种牛痘，种了一次以后就不怕天花了。你感染后的免疫力，只是针对某个分支的病毒，而且只是在一段时间内出现抗体...

       浅谈百度最近的疯狂更新升级历史 不需要说太多，最近的百度有在搞什么用户体验的升级调整，弄得站长们是忙里忙外，SEOer们也是丈二的和尚摸不着头脑啊! 　　其实仔细想一想，百度今年已经不只一次这样伤害我们广大的站长和SEO人员了，先是打击没有实质内容的网站，接着就是大面积的K站，然后因为360搜索的加入，再次将搜索数据洗牌，而之中就出现了人工干预排名的现象，当然这主要是针对做SEO一类的网站与博客。 　　不知不觉三四个月就过去了，...

       网站优化真的需要写原创文章吗 写这个主题，可能会被很多SEOer嗤之以鼻，因为“网站原创文章至上”已经被很多SEOer认为是必须的工作，而且经常看到有某些认为自己非常了不起的SEOer帮他人分析网站的seo因素，如果人家排名不好就直接问：网站有原创内容吗?如果人家网站没有原创内容，于是乎他便像是找到了大问题似的告诉人家：网站原创内容不够，搜索引擎不喜欢!我对这样的SEOer从不反驳，只能一笑而过! 　　那么，原创内容就真的那么...

       企业做网站推广时必须要清楚七要素 在今天，相信大部分拥有网站的企业都应该清楚，想要企业网站在互联网中拥有好的流量，好的排名较好的方式就是依靠于网站推广，并且很多的企业也都知道，想要做好企业网站推广的工作并不容易，必须要掌握网站推广中一些内容，而今天 天津网站建设 - 虎网科技 的小编就主要来给大家谈谈企业做网站推广必须要清楚的要素有哪些？ 一、关键字设置 网站推广离不开关键词的设置，在推广的过程中主要推广的就是网站的关键词，...

       不能对网站做的那些事儿 我们可以看到一大推的教你怎样提高网站排名，提高转化率，提高网站性能的指南和教程。然而，这些所谓的教程中却有很多是错误的做法，只要简简单单的停止做一些事，你就能让你的网站变得更好。下面我将大概的叙述17个这两年最普遍存在的已经从我的用户网站被证实的罪恶。 　　1.不用再发布一些乏味无用的促销内容了 　　一些企业总是很难制定合适的内容策略和定时更新吸引人的产品信息内容但这并不能成为你发布一些毫无用处的...

       手机网页制作要考虑的细节 现在所处的时代是一个互联网时代，互联网时代是一个多元化的世界，特别现在人们都有一个手机不离手的习惯，导致手机网站是重中之重，终究pc不是那么简单，因此手机网站就显得方便的多，很多企业也开始注重手机网站的建设，那么手机网页制作要考虑哪些方面的细节呢？ 手机网页制作要考虑的细节 　　手机客户习惯于触摸滑动访问网站，因此在开发手机网站时，一定要让手机网站符合用户的各种使用习惯。比方要方便客户返回首页，要...