当前位置:380元网站建设 虎网站 > 网络营销 > 正文

搜索引擎是如何抓取和收录页面的?

发布日期:2020-03-08

  搜索引擎对网页的收录是一个复杂的过程,简单来说,收录过程可以分为:抓取、过滤、建立索引和输出结果。下面和大家简单说一下这几个步骤,让你可以清楚你的网页从你发布之后是如何被搜索引擎收录并获得相关排名的。

  1、抓取

  网站的页面有没有被搜索引擎收录,首先要看一下网站的蜘蛛访问日志,看一下蜘蛛有没有来,如果蜘蛛都没有抓取,那是不可能被收录的。蜘蛛访问网站的日志可以从网站的IIS日志里面看到,如果搜索引擎蜘蛛没有来呢?那么就主动向搜索引擎提交,搜索引擎会派出蜘蛛来抓取网站,这样网站才有可能被尽快收录。

  如果你不会分析网站的日志也没有关系,这里推荐爱站SEO工具包,将网站的日志导入到这个工具之后,就能看到日志的分析,你能从中得到很到信息。

  广度优先抓取:广度优先抓取是按照网站的树形结构,对一个的层进行的抓取,如果此层没有抓取完成,蜘蛛不会进行下一层的搜索。(关于网站的树形结构,会在后续的日志中进行说明,在没有发布文章之后,在此会添加连接)

  深度优先抓取:深度优先抓取是按照网站的树形结构。按照一个连接,一直抓取下去,知道这一个连接没有再往下的链接为止,深度优先抓取又叫纵向抓取。

  (注意:广度优先抓取,适用于所有情况下的搜索,但是深度优先抓取不一定能适用于所有情况。因为一个有解的问题树可能含有无穷分枝,深度优先抓取如果误入无穷分枝(即深度无限),则不可能找到目标结束点。所以,深度优先抓取策略很多时候是不会被使用的,广度优先的抓取更加的保险。)

  广度优先抓取适用范围:在未知树深度情况下,用这种算法很保险和安全。在树体系相对小不庞大的时候,广度优先也会更好些。

  深度优先抓取适用范围:刚才说了深度优先抓取有自己的缺陷,但是并不代表深度优先抓取没有自己的价值。在树型结构深度已知情况下,并且树体系相当庞大时,深度优先搜索往往会比广度优先搜索优秀。

  2、过滤

  网站的页面被抓取了并不代表一定会被收录。蜘蛛来抓取了之后,会把数据带回去,放到临时的数据库中,再进行过滤,过滤掉一些垃圾的内容或者是低质量的内容。

  你页面的信息如果是采集,在互联网上有大量的相同信息,搜索引擎就很有可能不为你的网页建立索引。有时候我们自己写的文章也不会被收录,因为原创的不一定就是高质量的。关于文章质量的高低,我会在以后的文章中单独拿出一篇来和大家详细讨论。

  过滤这一过程就是一个去掉糟粕的过程,如果你的网站的页面顺利通过了过滤这一过程,说明页面的内容达到了搜索引擎设定的标准,页面会就会进入建立索引和输出结果这一步。

  3、建立索引与输出结果

  这里,我们把建立索引和输出结果合在一起进行说明。

  通过一系列的过程之后,符合收录的页面之后会建立索引,建立索引之后就是输出结果,也就是我们在搜索关键词后,搜索引擎展示给我们的结果。

  当用户在搜索关键词时搜索引擎就会输出结果,输出的结果是有顺序排列的。这些结果排序是根据一系列复杂的算法来排定的。比如:页面的外链,页面与关键词的匹配度,页面的多媒体属性等。

  在输出的结果中,还有一些结果是通过抓取之后直接可以输出的,没有经过中间复杂的过滤和建立索引等过程。什么样的内容和什么样的情况下才会发生的呢?那就是具有很强的时效性的内容,比如新闻类的。比如今天发生了一件特大事件,各大门户和新闻源快速发出了关于事件的新闻,搜索引擎会迅速对重大新闻事件作出反应,快速收录相关的内容。

  百度对于新闻的抓取速度是很快的,对重大事件的反应也比较及时。但是这里还有一个问题就是,这些发布的新闻如果有低质量的页面会怎么办?搜索引擎会在输出结果之后,仍然对这一部分新闻内容进行过滤,如果页面内容与新闻标题不符,质量过低,那么低质量的页面还是会被搜索引擎过滤掉。

  在输出结果的时候,搜索引擎会多多少少会对搜索结果进行人工干预,其中以百度为最严重,在百度很多关键词的自然搜索结果中被加入了百度太多自家的产品,而且很多是没有考虑用户体验的,这也是百度被大家诟病的原因之一,有兴趣的朋友可以百度一个词看一下搜索结果,是不是百度自家的产品占据了太多的首页位置。  

加拿大旅游必带的特产,加拿大回国带什么?

    加拿大有什么特产? 必须买的加拿大十大特产,分别是第一土著艺术品,第二是枫糖浆,第三是加拿大冰酒,第四是加拿大西洋参,第五是枫叶茶,第六是三文鱼干,第七是哈德逊羊毛毯子,第八是加拿大名牌包,第九是加拿大冰酒,第十加拿大蔓越莓干 加拿大海洋三省特产? 加拿大海洋三省,即加东海洋三省,是加拿大东部的NovaScotia(新斯科舍)、NewBrunswick(新布伦瑞克)以及P.E.I(PrinceEd...

       网站目录与搜索引擎互动的关系 众所周知,搜索引擎靠脚本和机器代码运行,目录是人工组织整理的站点目录列表。无论何时我创建一个新站点并且喜欢把它提交到大多数目录。更大的目录中的一些在下面被部分列举。   当提交目录时,花费额外的时间保证你的站点在正确的分类方面并且正遵循目录指南。   一、提交你的站点   提交搜索引擎:   你可能想要付费提交你的站点,但是大多数搜索引擎都是免费收录你的站点。索引你站点最好的方法是通过让一个搜索引...

       个人网站与商业网站的区别在哪里 第一,个人网站通常是个人的是以理想与满足感为出发点,完全是管理个人的兴趣所致。可能今天建一个,明天建10个,后天又全部关掉。而商业网站是按照投资者的意图,遵循商业规律来运作的互联网项目,有严格的投资规范控制,一切运作都遵循商业规则来操作。 第二,商业网站基本上都投入较大,通常有创始人以外的投资者加入,运营者必须对投资者的投入承担商业责任。个人网站通常投入少,这样一来就不像商业网站那样大的经济风险。...

       如何做好自己的网络推广?(四) 互联网的迅速成长,让我们知道做好网络推广也正是现在很多企业所需要做的, 天津网站建设 天津虎网科技 ( www.huwz.com) 也是在推广方面有着很强的经验和足够的技术支持,网络推广也是举一反三,触类旁通,总结出最适合自己的推广组合拳,提高推广针对性、宣传效率和效果。想一想,在一个地方有效的方法,是否可以普及运用到所有其他网站、所有地方。不要怕麻烦,不要怕徒劳无功,不要怕白白付出,不要急功近利...

       网站制作需求明确是网站成功的首要前提 企业网站制作该怎么样确保成功?怎么样使网站制作上投入的每一分钱都物有所值?相信几乎所有的企业都很关心关注。从虎网网络专注企业网站建设八年的丰富经验来看:一个网站的成功与否与建站前是否理清网站制作需求有着极为重要的关联。在网站制作前应明确建立网站的目的,判定网站的功用,判定网站计划、投入费用,进行必要的市场分析等。现实中,有一些企业只是在跟风赶时髦的状态中匆忙上马网站制作项目,或者经不起一些不负责任...

       解决企业网站的高跳出率的方法 网站的高跳出率对企业所造成的影响是巨大的,网站的跳出率高,说明这个网站的用户体验做得比较糟糕,用户进去就跳出去了,反之如果跳出率较低,说明网站用户体验做得不错,用户能在网站找到需求的资料或者在网站进行阅读比较满意。下面解决企业网站的高跳出率的方法: 1. 网站的加载速度要快 一个网站的加载速度越大,网站用户离开网站的速度会越快。能否马上可以看见网站的内容对于用户体验非常重要,对于首次访问网站的用...

最新模板
少儿英语培训机构网站建设 培训公司网站建设
成人自考网站建设 成人培训网站制作设计版面
智能家居摆设设计网站建设 智能家居装修企业网站建设
铜螺母,铜螺丝,螺栓,螺钉工厂网站建设
废气处理设备,如活性炭吸附箱、RTO蓄热式氧化处理设备、光氧等离子复合设备 低温等离子设备 光氧催化设备等网企业网站建设
图文阅读