当前位置:380元网站建设 虎网站 > 网站推广 > 正文

robots作用与nofollow的区别

发布日期:2019-07-31

 今天就来谈谈seo优化:robots作用是什么与nofollow有哪些区别,先来说第一个问题robots作用是什么。

robots作用与nofollow的区别

robots一般用于站长限制搜索引擎访问页面,所以说robots是网站跟搜索引擎爬虫间的协议,一般站长通过txt文本方式告诉搜索引擎爬虫被允许的权限,一般只要在根域名目录下,未设置目录访问权限的文件爬虫都可以抓取的到,如果网站跟搜索引擎之间没有协议,将使不可预知的大量信息泄露到网上,这不是双方愿意看到的。

robots作用是什么:

1.如果网站改版了,整个文件夹都没有了的时候,这个情况下就要考虑屏蔽掉整个文件夹。我们可以运用robots来对这整个的文件夹进行屏蔽,例如网站里的ab文件夹因改版全都给删掉了,这个时候就可以这样子设置:
  User-agent: *
  Disallow: /ab/

2.可以利用各种通配符对网站进行相对应的调配,例如我不想网站抓取我的所有图片,这个时候就可以运用$来进行设置。一般我们常见的图片的格式是BMP .jpg-w600、GIF、JPEG等格式。这个时候设置就是:
  User-agent: *
  Disallow: /.bmp$
  Disallow: /.jpg-w600$
  Disallow: /.gif-w600$
  Disallow: /.jpeg-w600$

3.如果你只想某一个搜索引擎抓取你的信息,这个时候就可以用robots进行设置,例如:我只想我的网站被百度这个收录,而不想被别的搜索引擎收录。就可以利用robots进行设置。
  User-agent: Baiduspider
  Allow:
  User-agent: *
  Disallow: /

4.还可以利用*来屏蔽掉相关的URL,有些网站不允许搜索引擎抓取动态地址的时候可以利用这个*通配符来进行匹配设置。一般情况下动态URL的有一个特点就是有“?”这个时候我们就可以利用这个特性来进行匹配的屏蔽:
  User-agent: *
  Disallow: /*?*

5.屏蔽所有的搜索引擎抓取信息,如果你的网站只是你的私密性的网站,不想太多的人知道的话,可以利用robots屏蔽掉所有的搜索引擎,例如你写的私人博客。你就可以把搜索引擎全都屏蔽掉。
robots与nofollow有哪些区别
robots文件是在根目录中的一个txt文本文件,里面用代码语句告诉蜘蛛什么可以抓取,什么不能抓取,从一开始就告诉了蜘蛛:“我有些东西不能让你看,请你自动绕开。”而nofollow属性的链接,意思是告诉蜘蛛这个链接你可以看看,但是跟我网站无关,不要给这个链接权重,这是比较直观的说法。

说得更通俗点robots一开始就告诉蜘蛛我们什么链接不要去抓取,而对于nofollow标签来说,他无法节省我们的蜘蛛资源,连接中加了nofollow标签,蜘蛛还是会抓取这个链接,只是不传递权重,也就是我们的网站不对这个链接传递权重。 

上海去马尔代夫怎么去,去马尔代夫一般飞哪个机场?

    去马尔代夫一般飞哪个机场? 一般是飞马尔代夫首都的马累机场,因为马尔代夫是有很多个小的岛屿组成,所以一般都是先降落在马累机场,然后要乘坐水上飞机飞往各个小岛,而各个小岛上都有建好的别墅式的小房子,房子一般是建在海水里面,房门打开几层台阶就可以下海游泳,风景非常优美,所以马尔代夫是度假胜地,特别适合会游泳的喜欢浮潜的人! 深圳到马尔代夫怎么走最好? 11小时45分左右,主要还是看哪个航空公司的。不过...

       虚拟主机和服务器之间的区别 虚拟主机,是在网络服务器上划分出一定的磁盘空间供用户放置站点、应用组件等,提供必要的站点功能与数据存放、传输功能。   虚拟主机一般俗称的“网站空间”。您可以想象您的网站就是一个完备的家庭,您家的门牌号码是方便别人找到您家的,网站也需要一个“门牌号码”,就叫做“域名”,俗称网址。您的家,需要有一个空间放置您的家具,也许是80平方,也许是更大300平方。对于网站也一样,需要有一个“虚拟主机”,俗称空...

       企业网站设计运用色彩方面 运用色彩方面 。扁平化对于设计师的要求更加严格, 在运用色彩的方面如果没有良好的能力很难做出好的设计。对于在没有浮雕和肌理效果的情况下, 必须要准确的掌握色彩的特点、熟练使用色彩的层次, 通过对平面色彩营造一个美观的界面、合理的指引视觉的流程的同时, 要准确把操作信息传递给用户。所以, 扁平化假如能设计的好, 可以给人清新、简单、有效率的感觉。但若是处理不够完美, 不但会显得乏味, 甚至使得用户无...

       龙华金元地产物业与虎网站签约网站建设条款 金元是经深圳市龙华新区工商局审核的有资质公司,统一社会信用代码:91440300MA5DC6U00K。金元坐落于深圳市龙华新区龙华街道玉翠新村C区83幢。金元选用虎网站经济型入门级网站案例,其功能比较简单的程序,广告单图(无动漫),页面较简单,适合小微企业产品展示型网站。   主要经营:室内外保洁;清洁服务;承包水电安装维修工程;下水管道疏通;绿化清洁;小区管理服务;市政清洁;垃圾运输服务;二手房...

       网站建设完毕的测试工作如何进行? 网站测试的重点内容是程序功能(php, asp.net)测试,其次是页面效果测试(html,css),一些常见的测试问题我们整理如下:   A.程序功能(php, asp.net)测试   1.表单提交测试(有表单的页面填写表单)   1)有的输入框只能允许输入数字,例如价格。输入文字试试是否出错。   2) 有的输入框只能输入少于100个数字或文字,字符长度有限制,多输入些文字看看是否出错。  ...

       网站怎样才能实现盈利 一,兴趣: 很多人听说做网站可以赚钱,月入几千或过万。于是马上买域名,买主机,开始做,当经常碰到问题没办法解决的时候,便开始想到放弃,殊不知做网站是要有兴趣的,兴趣是最好的老师,兴趣会使你不懂得时候想方设法的要弄明白,甚至弄不明白今晚不睡觉。任何事都是一样,没有兴趣做什么都做不好,如果仅仅只是为了赚钱来做网站的话,那我建议你趁早放弃。更加别提赚钱了。 二,三天打渔,两天晒网型: 很多人做网站就是什...

最新模板
少儿英语培训机构网站建设 培训公司网站建设
成人自考网站建设 成人培训网站制作设计版面
智能家居摆设设计网站建设 智能家居装修企业网站建设
铜螺母,铜螺丝,螺栓,螺钉工厂网站建设
废气处理设备,如活性炭吸附箱、RTO蓄热式氧化处理设备、光氧等离子复合设备 低温等离子设备 光氧催化设备等网企业网站建设
图文阅读