当前位置:380元网站建设 虎网站 > seo 优化 > 正文

利用百度蜘蛛referer找到报错

发布日期:2015-07-24

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错(4xx或者5xx)原因。随后社区版主飞鹰正义也对文章做了补充修正,现推荐给各位同学们。
什么是百度蜘蛛的referer?
百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度较近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度*页的logo,会发起这样的请求:

  上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额,属于“买1送1”。
对于站长的意义
  如果你发现有一批URL(仅限于img,js,css)报错(4xx或者5xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。
举个例子:
  比如我们的SEO日志分析系统中可以看到,符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报404。

  从发现问题至今过了1个月,查遍整个网站我也没找到入口。今天偶然仔细查了一下日志,想起了百度蜘蛛的referer,马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面(往往是这样)。收录流量都不错。由于较近公司图片系统更新,图片的URL全部更改了,但这套页面并没有跟着更新。
如果站点没有记录referer怎么办?


iis请在这里勾选“cs(Referer)”:


apache请参考:

apache log配置“Combined Log Format”章节

apache log配置的官方链接


       Nginx请参考:

nginx log配置

nginx log配置的官方链接


深圳宝安创宏盛仪器仪表和虎网科技签订网站建设事宜

    创宏盛是经深圳市宝安区工商局审核的有资质公司,统一社会信用代码:9144030056151030X9。同时经国家工信部和广东省通信管理局审核通过ICP备案;备案号:粤ICP备11106880号-1。创宏盛在深圳市宝安区龙华街道人民路东侧和平大厦A栋504。创宏盛选用虎网站定制型网站案例,此类网站主要是按客户要求和提供的风格案例或效果图纸来做,这种属于仿制和定制型网站,是根据功能开发的难易度来评估报...

       网站建设策划需要掌握的知识 一般来说网站建设策划需要具备的知识包括以下几点: 1.良好的文案写做能力 想法再好,观点再新颖,如果无法用文字很好的表达出来,那么将是一件很可惜的事。文案写做能力是一个策划师较基本的素质要求。所以一定要加强这方面的锻炼。 2.熟悉互联网经济 无论是企业网站建设策划需要具备的知识还是专业的互联网企业,在一定程度上对需要对互联网经济有一定的把握。 3.具有良好的分析能力和逻辑思维能力 网站策划中,我们...

       企业建站的因素有哪些 一,要明确网站定位。   关于个人网站来说,由于咱们自身的精力有限,不可能做一个高大全的网站,那么咱们就需要切入自己的利益,并紧密结合市场挑选竞争激烈度并不是很高的细分范畴,这样就可以有用提高市场竞争力,从而为未来的发展翻开空间。   二,域名和主机的挑选。   网站空间就好比咱们的住宅,假如住宅不安全或许不够安稳,那么网站天然很难安稳的运营。另外网站的空间还需要结合自己预备运营方历来明确,比如美...

       创建一个成功的网站该做什么? 创建一个成功的网站究竟该做些什么? 近年来,网站摇身一变成为了更好的交流场所和绝佳的信息来源地。Boss们不仅想让网站品牌化,同时也希望游客能在浏览时找到有价值的信息。SO,如果一个网站不能提供精准且广泛的信息给目标顾客,顾客们就会转而去其他的网站。 网站的另一个目的在于让生活更便利,让工作更快捷。它通过放大双向沟通的方式,让游客对此留下深刻印象,从而产生依赖心理,并愿意长久的通过网站的查询方式来...

       网站开发涉及的十方面 一个网站成功与否与建站前的网站开发有着极为重要的关系。在开发网站前应明确建设网站的目的,确定网站的功能和规模、投入费用,进行必要的市场分析等。只有详细的规划,才能避免在网站建设中出现的很多问题,使网站建设能顺利进行。   网站开发是指在网站建设前对市场进行分析、确定网站的目的和功能,并根据需要对网站建设中的技术、内容、费用、测试、维护等做出规划。网站开发对网站建设起到计划和指导的作用,对网站的内容...

       网站面包屑导航存在的误解及注意事项 面包屑导航的作用就是让用户知道当前网页的位置,这可以帮助用户在网站中快速找到返回路径,当然站在搜索引擎的角度也是利于蜘蛛爬取页面,接下来给大家讲解面包屑到时存在的误解及使用事项。 一、面包屑的使用范围 一些网站建设者认为,当子页面的内容分类较少时,不需要使用面包屑导航,事实上这是一个错误的想法。小编认为,只要一个页面中有两个以上的分类页面,就必须使用导航。毕竟,用户在点击分层页面时总是需要返...

最新模板
少儿英语培训机构网站建设 培训公司网站建设
成人自考网站建设 成人培训网站制作设计版面
智能家居摆设设计网站建设 智能家居装修企业网站建设
铜螺母,铜螺丝,螺栓,螺钉工厂网站建设
废气处理设备,如活性炭吸附箱、RTO蓄热式氧化处理设备、光氧等离子复合设备 低温等离子设备 光氧催化设备等网企业网站建设
图文阅读