识别搜索引擎爬虫真伪的方法浅析

　　相信不少网站对搜索引擎爬虫都是又爱又恨，因为其中不仅有些爬虫不守规矩，还有人冒充爬虫对网站进行疯狂的扫描。

　　做的比较好的爬虫抓取频率都比较合理，对网站资源消耗比较少，Google Spider会根据网页的下载速度等因素进行抓取速度的动态调整，你可以通过Webmaster Tools来调整Spider的抓取速度。

　　Google_Webmaster_Tools_Settings

　　很多糟糕的网络爬虫，经常并发几十上百个请求循环重复抓取。一个“爬虫”先是将PageNo递增到无穷大——被封，过了4个小时，“爬虫”又回来了，这次程序倒是改进了不少，通过分析网页内部的链接进行抓取，可是没过多久发现总是抓取那几个特定的页面，原来被网页内部链接套住，程序进入了死循环，只能封杀。

　　网上也出现了很多如何封杀恶意爬虫的方法。常见的就是根据UserAgent中的标识进行识别封杀，但是道高一尺魔高一丈，接下来就有人伪造User-Agent，伪装成各大搜索引擎的爬虫进行抓取。

　　目前的做法是根据UserAgent进行判断，如果是真正的搜索引擎爬虫，那么就放过；如果发现是伪造的就坚决封杀。剩余的正常UserAgent的访问则通过限制IP并发请求次数来限制。

　　那么问题就出现了，如何才能正确识别搜索引擎爬虫的真伪，其实一些大型的搜索引擎商都已经提供了相关的方法，那就是反向DNS验证。

　　拿Google Spider举个例子：

　　Google：www.google.com/support/webmasters/bin/answer.py?answer=80553

　　Yahoo：http://www.ysearchblog.com/2007/06/05/yahoo-search-crawler-slurp-has-a-new-address-and-signature-card/

　　Bing：cn.bing.com/community/blogs/search/archive/2006/11/29/search-robots-in-disguise.aspx

　　可喜可贺的是baidu的2个月前爬虫也开始遵守这一“潜规则”，虽然没有在任何网页公开此消息，但经过测试，实际上是可行的。

九月芽庄旅游好吗 什么时候去越南旅游最便宜？

    对于夏天，你会选择哪里作为旅游首选？ 576 收藏分享转发到头条复制链接微信微信扫码分享新浪微博QQ空间举报潆得天下 2019年07月29日 关注 对于夏天来了，您会选择哪里作为旅游首选这道问题我有以下想法： 1、首先我认为应该根据自己内心的想法去选择旅游地点，因为每个人喜欢的也会有所不同，有人喜欢海边有人就喜欢进大山、草原亲近自然。 2、现在是夏季，我同时也刚从海边三亚飞回来，景是特别美，但天...

       网站的收录和排名之间存在的关联 高质量网站平台 的包含和排名直接影响我们的优化最终结果。之所以，我们必须要重视它。那么，网站排名优化和网站收录之间都有哪些区别？本文带大家了解： 网站的收录和排名之间存在的关联。 这里很多人会问，为什么有些网站平台的收录名很高，但排名却没有？网站平台上的文章内容质量很好，并且收录的页面数更好。排名的可能性将降低。再者，如果网站平台中收录的文章质量较差，则会影响关键字的排名。良好的收录性可以使许多页...

       购买网站空间需要注意的三大问题 现在是互联网时代，每个企业，商家，个人都想建立自己的官方网站。他们通常都会找一些网络建设企业给他们建立网站。然而，网络企业也是非常的多，做出网站的效果也是都不一样的。漂亮，大气我们在这就不谈了。我们只谈网站是否稳定，是不是几天打不开，或者哪天百度就搜索不到网站了。 　　如果想要稳定的空间，大家选择贵一些，有名的空间就是了，比如万网的空间。但是，对于一些草根本站长来说，用万网的空间真的有点压力。那么...

       简单的网站制作会有哪些元素 简约看起来别说是非常简单的网站，做起来那么不是简单的事，尤其的使用元素方面要做到合理，在这方面中相当重要，倘若这方面做不好那么就会出现网站布局差，此时也会给网站造成不必的麻烦出现。先要规划好这网站的定位，这样做的网站才是合理的，简单的网站制作会有哪些元素呢？ 简单的网站制作会有哪些元素 　　当然这个列表还能更长一些，极简的ui设计突出重点的元素，让客户行为直观也具有目的，除此之外简单的界面看起来不...

       怎么运用社会化媒体进行网络推广?(上) 社会化媒体的用户，包括Web2.0网站，特别是社区形网站的用户，往往是网络营销人员的潜在目标用户，但网络营销人员需从中选择一个最适合自己品牌和网站发展的社会化媒体策略，那么，怎么运用社会化媒体进行网络推广?这是新竞争力网络营销管理顾问(www.jingzhengli.cn)在本文将要探讨的内容。 社会化媒体策略主要包括以下三步: ·设定目标和期望值 ·寻找宣传的目标网站 ·建立资金的投入度...

       网站设计的核心是什么 好的网站设计现在已经不单单是界面的表现了，更是用户友好程度和搜索友好程度的综合，不考虑用户和搜索引擎的网站即使界面做再漂亮，也难以产生实质效果。那么这对于网页设计要求就比较高，现在虎网网络就来说说网站建设设计中需要注意的地方。 　　一般这里介绍下网站建设设计的核心有三大元素，色彩、框架、细节。色彩是指网站的整体色彩搭配，框架是指网站的排版和网页布局，而细节是指设计整体上出现的小问题。 　　网站访问...