怎样减少无效URL的爬行和索引

简单说，帖子指出一个严重而且现实的SEO问题：很多网站，尤其是B2C，产品条件过滤系统（如选择产品的品牌、价格、尺寸、性能、参数等）会产生大量无效URL，之所以称为无效只是从SEO角度看的，这些URL并不能产生SEO作用，反倒有负面作用，所以这些URL不收录为好，原因包括：

大量过滤条件页面内容重复或极为类似（大量复制内容将使网站整体质量下降）
大量过滤条件页面没有对应产品，页面无内容（如选择“100元以下42寸LED电视”之类的）
绝大部分过滤条件页面没有排名能力（排名能力比分类页面低得多）却浪费一定权重
这些过滤条件页面也不是产品页面收录的必要通道（产品页面应该有其它内链帮助爬行和收录）
爬行大量过滤条件页面极大浪费蜘蛛爬行时间，造成有用页面收录机会下降（过滤条件页面组合起来是巨量的）
那么怎样尽量使这些URL不被爬行和索引、收录呢？前几天的一篇帖子如何隐藏内容也可能成为SEO问题讨论的是类似问题，这种过滤页面就是想隐藏的内容种类之一。不过可惜，我目前想不出完美的解决方法。云晨守望提出两个方法，我觉得都无法完美解决。

一是将不想收录的URL保持为动态URL，甚至故意越动态越好，以阻止被爬行和收录。但是，搜索引擎现在都能爬行、收录动态URL，而且技术上越来越不是问题。虽然参数多到一定程度确实不利于收录，但4、5个参数通常还可以收录。我们无法确认需要多少参数才能阻止收录，所以不能当作一个可靠的方法。而且这些URL接收内链，又没有什么排名能力，还是会浪费一定权重。

第二个方法，robots禁止收录。同样，URL接收了内链也就接收了权重，robots文件禁止爬行这些URL，所以接收的权重不能传递出去（搜索引擎不爬行就不知道有什么导出链接），页面成为权重只进不出的黑洞。

连向这些URL的链接配合nofollow也不完美，和robots禁止类似，nofollow在Google的效果是这些URL没有接收权重，权重却也没有被分配到其它链接上，所以权重同样浪费了。百度据称支持nofollow，但权重怎么处理未知。

将这些URL链接放在Flash、JS里也没有用，搜索引擎已经可以爬行Flash、JS里的链接，而且估计以后越来越擅长爬。很多SEO忽略了的一点是，JS中的链接不仅能被爬，也能传递权重，和正常连接一样。

也可以将过滤条件链接做成AJAX形式，用户点击后不会访问一个新的URL，还是在原来URL上，URL后面加了#，不会被当成不同URL。和JS问题一样，搜索引擎正在积极尝试爬行、抓取AJAX里的内容，这个方法也不保险。

还一个方法是在页面head部分加noindex+follow标签，意即本页面不要索引，但跟踪页面上的链接。这样可以解决复制内容问题，也解决了权重黑洞问题（权重是可以随着导出链接传到其它页面的），不能解决的是浪费蜘蛛爬行时间问题，这些页面还是要被蜘蛛爬行抓取的（然后才能看到页面html里的noindex+follow标签），对某些网站来说，过滤页面数量巨大，爬行了这些页面，蜘蛛就没足够时间爬有用页面了。

再一个可以考虑的方法是隐藏页面（cloaking），也就是用程序检测访问者，是搜索引擎蜘蛛的话返回的页面拿掉这些过滤条件链接，是用户的话才返回正常的有过滤条件的页面。这是一个比较理想的解决方法，唯一的问题是，可能被当作作弊。搜索引擎常跟SEO讲的判断是否作弊的最高原则是：如果没有搜索引擎，你会不会这么做？或者说，某种方法是否只是为了搜索引擎而采用？显然，用cloaking隐藏不想被爬行的URL是为搜索引擎做的，不是为用户做的。虽然这种情况下的cloaking目的是美好的，没有恶意的，但风险是存在的，胆大的可试用。

还一个方法是使用canonical标签，最大问题是百度是否支持未知，而且canonical标签是对搜索引擎的建议，不是指令，也就是说这个标签搜索引擎可能不遵守，等于没用。另外，canonical标签的本意是指定规范化网址，过滤条件页面是否适用有些存疑，毕竟，这些页面上的内容经常是不同的。

目前比较好的方法之一是iframe+robots禁止。将过滤部分代码放进iframe，等于调用其它文件内容，对搜索引擎来说，这部分内容不属于当前页面，也即隐藏了内容。但不属于当前页面不等于不存在，搜索引擎是可以发现iframe中的内容和链接的，还是可能爬行这些URL，所以加robots禁止爬行。iframe中的内容还是会有一些权重流失，但因为iframe里的链接不是从当前页面分流权重，而只是从调用的那个文件分流，所以权重流失是比较少的。除了排版、浏览器兼容性之类的头疼问题，iframe方法的一个潜在问题是被认为作弊的风险。现在搜索引擎一般不认为iframe是作弊，很多广告就是放在iframe中，但隐藏一堆链接和隐藏广告有些微妙的区别。回到搜索引擎判断作弊的总原则上，很难说这不是专门为搜索引擎做的。记得Matt Cutts说过，Google以后可能改变处理iframe的方式，他们还是希望在同一个页面上看到普通用户能看到的所有内容。

总之，对这个现实、严重的问题，我目前没有自己觉得完美的答案。当然，不能完美解决不是就不能活了，不同网站SEO重点不同，具体问题具体分析，采用上述方法中的一种或几种应该可以解决主要问题。

而最最最大的问题还不是上述这些，而是有时候你想让这些过滤页面被爬行和收录，这才是杯具的开始。以后再讨论。

从越南到芽庄旅游多久攻略指南

    芽庄是越南的海滨城市，拥有壮观的海滩、美丽的风景和丰富的文化。无论是想要享受海滩、参观历史文化遗址，还是探索当地美食和文化，芽庄都是一个值得一游的地方。本文将为您提供从越南到芽庄旅游的攻略指南，帮助您更好地了解这座城市，规划您的旅行。 部分从越南到芽庄的交通方式 1. 飞机 从越南的首都河内或胡志明市到芽庄有多个航班，可选择越南航空、捷星航空、亚洲航空等航空公司。飞行时间约为1小时30分钟，但航...

       网站设计：2015网页设计趋势 如今已经接近年关，也许是时候对网站做出一些修改，以全新的面貌迎接新年的来临。虎网科技（西安网站建设）带大家了解下，今年年较有可能的网页设计趋势： { 关注虎网科技（西安网站建设、西安网站制作），每天为你推送互联网纯干货！} 　　 以图像或视频为背景铺满整个屏幕 　　视频是反应网站目的，表述网站先进性的很好方式，所以应该毫不犹豫地在主页上放上大幅美图或者视频。突出的标记线以及虚拟按钮能让网站变得...

       东莞大岭山镇达润球类体育和虎网站签下网站建设条款 达润选用虎网站企业商务型网站案例，其功能具备实用型所有配置外、特别值得关注的是增设了SEO深度优化，不管是内页还是标题都能够独立和个性化设置关键词和长尾词，更适合进行全站seo优化。达润是经东莞市大岭山镇工商局审核的有资质公司，统一社会信用代码：未知。达润在东莞市大岭山镇百花洞村北围街5号。 　　达润投资贸易有限公司是集研发、生产、销售于一体的综合性企业,经过10多年的不懈努力和执着的追求，开发了...

       网站内部优化与外部优化技巧 各位站长都知道，网站优化可以笼统的分为外部优化和内部优化，但是知道这其中的技巧的是真的太少太少了，下面我们就来说说站内优化和站外优化到底有哪些技巧所在呢？ 　　网站seo外部优化 　　当我们交换友情链接时，如果其他人的网站没有添加任何内容，这将成为一个SLR链接。友链可以互相传递权重。如果不加follow，这意味着你将权重转移给他，但他不会将重量转移给你。因此，当我们交换朋友链时，我们需要看...

       中小型企业在网站推广方面存在哪些问题？ 网站推广是指将企业的网站通过各种免费或收费的方式展现给网民的一种推广方式，在互联网市场激烈竞争的今天，利用强大的互联网平台将自己公司的产品或服务推销出去，已经成为潮流，受到很多的企业和消费者的认可，不过，目前依然有些中小型企业对网站推广认识不够，在推广方面存在很多的问题，具体问题就由 天津网站建设 - 虎网科技 的小编给大家做详细说明。 1、对推广平台认识不足 据天津网站建设-虎网科技的观察...

       深圳福田荣珀饰品与虎网站签约网站建设事宜 荣珀选用虎网站经济型入门级网站案例，其功能比较简单的程序，广告单图(无动漫)，页面较简单，适合小微企业产品展示型网站。荣珀是经深圳市福田区工商局审核的正规企业，统一社会信用代码：914403003295631594。同时经国家工信部和广东省通信管理局审核通过ICP备案；备案号：粤ICP备17162493号-2。荣珀坐落于深圳市福田区新洲路文化创意园309栋B座北梯605。 　　荣珀是以经营美洲多米...