Robots.txt协议的写法及屏蔽文件

网站的robots.txt文件设置是不是合理，哪些文件或许目录需求屏蔽、哪些设置办法对网站运营有优点?有人复制出相同的内容以应付不同搜索引擎的排名规则。然而，一旦搜索引擎发现站内有大量“克隆”的页面，就会给以惩罚，不收录这些重复的页面。

另一方面，我们网站的内容属于个人私密文件，不想暴露在搜索引擎中。这时，robot.txt就是为了解决这两个问题。

一、什么是robots.txt?

robots.txt是网站和搜索引擎的协议的纯文本文件。当一个搜索引擎蜘蛛来访问站点时，它首先爬行来检查该站点根目录下是否存在robots.txt，

如果存在，根据文件内容来确定访问范围，如果没有，蜘蛛就沿着链接抓取。robots.txt放在项目的根目录下。

二、robots.txt基本语法：

1)、允许所有搜索引擎访问网站的所有部分

robots.txt写法如下：

User-agent:*

Disallow:

或者

User-agent:*

Allow:/

注意：1.****个英文要大写，冒号是英文状态下，冒号后面有一个空格，这几点一定不能写错。

2)、禁止所有搜索引擎访问网站的所有部分

robots.txt写法如下：

User-agent:*

Disallow:/

3)、只需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引

robots.txt写法如下：

User-agent:*

Disallow:/css/

Disallow:/admin/

Disallow:/images/

注意：路径后面有斜杠和没有斜杠的区别：比如Disallow:/images/有斜杠是禁止抓取images整个文件夹，Disallow:/images没有斜杠意思是凡是路径里面有/images关键词的都会被屏蔽

4)、屏蔽一个文件夹/templets，但是又能抓取其中一个文件的写法:/templets/main

robots.txt写法如下：

User-agent:*

Disallow:/templets

Allow:/main

5)、禁止访问/html/目录下的所有以”.php”为后缀的URL(包含子目录)

robots.txt写法如下：

User-agent:*

Disallow:/html/*.php

6)、仅允许访问某目录下某个后缀的文件,则使用“$”

robots.txt写法如下：

User-agent:*

Allow:.html$

Disallow:/

7)、禁止索引网站中所有的动态页面

比如这里限制的是有“?”的域名，例如index.php?id=1

robots.txt写法如下：

User-agent:*

Disallow:/*?*

8)、禁止搜索引擎抓取我们网站上的所有图片(如果你的网站使用其他后缀的图片名称，在这里也可以直接添加)

有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow:/images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。

robots.txt写法如下：

User-agent:*

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.gif$

Disallow:.png$

Disallow:.bmp$

三、写robots.txt要注意的地方：

1)、****个英文要大写，冒号是英文状态下，冒号后面有一个空格，这几点一定不能写错。

2.)、斜杠：/代表整个网站

3)、如果“/”后面多了一个空格，则屏蔽整个网站

4)、不要禁止正常的内容

5)、生效时间是几天到两个月

四、robots.txt文件对网站优化有什么作用?

1、疾速增加网站权重和拜访量;

2、制止某些文件被查找引擎索引，能够节约服务器带宽和网站拜访速度;

3、为查找引擎供给一个简洁明了的索引环境

五、哪些网站的目录需求运用robots.txt文件制止抓取?

1)、图像目录

图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多cms的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在robots.txt文件中进行屏蔽，一般的网站图像目录是：imags或许img;

2)、网站模板目录

cms的强大和灵敏，也致使了许多同质化的网站模板的呈现和乱用，高度的重复性模板在查找引擎中形成了一种冗余，且模板文件常常与生成文件高度类似，相同易形成相同内容的呈现。对查找引擎很不友爱，严峻的直接被查找引擎打入冷宫，不得翻身，许多cms有具有独立的模板寄存目录，因而，大概进行模板目录的屏蔽。一般模板目录的文件目录是：templets

3)、css、js目录的屏蔽

css目录文件在查找引擎的抓取中没有用途，也无法供给有价值的信息。所以强烈主张在robots.txt文件中将其进行屏蔽，以进步查找引擎的索引质量。为查找引擎供给一个简洁明了的索引环境更易晋升网站友爱性。css款式的目录一般情况下是：css或许style，

js文件在查找引擎中无法进行辨认，这里仅仅主张，能够对其进行屏蔽，这样做也有一个优点：为查找引擎供给一个简洁明了的索引环境;

4)、屏蔽双页面的内容

这里拿dedecms来举例吧。dedecms能够运用静态和动态url进行同一篇内容的拜访，若是你生成全站静态了，那你有必要屏蔽动态地址的url连接。

这里有两个优点：

①、查找引擎对静态的url比动态的url更友爱、更简单录入;

②、避免静态、动态url能拜访同一篇文章而被查找引擎判为重复内容。这样做对查找引擎友爱性来说是有益无害的。

5)、模板缓存目录

许多cms程序都有缓存目录，这种缓存目录的优点我想不用说我们也明白了吧，能够十分有用的晋升网站的拜访速度，削减网站带宽，对用户体会也是极好的。不过，这样的缓存目录也有必定的缺陷，那就是会让查找引擎进行重复的抓取，一个网站中内容重复也是大祭，对网站百害而无一利。许多运用cms建站的兄弟都没有注意到，有必要要导致注重。

6)、被删去的目录

死链过多，对查找引擎优化来说，是丧命的。不能不导致站长的高度注重，。在网站的开展过程中，目录的删去和调整是不可避免的，若是你的网站当时目录不存在了，那有必要对此目录进行robots屏蔽，并回来正确的404过错页面。

这里有一个争议性的疑问，关于网站后台办理目录是不是需求进行屏蔽，其实这个可有可无。在能确保网站安全的情况下，若是你的网站运营规划较小，就算网站目录呈现在robots.txt文件中，也没有多大疑问，这个我也见过许多网站这样设置的;但若是你的网站运营规划较大，对手过多，强烈主张千万别呈现网站后台管理目录的信息，以防被心怀叵测的人使用，危害你的利益;引擎越来越智能，关于网站的管理目录仍是能极好的辨认，并抛弃索引的。别的，我们在做网站后台的时分，也能够在页面元标签中增加：进行查找引擎的屏蔽抓取。

常州旅游景点南京都市圈，南京在常州的哪个方位？

    南京在常州的哪个方位？ 南京在常州的西边，因为我们在坐火车或者开高速公路的时候，如果要去南京的话都是往西边方向开他的海拔比常州的海拔要高，所以南京在常州的西边也是江苏的省会城市那里的经济非常的发达，常州位于南京和上海的中间位置。到南京大概车程是两个小时高速和一个小时高铁。 常州跟南京交界吗？ 南京和常州接攘的地方，在常州溧阳，常州市溧阳市的上兴镇，和南京市的高淳桠溪镇交界，两地地理位置优越。属于鱼...

       西安网站建设技巧之如何缩短项目工期 较近几个同时做的西安网站建设项目都是比较急的，工期相对短了很多。以前也曾经出现过某个网站建设加急做的情况，但是突然几个项目同时缩短工期确实还是我先进次遇到，在项目建设中积累了几个可以缩短项目工期的经验和大家分享。 一个网站建设项目大概需要4个人接手，先进个是销售，主要负责客户接洽以及整理项目文档。销售需要将项目做成2个文档先进个是呈现在合同中，第二个则是给公司同事看的功能/设计框架文档。主要是便于...

       企业网站设计保证了网站信息的安全性 保证了网站信息的安全性 。对于PHP来说, 其内置的加密函数是crypt、MDS5、base64_enecode/ase64_deco。首先crypt这种函数的主要作用是对网站的明文进行一定的单项加密, 例如对网站用户的登录密码进行加密一般使用的就是这种函数。采用这种函数进行加密的密文, 只有用户和系统中的密文匹配之后才能够登陆成功。其次在PHP中还有一种函数关系, 即MD5, 这属于一种内置的函...

       响应式网站的SEO优化优缺陷 现在移动的流量超越PC，可是为什么还有有人建造响应式网站，乃至很多新手仍是不知道什么样的方法优化网站更好，是独自移动站仍是独自的PC站，仍是自适应的网站优化效果更好？这些都是绝大部分搜索引擎优化的疑问，接下来给大家讲讲。 　　一、什么是响应式（自适应）网站？ 　　响应式网站（简称RWD），这个网站能够适应不同设备的访问（手机、平板电脑、桌面计算机），便利用户的浏览，减少用户放大缩小的操作，给用户更...

       浅谈网站的艺术设计 据悉，网页艺术设计是伴随着互联网的产生而形成的新课题，是网页设计者依照设计目的和要求对网页的构成元素进行艺术规划的创造性思维活动，必然成为设计艺术的重要组成部分，并随着网络技术的发展而发展。表面上看，它不过是关于网页版式编排的技巧与方法，而实际上，它不仅是一种技能，更是艺术与技术的高度统一。 　　 一、网页艺术设计的内容 　　设计活动中包含着主观和客观两方面的因素。在确立了网页主题之后，首先要明确...

       网站优化之换空间需要注意什么 一。生效时间前 当我们要换空间的时候，就难免要去更改域名的dns解析，当你改了解析后，最多一个小时就能生效，但是我们不知这一个小时中是一分钟生效，还是二十分钟生效，所以我们得把这一个小时的事都给想到。更改解析之前，一定要上传好原网站所有数据到新空间中，不要等到域名解析生效后才去上传，那样就会有一个小时的时间打不开网站，对用户流量也不好，对各大搜索引擎收录也不利。我们得做到安全的过渡，让网站在不知不...