自始至终，以提供稳定、高性能的美国、香港php虚拟主机产品为己任，以用户极高满意为生存价值，以产品的可靠性为生命线，以网络零中断为终身奋斗目标
之前认为是肯定有作用的站长注意了，今天小编要提一件事情就是关于robots.txt协议的问题。很多站长都知道robots.txt是一种存放在网站空间根目录下的文本文件，是一种协议，用来告诉搜索蜘蛛网站中哪些可被爬行抓取，哪些不可被爬行抓取。
但是今天无忧主机小编遇到一个客户，他在robots.txt屏蔽了中的目录文件呀，为什么蜘蛛每日仍然照常爬行呢？”而后，叶剑辉自然便查网站robots.txt文档，以下便是对wordpress目录屏蔽设置：
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
但是确无法屏蔽，是什么问题造成的呢？
经过研究，无忧主机小编发现，只需要在这三段代码后面都加上”/”就可以；原来在后边加上与未加上/,对于蜘蛛而言是两种概念，加上了是告诉蜘蛛，这是一个文件夹，而未加上即告诉蜘蛛这是一个文件，也因此导致明明在robots.txt上做好了设置，却没能有效的屏蔽。
还有一个问题，那么就是这样屏蔽之后，真的就是蜘蛛就完全被屏蔽了么？
这里小编要提出的是：robots.txt协议并非是一个标准，一个规范，只是约定俗成而已罢了，就像法律里面道德的定义，并不是一定执行的。通常搜索引擎会识别这个文件，但也有一些特殊情况。（如之前的360事件：强制爬行所有的页面。）
在百度还有谷歌的算法里，某个页面只要有其他网站链接到该页面的话，同样有可能会被索引和收录。想要彻底屏蔽页面文件被谷歌索引的话，则需要在页面head中插入以下代码：
&meta name=”googlebot” content=”noindex”&
这个标签的作用是，当谷歌蜘蛛爬行遇到这个代码时候，就会将此页从谷歌搜索结果中完全丢弃，无视是否还有其他页链接到此页。
那百度呢？对于百度而言，百度跟谷歌又不一样，具体语句如下：
&meta name=”Baiduspider” content=”noarchive”&
但是上面这个标记只是禁止百度显示该页面快照，百度仍会为其建索引，并在搜索结果中显示网页摘要。
因此看来，网站只能禁止百度快照的显示，却无法做到禁止百度为网页建索引。
无忧主机相关文章推荐阅读：
本文地址：/seo/16616.html
喜欢本文或觉得本文对您有帮助，请分享给您的朋友 ^_^
无忧主机资质：（十年旗舰品牌）
相关技术帮助文档
技术帮助文档分类青青子衿, 悠悠我心, 但为君故, 沉吟至今
屏蔽百度爬虫的方法
　　在百度C2C产品&&即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是&杜绝不良商家欺诈&。　　在技术层面，淘宝屏蔽百度的方法是，在网站的robots.txt文件中加上如下内容：User-agent: Baiduspider Disallow: /　　但实际上这种方法并不能完全屏蔽百度的爬虫，至今在百度上输入还是可以看到内容，要不要索引网站，还是由百度说了算，要是遵守robots协议，那才不会索引，因此要想完全屏蔽百度的爬虫，需要在.htaccess中加入一些语句才可以，下面介绍两种方法。　　方法1：RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC] RewriteRule .* - [F]　　方法2：SetEnvIfNoCase User-Agent &^Baiduspider& bad_bot&Limit GET POST& Order Allow,Deny Allow from all Deny from env=bad_bot &/Limit&　　当然，对于普通中文网站来说，还是不建议屏蔽百度的爬虫，通常情况下做一些大型的英文网站，才有必要这么做，以节省流量。
　　除非注明，文章均为原创，转载请以链接形式标明本文地址
　　本文地址：
生活离不开搜索了
都把百度屏蔽了，那也没得搜啦
.Photosharingforum
继续测试～～
这种方法大家都知道。。。。。。。
少了百度一样能活
shafa,好东东,收藏了.
如果所有中文站都用这种方式，百度还有存在的价值吗？
哪天人人都屏掉百度就爽了,现在还是要靠它吃饭
对于我们这些小网站，可不能随便屏蔽百度蜘蛛。我们还需要百度，还需要支持百度呢。爱上对方 于
14:40:00 回复百度 就是为强奸你们这帮小妓女的而存在的
杀入前三。祝贺一下
爱爬不爬喜欢爬就爬不用理会
不公平竞争的结果
htaccess,用过
.ArtdesignBBS
屏蔽 百度真恶人！
要是内战国民×获胜，现在有人肯定骂国军打着统一的发动内战，还说共军抗日，却被说成不抗日
你好，我想问一下httpd.ini如何写屏蔽爬虫规则，因为我的是asp网站，恐怕支持不了htacess的规则吧
话说，大型英文站真有必要屏蔽么？除非是完全针对非国内网民
robots.txt设置
不能抛弃搜索引擎的网站不是好网站！
太容易沃尔特特瑞特如太热
现在这么做的还是少数吧.
但是对个人播客是在没有必要屏蔽了
百度就没有带来过多少流量
.Photosharingforum
百度不好。
还是没用，百度的spider不一定就亮明身份的，正要屏蔽只能封掉它的IP才行
16楼居然和我重名耶
我有好几个网站已经屏蔽百度了，百度老是抓我网站上的原创内容放到它的百度百科上，搜我的网站名，百度百科竟然排到了我的前面，真恶人！
呵呵好多网站应该都不会这样去做~
.ArtdesignBBS
有时候屏蔽了他还索引
.Photosharingforum
顺便测试一下 留言链接 是不是 有 BUG。
嗯,学习了!
.ada51时尚服装商城
小船要思量着掉头了。
w有必要这么做
.wordpress啦
还是不要屏蔽的好，小站点没有淘宝那么牛X
.Photosharingforum
.Photosharingforum
继 续 测 试 ～ ～
看幾個國外的知名博客，發現都有禁止百度進入的~~
百度总是封站，感觉有等于无。
百度还是需要的，不能屏蔽啊
呵呵 百度是好多站长的饭碗，想他收录都还来不及。
经常来爬我的网站啊，多多益善。
小东说的那个是怎么回事
方法是行的通,可是我们还指望百度呢
.tunpishuang
我博客搜索来源80%是百度。
月光这串代码最有用的网站应该是黄色网站呵呵！其次是一些隐私内容，其他的情况下不太用得上！！！！
可以试一试.
呵呵，原来是这样的啊！看来淘宝还是不愿彻底屏蔽百度瑟
评比了摆渡大爷，我们等于自杀
.匹克与peak
不错　你好厉害呀
不错，有道理，可以试一试。
我也靠百度吃饭呢哎
.SuperPanda
屏蔽 百度爬虫 会不会 对收录 有影响呢？
小网站还是需要百度，大型英文站有必要屏蔽吧，毕竟国内网民对英文普遍‘不爽’
百度总是封站，感觉有等于无。
没看明白 也用不到
这方法用了不错
我倒是希望它多还爬爬
我那个小站点，可不敢屏蔽百度，后果严重呀。
老帖变新贴，有意见么？
我的小网站可不敢屏蔽呢
有时候屏蔽了他还索引
博主你好：
无意中看到你的BLOG ，觉得非常不错，我本人只是个小站长，现在碰到个问题，希望您能指点一下：对于网站上放阿里妈妈的广告后，似乎对百度不大友好，原来我的站百度收录也有1000多页，放上阿里的广告后，百度收录不到200页，我觉得其中可能有为题，有的想法是在&A &中加些代码，让百度抓不到Href,不知道可行否，希望给些建议，在此谢谢了
赞助商广告
本站采用创作共用版权协议, 要求署名、非商业用途和相同方式共享. 转载本站内容必须也遵循“署名-非商业用途-相同方式共享”的创作共用协议.剖析robots.txt文件中应该屏蔽哪些目录
一个合格的网站，必须在根目录下包含一下robots.txt文件，这个文件的作用对所有运营网站的朋友来说并不陌生，网上也提供了很多制作robots.txt文件的方法和软件，可谓相当方便。但是，你真的知道网站的robots.txt文件设置是否合理，哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处?
那下面带着这些疑问，笔者会进行详细的解答，希望对新手站长朋友们有所帮助，老鸟勿喷。
一、什么是robots.txt
笔者引用百度站长工具中后段话来解释。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
二、robots.txt文件对网站有什么好处
1、快速增加网站权重和访问量;
2、禁止某些文件被搜索引擎索引，可以节省服务器带宽和网站访问速度;
3、为搜索引擎提供一个简洁明了的索引环境
三、哪些网站的目录需要使用robots.txt文件禁止抓取
1)、图片目录
图片是构成网站的主要组成元素。随着现在建站越来越方便，大量CMS的出现，真正做到了会打字就会建网站，而正是因为如此方便，网上出现了大量的同质化模板网站，被反复使用，这样的网站搜索引擎是肯定不喜欢的，就算是你的网站被收录了，那你的效果也是很差的。如果你非要用这种网站的话，建议你应该在robots.txt文件中进行屏蔽，通常的网站图片目录是：imags 或者
2)、网站模板目录
如上面 图片目录 中所说，CMS的强大和灵活，也导致了很多同质化的网站模板的出现和滥用，高度的重复性模板在搜索引擎中形成了一种冗余，且模板文件常常与生成文件高度相似，同样易造成雷同内容的出现。对搜索引擎很不友好，严重的直接被搜索引擎打入冷宫，不得翻身，很多CMS有拥有独立的模板存放目录，因此，应该进行模板目录的屏蔽。通常模板目录的文件目录是：templets
3)、CSS、JS目录的屏蔽
CSS目录文件在搜索引擎的抓取中没有用处，也无法提供有价值的信息。所以强烈建议站长朋友们在Robots.txt文件中将其进行屏蔽，以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。CSS样式的目录通常情况下是：CSS 或者 style
JS文件在搜索引擎中无法进行识别，这里只是建议，可以对其进行屏蔽，这样做也有一个好处：为搜索引擎提供一个简洁明了的索引环境;
4)、屏蔽双页面的内容
这里拿DEDECMS来举例吧。大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问，如果你生成全站静态了，那你必须屏蔽动态地址的URL链接。这里有两个好处：1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。这样做对搜索引擎友好性来说是有益无害的。
5)、模板缓存目录
很多CMS程序都有缓存目录，这种缓存目录的好处我想不用说大家也清楚了吧，可以非常有效的提升网站的访问速度，减少网站带宽，对用户体验也是很好的。不过，这样的缓存目录也有一定的缺点，那就是会让搜索引擎进行重复的抓取，一个网站中内容重复也是大祭，对网站百害而无一利。很多使用CMS建站的朋友都没有注意到，必须要引起重视。
6)被删除的目录
死链过多，对搜索引擎优化来说，是致命的。不能不引起站长的高度重视，。在网站的发展过程中，目录的删除和调整是不可避免的，如果你的网站当前目录不存在了，那必须对此目录进行robots屏蔽，并返回正确的404错误页面(注意：在IIS中，有的朋友在设置404错误的时候，设置存在问题，在自定义错误页面一项中，404错误的正确设置应该是选择：默认值 或者 文件，而不应该是：URL，以防止搜索引擎返回200的状态码。至于怎么设置，网上教程很多，大家要吧搜索一下)
这里有一个争议性的问题，关于网站后台管理目录是否需要进行屏蔽，其实这个可有可无。在能保证网站安全的情况下，如果你的网站运营规模较小，就算网站管理目录出现在robots.txt文件中，也没有多大问题，这个我也见过很多网站这样设置的;但如果你的网站运营规模较大，竞争夺手过多，强烈建议千万别出现任何你网站后台管理目录的信息，以防被别有用心的人利用，损害你的利益;其实搜索引擎越来越智能，对于网站的管理目录还是能很好的识别，并放弃索引的。另外，大家在做网站后台的时候，也可以在页面元标签中添加：进行搜索引擎的屏蔽抓取。
最后，需要说明一点，很多站长朋友喜欢把站点地图地址放在robots.txt文件中，当然这里并不是去屏蔽搜索引擎，而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。这里需要注意一下：1、站点地图的制作一定要规范;2、网站一定要有高质量的内容;
转载时注明：绿壳鸡蛋/原创发布。
注：相关网站建设技巧阅读请移步到频道。
最新图文推荐
最新专栏文章
大家感兴趣的内容
网友热评的文章
seajs.config({
base: "/resource/passapi/scripts/"
seajs.use('seajs/seajs-css');
seajs.use(['artdialog/src/dialog-plus'], function (dialog) {
$('#favorite').on('click', function(){
$.getJSON('/passapi.php?op=userstatus&callback=?', function(data){
if (data.status == 1) {
var _this = $('#favorite').find('span');
$.getJSON('/?app=favorite&controller=favorite&action=add&jsoncallback=?&contentid='+contentid, function(json){
if(json.state){
_this.html('& &众所周知，SEO优化中robots机器人是用来抓取网站内容的，而robots.txt文件则是放在我们网站根目录下面的一个文本文件，用来规定什么蜘蛛（机器人）可以抓取什么文件，不可以抓取什么文件。我们通常用robots来告诉搜索引擎，这个目录你可以进，那个目录你不可以进；这个文件你可以访问，那个文件你不能访问。但是有些时候，robots文件，我们还是要谨慎使用的好。&& &事情还得从年初开始。年初我负责的一个网站因为网站刚建好，内容还没填充完整，大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取，等到一个月之后，填充得已经差不多了，我就开放蜘蛛抓取。我不仅有提交首页网址给百度，提交网址诊断，而且还发了不少外链，但一天一天过去，在百度上面SITE网站就是一个收录都没有。我就纳闷了，是不是我什么地方设置错误了呢？结果在谷歌上面site了一下已经有上百个收录了，306，搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽，百度长时间未反应过来导致的。& &前两个月，我又有一个新站重新建好开始填充内容，也是把网站屏蔽着，结果到现在都两个月过去了，可是还是不收录，首页还是提示“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。”而谷哥收录了93条，搜狗收录了1条，360收录了45条。这次我这次彻底对度娘的robots文件反应速度是无语了。& &前两天在群里与伙伴们讨论，一位叫乌鸦的大神说自己之前也遇到过几次这样的情况。在此慎重的提醒各位朋友，新建的网站，千万不要先把网站文件上传到空间后加个robots.txt，然后填充信息，填充好了才开放抓取。如果可以在本地把网站建好，填充好内容再上传最好，否则上传到空间加robots禁止抓取，等开放抓取的时候，百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录，对网站优化的周期影响无疑是巨大的
All rights reserved.&&法律顾问：蓝律师(浙江东孚律师事务所)&&&&&&
400-800-5790
博采网络为您提供创新的、、、，知名！}