后使用快捷导航没有帐号？
robots.txt到底是干什么用的？网站可以没有这个文件么？
发布： 09:17
2091 次浏览 30 位用户参与讨论
由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述这怎么办？？！我的百度收录也从224掉到157了
本帖子中包含更多资源
才可以下载或查看，没有帐号？
参与讨论的站长有 30 人
： 09:18:24
提示: 作者被禁止或删除 内容自动屏蔽
： 09:27:08
把你的robots.txt 文件弄个图上来看看 &应该是ROBOTS.TXT设置错误
： 09:27:29
把你的robots.txt 文件弄个图上来看看 &应该是ROBOTS.TXT设置错误
： 09:28:11
禁止搜索引擎收录的呀 不放这个文件也是可以的
： 09:31:14
那个命令是禁止搜索引擎抓取的。
： 09:40:39
那就是屏蔽百度蜘蛛抓取的文件啊
： 09:42:09
你去找一下正确的robots.txt 文件写法，如果你不需要限制搜索引擎抓取内容，这个文件删掉也可以
： 09:48:55
这个文件告诉搜索引擎哪些页面不允许抓取。也可以指定百度，谷歌等等。有具体的语法，不难。实在不知道怎么写，是可以不要这个文件的，或许空文件也行。如果没有，就是告诉搜索引擎，所有的页面都可以抓取。其实，即便是所有的页面都可以抓取，可是那些需要登录验*的，搜索引擎一样抓取不到的。
： 09:49:59
这个文件告诉搜索引擎哪些页面不允许抓取。也可以指定百度，谷歌等等。有具体的语法，不难。实在不知道怎么写，是可以不要这个文件的，或许空文件也行。如果没有，就是告诉搜索引擎，所有的页面都可以抓取。其实，即便是所有的页面都可以抓取，可是那些需要登录验*的，搜索引擎一样抓取不到的。
： 09:58:10
貌似那种命令确实是不能抓取的。百度一下也可以··
： 10:02:24
我觉得这个东西有的话也会留下安全隐患
： 10:04:27
禁止搜索引擎抓取
： 10:09:13
这个文件个人觉得只会带来安全隐患
： 10:12:08
是禁止搜索引擎收入的，你可以解除一些限制
： 10:26:45
如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。必须命名为：robots.txt，都是小写，robot后面加&s&。robots.txt必须放置在一个站点的根目录下，如。。。。。网站+/robots.txt 。可以成功访问到，则说明本站的放置正确。
： 11:18:43
这文件里面写的命令是允许或者禁止搜索引擎抓取你所设定的内容，有些内容不想让搜索引擎抓取的话，可以在里面禁止；
： 11:22:20
网站robots.txt蛮重要的哦，如果没有就是允许谷歌和百度可以抓去网站所有内容，很多网站robots.txt也设置了静止抓取管理目录、图片什么的
： 11:28:29
DASSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
： 11:40:15
robots.txt文件这个东西，最好别写！如果写的话，容易出问题！
： 11:40:37
robots.txt文件这个东西，最好别写！如果写的话，容易出问题！
： 13:30:34
robots.txt是一个简单的纯文本文件（记事本文件），搜索引擎机器人通过robots.txt里的“说明”，理解该网站是否可以全部抓取或部分抓取。这个文件要自己建一个的。如果不存在该文件，则百度默认这个网站允许其全部抓取。
： 13:30:38
robots.txt是一个简单的纯文本文件（记事本文件），搜索引擎机器人通过robots.txt里的“说明”，理解该网站是否可以全部抓取或部分抓取。这个文件要自己建一个的。如果不存在该文件，则百度默认这个网站允许其全部抓取。
： 14:30:59
如果你想让蜘蛛抓取全站内容，可以不需要这个文件，希望我的答案能帮助你。
： 14:54:23
对的 其实也没有用 百度的LEE已经说了需要百度抓取后一段时间才能生效而这个生效期还是需要百度考虑。所以不用担心
添加一条新回复
HI,欢迎来到站长之家论坛
(C)CopyRight 2002- Inc All Rights Reserved. 站长之家 版权所有
增值电信业务经营许可证: 闽B2-号 -
, Processed in 0.537621 second(s), 70 queries
, Redis On.网站robots.txt文件的好处及正确书写
作为一名seo人员，我们都很清楚Robots.txt文件对我们网站的重要性，Robots.txt文件只一个纯文本文件，它就像网站地图一样，给搜索引擎指明道路，当蜘蛛搜索一个站点时，它首先爬行来检查该网站的根目录下是否存在Robots.txt文件。如果存在的话，搜索引擎会按照该文件的内容来确定访问范围，如果该文件不存在的话，那么搜索引擎就会沿着链接来抓取。
根据搜索引擎的抓取规则，我们可以总结出Robots.txt文件会给我们的网站带来以下四点好处：
第一，Robots.txt文件大大节省服务器宽带
我们都知道像email retrievers、image
strippers这类搜索引擎都耗用大量宽带，而且对网站没有什么太大的意义，而通过Robots.txt就可以制止不必要的爬行工作，如果你的网站是图片站的话，没有设置好Robots.txt文件的话，就会浪费大量的服务器宽带。
第二、方便搜索引擎爬起工作
如果你的网站内容丰富，页面很多，设置Robots.txt文件更为重要，比如你有个网站，整个站有50多个G，打开页面可能会比较慢，如果不配置好Robots.txt文件的话，蜘蛛爬行工作就会很费力，而且如果太多的蜘蛛爬行，以至会影响你网站的正常访问。
第三、robots.txt文件可以制止搜索引擎索引页面
你可以通过RobotS.txt文件对你的网站非公开页面进行制止蜘蛛爬行，如果你的网站后台程序、管理程序很重要不想让别人看到、那么你可以通过Robots.txt进行设置，事实上，对于某些在运行中产生临时页面的网站来说，如果没有配置Robots.txt文件的话，搜索引擎甚至会索引那些临时文件。
第四、robots.txt对网站地图链接重要性
如果我们把自己的网站地图链接放在robots.txt文件里，那么我们每天就不用到各个搜索引擎的站长工具或者相似的站长部分去提交自己的sitemap文件，各大搜索引擎都发布了对网站地图的新的支持方式，就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google，Yahoo，而中文搜索引擎公司，显然不在这个圈子内。
&既然我们已经知道了RobotS.txt文件的好处，那如何正确并合理书写RobotS.txt文件也是个很关键的问题。
&首先我们需要了解robots.txt文件的一些基本语法。
允许所有搜索引擎访问网站的所有部分
或者建立一个空白的文本文档，命名为robots.txt
User-agent: *
User-agent: *
禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /
禁止百度索引你的网站
User-agent: Baiduspider
Disallow: /
禁止Google索引你的网站
User-agent: Googlebot
Disallow: /
禁止除Google外的一切搜索引擎索引你的网站
User-agent: Googlebot
User-agent: *
Disallow: /
禁止除百度外的一切搜索引擎索引你的网站
User-agent: Baiduspider
User-agent: *
Disallow: /
禁止蜘蛛访问某个目录
（例如禁止admin\css\images被索引）
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
允许访问某个目录中的某些特定网址
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/
使用“*”，限制访问某个后缀的域名 例如索引访问admin目录下所有ASP的文件
User-agent: *
Disallow: /admin/*.htm
使用“$”仅允许访问某目录下某个后缀的文件
User-agent: *
Allow: .asp$
Disallow: /
禁止索引网站中所有的动态页面
（这里限制的是有“?”的域名，例如index.asp?id=1）
User-agent: *
Disallow: /*?*
有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow:
/images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。具体办法如下。
禁止Google搜索引擎抓取你网站上的所有图片
(如果你的网站使用其他后缀的图片名称，在这里也可以直接添加)
User-agent: Googlebot
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
禁止百度搜索引擎抓取你网站上的所有图片
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
除了百度之外和Google之外，禁止其他搜索引擎抓取你网站的图片
(注意，在这里为了让各位看的更明白，因此使用一个比较笨的办法——对于单个搜索引擎单独定义。)
User-agent: Baiduspider
Allow: .jpeg$
Allow: .gif$
Allow: .png$
Allow: .bmp$
User-agent: Googlebot
Allow: .jpeg$
Allow: .gif$
Allow: .png$
Allow: .bmp$
User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
仅仅允许百度抓取网站上的“JPG”格式文件
（其他搜索引擎的办法也和这个一样，只是修改一下搜索引擎的蜘蛛名称即可）
User-agent: Baiduspider
Allow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
仅仅禁止百度抓取网站上的“JPG”格式文件
User-agent: Baiduspider
Disallow: .jpg$
在了解了以上这些基础的语法之后，对于robots.txt的写法各位已经有了一个大概的概念了，不过在学习写作robots.txt文件时，我们还必须要了解一些大型搜索引擎的蜘蛛名称，这样可以便于我们写做robots.txt文件。
Google对一般网页的索引蜘蛛
Googlebot-Mobile
Google对于移动设备，如手机网页的索引蜘蛛
Googlebot-Image
Google专门用来抓取图片的蜘蛛
Mediapartners-Google
这是Google专门为放置了Google
Adsense广告联盟代码的网站使用的专用蜘蛛，只有网站放置了Google
Adsense代码的情况下，Google才会使用这个蜘蛛。这个蜘蛛的作用是专门抓取Adsense广告内容
Adsbot-Google
这是Google专门为Google
Adwords客户设计的蜘蛛，如果你使用了Google的Adwords服务，那么这个蜘蛛就会派出这个蜘蛛来衡量放置了你广告的网站的质量。
百度蜘蛛Baiduspider
百度的综合索引蜘蛛
雅虎蜘蛛：Yahoo! Slurp
雅虎的综合索引蜘蛛
雅虎搜索引擎广告蜘蛛Yahoo!-AdCrawler
雅虎专门为Yahoo!搜索引擎广告开发的专用蜘蛛
网易有道蜘蛛YodaoBot
网易有道搜索引擎综合索引蜘蛛
腾讯SOSO蜘蛛Sosospider
腾讯SOSO综合索引蜘蛛
搜狗蜘蛛sogou spider
搜狗综合索引蜘蛛
Live综合索引蜘蛛
注意：以上蜘蛛名称请按照图表区分大小写
在上面这些搜索引擎蜘蛛中，我们最常用的就是Googlebot和Baiduspider，因此对这两个蜘蛛的用法要特别注意。
以上的robots.txt文件可以帮助我们对于搜索引擎的访问做一个限制，这里需要注意的有几个方面。
1、 robots.txt文件必须处于网站根目录下，而且必须命名为robots.txt
2、 robots.txt文件的文件名全部是小写字母，没有大写字母。
3、 如果对于robots.txt文件的写法把握不准，那么可以直接放一个空的文本文档，命名为robots.txt即可。
到此，已完全讲述了robots.txt文件的好处及正确书写的方法，希望对所有的SEO工作人员在网站优化方面有一些帮助。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。robots.txt文件中应该屏蔽哪些目录_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
robots.txt文件中应该屏蔽哪些目录
||文档简介
重庆天帮科技有限公司致力于为客户提供全方...|
总评分0.0|
&&r​o​b​o​t​s​.​t​x​t​文​件​中​应​该​屏​蔽​哪​些​目​录
阅读已结束，如果下载本文需要使用0下载券
想免费下载更多文档？
定制HR最喜欢的简历
你可能喜欢怎么查询自己网站是否添加robots.txt文件呢？请高手指点？_百度知道不让搜索引擎收录网站的Robots.txt文件写法 - 全球免费中心
&当前位置：&&&&&&
&不让搜索引擎收录网站的Robots.txt文件写法
注意题目是“让搜索引擎不收录你的网站”，弄错了，后果可是很严重哦~
有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形？想象一下，如果要向世界上所有的人公开你的私人日记，你能接受吗？的确是很矛盾的问题，站长们大都忧虑“如何让搜索引擎收录的我的网站？”，而我们还是要研究一下“如何让搜索引擎不收录我们的网站”，也许我们同样也用的到。
1.搜索引擎如何工作的？
简单的说，搜索引擎实际上依靠的庞大的网页数据库。按搜索方式可以分为 全文搜索 和 目录搜索 两种。
所谓全文搜索，是搜索引擎通过从网页自动提取信息来建立数据库的过程。至于提取的原理，就是SEO狂热者们所研究的算法，在他们的理想情况下，网页应该是针对搜索引擎设计的，具有最好的收录效果。当然，不是本文的话题。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信 息存入数据库，以备用户查询。
与全文搜索引擎相比，目录索引有许多不同之处。目录索引完全是手工操作的。
首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。
其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其象Yahoo!这样的超级索引，登录更是困难。
最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而 且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。
目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。
2.如何拒绝搜索引擎？
其实很简单的，只需要在网站的根目录中放一个名称为Robots.txt的文件，该文件的写法很有讲究的哦，务必按要求写，写法如下：
1）什么是Robots.txt？Robots.txt是一个文本文件，关键是这个文件所在的位置：在网站的根目录下。弄错了，就不起作用了！
2）Robots.txt如何起作用?
前面提到过搜索引擎的自动提取信息会遵循一定的算法，但是，无论算法如何，第一步都是在寻找这个文件。其含义是，“贵站对我们这些Robots有什么限制？”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。如果没有得到回应（没有找到这个文件），代表没有什么限制，尽管来抓取吧。如果真的有这个文件，机器人会读来看看，如果自己被拒绝就会停止抓取过程了。
3）怎么写Robots.txt文件？
遵循语法的Robots.txt才可能被机器人识别，至于语法，介绍起来很繁琐，现简单举例如下：
1）禁止所有搜索引擎访问网站的任何部分（也就是网站彻底的拒绝所有搜索引擎收录）User-agent: * Disallow: /
2）允许所有的robot访问（也就是网站允许所有搜索引擎收录）User-agent: * Disallow:
3）禁止某个搜索引擎的访问（比如禁止百度收录，按如下的方式写）User-agent: baiduspider Disallow: /
4）允许某个搜索引擎的访问（比如允许百度收录，按如下的方式写）User-agent: baiduspiderDisallow: User-agent: * Disallow: /
5）禁止搜索引擎访问某些目录 User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /images/
使用方法：很简单，将代码存为一个文本文件，命名为Robots.txt ，放在网页根目录即可。
注意：所有语句都是单规则的，即每行仅声明一条规则，比如例五中三个目录必须分三行列出来。
更多关于Robots的资料请访问：
各个搜索引擎的机器人蜘蛛名称：&
======(本站从09-4-29开始加强免费资源版权管理)=========
不管出于何目的转载本文，请注明版权信息(包括来源和作者)，否则一经发现将逐个处理。
若本站转了您的信息而未标明或标错或未找到出处而没标明的，请联系我们，2天内处理。
&因为目前没有时间可以管理评论，所以暂停评论功能！&
专题与标签
本分类排行榜：
本分类好评榜：
全站随机推荐
free789免费中心 | Power by Free789 v17.2(美化版) |
03:35:42, Processed in 13.8ms
本站程序和风格皆由站长飕飕然100%原创制作，谢绝模仿，违者必究。本站页面兼容几乎所有主流浏览器，您可根据自己的喜好选择浏览器。原名『全球免费中心』，于日改名为『free789免费中心』}