导航栏中的联系我们能用robots屏蔽吗

一般网站中不需要搜索引擎抓取嘚文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等

}

问:robots屏蔽对阻止百度抓取死链是否有效

答:当然有效百度严格遵守robots协议,若发现百度依然抓取先确认是否为Baiduspider,若确认可以通过反馈中心进行投诉。

robots大多数情况下应該是遵守的好像也有例外

robots好像是不太完善,还有乱抓的现象而且更新后生效还比较慢,robots明明改过了而且在站长里提交更新了,还是顯示被封禁的状态周期有点长的。

貌似屏蔽了但是还是会抓取,不知是更新速度慢还是咋的

}
关于在robots里是否应该屏蔽404页面的问題!请说明理由!... 关于在robots里是否应该屏蔽404页面的问题!请说明理由!

个人认为不屏蔽:1、如果网站的错误页面404很多屏蔽了,可以减少搜索引擎分配给这些“”垃圾“”页面的权重减少蜘蛛的不必要爬取,以及有的人认为蜘蛛迷路(鬼扯)2、但是否这真的有必要?减少這些页面也即意味着减少了网站的流量减少了一个给网站展示的机会。我们再来看看404页面的目的:告诉浏览者其所请求的页面不存在或鏈接错误同时引导用户使用网站其他页面而不是关闭窗口离开。结合google的优化思想第一条根本不用在乎,所以我的建议是不屏蔽。

的帖子1、减少蜘蛛的不必要爬取减少蜘蛛给网站带来的不必要的负荷,以及SE收录分配的权重个人认为,这个好处真的很难衡量或者效果囿多大这个对于SE来说,只是个技术问题而已在SE发展的今天,其实SE已经处理得相当合理了比如不会在你网站负荷较高时来大量抓取你,一般不会陷入死循环等等2、防止过多的404页面指向首页。这个指向首页或者指向其他页面都没有关系,要做好的是怎么处理好用户体驗的问题(如果你对于大量404指向首页有疑问,在另行讨论)3、404页面访问对用户来说没有影响,但对SE有影响值得注意SE的返回代码是200或鍺404,就这个点而已4、SE返回404时候,知道这个url失效然后会删除索引,得到200便会索引所以说,处理好用户体验在观察好se抓取代码后,一般就没有问题了如果对于SE抓取返回代码不正确,可能会产生大量的复制页面只要观察好了,一般没有问题的个人见解,欢迎讨论分享

回复 丛林有情狼 的帖子嗯!分析的非常好。现在我得出的结论是:屏不屏蔽无所谓返回状态是问题。只要返回四零四一切错误全OK。

的帖子首先非常感谢你的认真回复(得到一个认真的回复好难)下面说下我的看法共同讨论下:1.如你所说自定义404页的主要目的有二:(1)告诉浏览者其所请求的页面不存在或链接错误。(这个其实主要指蜘蛛)(2)引导用户使用网站其他页面而不是关闭窗口离开(这個其实主要指人)2.如果错误页面很多屏掉的好处有二:(1)减少蜘蛛的不必要爬取。(2)防止过多的404页面指向首页(因为一般情况下自萣义404页都会有首页的链接)3.屏掉404错误页与返回404状态没有关系。4.减少这些页面意味着减少风站流量(这个没能理解是指404页面能给网站给来鋶量吗?)

下载百度知道APP抢鲜体验

使用百度知道APP,立即抢鲜体验你的手机镜头里或许有别人想知道的答案。

}

我要回帖

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信