/ 为你的 WordPress 站点添加 robots.txt
一个疯狂的 WordPress 爱好者，喜欢折腾 WordPress 主题，分享 WordPress 资源。如果你也喜欢 WordPress，欢迎和我一起交流！
WPDAXUE.COM · 桂ICP备号-1 · 基于
运维 · 托管于wordpress的几个主要文件夹 能用robots禁止蜘蛛抓取吗？_百度知道
wordpress的几个主要文件夹 能用robots禁止蜘蛛抓取吗？
这样做会有什么后果？...
这样做会有什么后果？
答题抽奖
首次认真答题后
即可获得3次抽奖机会，100%中奖。
采纳数：74
获赞数：80
当然可以啊，没坏处的，只要你写的正确的话不会影响收录的。比如我的robotx就包括以下内容Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/pluginsDisallow: /wp-content/themes
采纳数：211
获赞数：803
可以啊，不打紧。。。
为你推荐：
其他类似问题
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。利用Robots.txt优化你的WordPress站点
知更鸟崇尚专注　追求极致1351文章6903评论
1,888 我的微信 微信公众号 本站简介分享交流WordPress经验与技巧，关注前端设计与网站制作，打造自己专属的WordPress主题，让你的博客与众不同！
记住我的登录信息
文章目录 微信 QQ在线
购买主题加我Q:早在四年前子凡就曾在泪雪博客写过了，的重要与必要性不言而喻，而在子凡前段时间的
也再次提及，那么这次在泪雪博客实现独立版站点的时候，WordPress 就需要在实现多域名绑定的同时，还能够实现独立的 robots.txt 文件配置。
随着百度对 MIP 项目的投入，同时也因为 MIP 站点页面在百度移动端搜索结果的优待，各大网站也都纷纷开始研究折腾改造并引入百度 MIP，子凡就是其中一员，只是子凡主要的改造和研究对象是针对于 WordPress 这个开源程序而深度改造。
根据百度 MIP 官方的建议改造 MIP 的方法，最好的就是搭建独立的 MIP 站点，因为这样做的最大好处就是不影响原有站点。这可能也会是大家对 MIP 引入的最佳方式了，虽然子凡在一些讨论群里面看到有些人非常偏执的说要把自己的整站直接改为 MIP 版，直接忽略和无视其它搜索引擎，子凡就不评论也不否定了，因为每个人看到的不一样，就像我的泪雪博客，肯定不可能仅仅只是针对百度搜索引擎的用户，所以选择研究和开发独立的 MIP 站点。
同时问题也就产生了，MIP 站点的内容和原站的内容是一样的，所以为了不让其它搜索引擎抓取，就需要使用 robots.txt 来限制搜索引擎的抓取和限制，只允许百度抓取 mip，原来站点不变，而子凡这次分享的代码就是解决这个问题啦。
好了，回到今天的正题的，那就是 WordPress 根据不同的域名配置不同和独立的 robots.txt 文件吧，这个功能也是子凡在最近改造泪雪博客中所开发出来的，昨天也有人来问我要这个代码，所以这里就直接分享出来吧！
//WordPress多域名绑定独立配置robots.txt文件
//移除WordPress默认robots
add_action('robots_txt', 'Fanly_remove_robots');
function Fanly_remove_robots() {return '';}
//创建自己的robots
add_action('do_robots', 'Fanly_do_robots');
function Fanly_do_robots() {
$robots = $_SERVER['SERVER_NAME']?$_SERVER['SERVER_NAME'].'.txt':$_SERVER['HTTP_HOST'].'.txt';//定义domain.txt为robots.txt文件
if (is_readable($robots) !== false) {//判断这个文件是否存在或可读
$content = file_get_contents($robots);//可读则优先显示文件robots.txt
echo $content;
} else { //否者显示以下
header( 'Content-Type: text/ charset=utf-8' );
$public = get_option( 'blog_public' );
if ( '0' == $public ) {//判断网站是否开放
$output = &User-agent: *\n&;
$output .= &Disallow: /\n&;
} else {//开放则显示以下
$site_url = parse_url( site_url() );
$path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
$output .= &Disallow: $path/wp-admin/\n&;
$output .= &Allow: $path/wp-admin/admin-ajax.php\n&;
echo apply_filters( 'Fanly_robots_txt', $output, $public );
直接将以上代码添加到你所需要使用的主题 functions.php 中，然后将你 WordPress 站点根目录的原有 robots.txt 删除或改名，然后使用你的 域名.txt 命名，例如：zhangzifan.com.txt 或 mip.zhangzifan.com.txt
如果有使用疑问欢迎在泪雪博客留言即可。
除非注明，否则均为原创文章，转载请以链接形式标明本文地址本文链接：}