关注51Testing
如何做A/B测试？
发表于： 14:20 &作者：SQA编译 & 来源：软件质量报道
推荐标签：
　　这是Airbnb的数据，可以看到数据一直在增长。其中可以看到，中间有一个红色的时间段，大概维持了小一个月的时间，这个时间段发生了什么? Airbnb上线了一个新的产品功能，到结束的时候又下线了。　　在这个红色的时间段，数据一直都是在增长。有个很大的问题就是外界环境对数据的影响太大了，以至于在这张图里我们完全无法知道，这个上线了一个月的产品功能对用户产有没有产生增长的影响，以及究竟是怎样的增长? 所以如果没有A/B测试，没有科学的验证，可能在产品，运营和市场策略上，会做一些不科学的决策。也许有个决策带来了-20%的不好影响，但是我们不知道，因为我们没有实验验证它。或者是后台人员毫不容易研发出来一个推荐算法，提升了5%的订单量。但是我们并不知道是因为它们带来了5%的订单量。这样的话，我们就失去了这种宝贵的经验。　　从这张图可以看出来，只有A/B测试才能告诉我们，产品功能上线前后究竟会有怎样的影响? 假如每一次产品迭代，策略上线的时候，都经过A/B测试的优化，那么增长曲线可能就跟这条蓝线一样。也许不是我们最喜欢的指数增长或线性增长，但它始终在增长。　　如果没有A/B测试，可能会像红线一样不断地波动，在短期之内可能红线蓝线差不多，但是时间一长，红条会被蓝线远远甩下，这就是A/B测试驱动持续增长，也是的最佳实践。　　A/B测试的具体操作方式是什么样的?　　要考虑随机流量的选择，怎么同时支持多个变量、单个变量、多个实验、单个实验? 怎么能够比较方便地选择实验版本，知道多长时间才能得到可信的结果?　　如果没有好的统计工具，执行区间算得不对，实验结果也就不准确。　　这个时候你就可以考虑使用第三方的A/B测试工具。在产品或者营销业，想要接入第三方A/B测试SDK，就可以专心到设计迭代方案上去。这些方案通过第三方平台就可以发布给用户或者消费者，然后自由调整实验流量，让1%的用户试试这个方案，5%的用户试试那个方案，根据数据反馈，分析方案的好坏，这就是A/B测试实践中的方法。　　正确、高效的A/B测试是什么样的?　　一个产品经理一天能做几十个A/B测试，七天下来就能做上百个。一百个实验里面六七十个既不提升，也不降低转化率。可能有十几二十个，你觉得它好，它其实是坏的，你也可以吸收教训。只有几个比较好，你可以发布给用户，最后带来20%的营收。如果一个星期有一个提升20%的实验，或者几个实验加起来20%，一个半月之后你就可以领先竞争对手一倍了。　　通过第三方的A/B测试平台，可以轻松开展实验，包括实现简一的改版，一键发布做很多的QA测试，抢流量、一键回滚，如果发现了bug立即关闭实验。实时获取准确的实验结果，加快执行区间的收敛，支持大量并发实验等等。　　尽量不要自己去构建这套系统，很多企业自建成功了都是耗费至少两年以上的人力物力，好几千万的支出，而且还可能遇到各种bug。　　Airbnb和Google都是怎么做A/B测试的?　　Airbnb　　Airbnb所有重要页面的修改，还有流程上的调优，都会首先发布给1%-5%的用户。看一看实际的数据，访问时间，留存，下单有没有提升，然后决定是全面发布还是砍掉。　　新一代的企业从第一天就具备这样的意识和能力，它们会告诉自己的同事们，为什么要去做A/B测试，为什么这种方法可以实现持续的增长。　　Google　　我在Google就做了很多的A/B测试实验，帮助Google的广告营收增长。我发现了一些很有意思的现象，比如说广告位如果左移一个像素，会带来营收增长，如果是左移两项，再移一个像素就会有亏损了。　　这个事情完全没有理论解释，如果一个产品经理跟我说，让我左移一个像素可以带来增长，我绝对不相信，但是A/B测试会告诉我这就是事实，所以任何产品的改动和优化都需要A/B测试才能上线。　　　　高效AB测试的8条实用经验　　效果惊人: 微小改动带来KPI的巨大营销。比如说像素，颜色，文案就可以带来巨大的影响。　　耐心: 但是大多数改动是不会大幅度提高，这很容易理解。如果用户根本对这块不关心，在那儿改来改去也不会有什么效果的。　　Twyman法则：凡是看上去很出人意料的图表，通常都是因为数据统计错了。如果实验结果很好，非常有可能是数据统计错了。　　你很不同：复制他人的经验往往得不到什么效果。　　速度很关键：任何能够加速用户响应时间的改动都一定会带来KPI的巨大提升。所以如果技术人员，产品，市场营销的代理公司，说他们可以加速你的H5加载时间，加速用户响应的速度，无论如何都要支持他去做。　　关注产品质量：点击率很容易提高，重要的是提升用户真正的体验。　　举个例子，电商有的时候强调一下价格的展示会降低加入购物车的点击率。一个电商加强了商品价格的展示方式，让用户更醒目的看到价位，结果发现加入购物车点击率或者商品的浏览率降低了一半以上，好像是个非常糟糕的改进。但这其实是一个很成功的改进，提升产品质量，使得用户的购买率和GME上升了很多。为什么呢?用户更容易找到想买的商品，体验提升，销量提升。　　快速轻量的迭代：尽量不要做复杂的大量改动的大实验。这样做便于追因，改了一个什么地方，产生了什么效果，而不是改了10个地方产生了一个效果。这10个地方改动都是对我有正向的效果吗?不一定。　　用户数量是基数：几千上万的用户才可以展开高效的预测。　　墨迹天气　　他们做了一个很有意思的实验，希望能够提升天气消息的分享率。改进了分享按钮，发现三种不同的改进方法，对比原方法都有一个变化。有一个方法可能是看上去提升了5%，但是执行区间是-1%到+10.4%，说明什么呢?说明分享率有可能会下降了1%。但是第三种方案就特别理想，它可以提升平均18%的分享率，执行区间从11.9%-23.6%，这说明如果把分享按钮发布上线，可以至少让分享率提升11.9%以上。　　滴滴打车　　滴滴在司机招募的时候，会想各种各样优化的方案，提高司机的转化率。中间这个方案每天跑一单，油钱轻松挣，这个就提升了注册率18%。最后一个方案车主招募，注册率提升了21%。这样一个A/B测试在平台上出来的结果不仅产生了效果，司机注册率提升了，也帮助了产品经理和市场营销人员。　　原先的市场策略展示一个帅气的司机和家人，这样一个策略未必能招来司机，为什么呢?可能很多想打车的人点进来了以为是一个打车广告。这个方法就能吸引一些兼职司机来注册。　　中间的方案，点进来的人会发现要上传行驶证，驾驶本，银行帐号什么的很麻烦，转化率不是特别理想。　　但是车主招募就不一样了，很明确你要做滴滴的司机，这个时候就会提升注册率，对未来市场策略有很大的帮助。　　　　亚马逊的购物车按钮，无论页面怎么变化，购物车按钮的造型不变。当你点击它的时候，会有一个绿色提示纹案配合显示出来。为什么亚马逊要用这样一种设计呢?因为它做过大量的A/B测试，发现只有这样的一种文字和UI才能达到转化率的最高。　　亚马逊还做过很多有意思的A/B测试，其中包括提升信用卡申请转化率。最早的时候亚马逊信用卡是在商品展示页面，加入一件衣服到购物车里，也可以加入一个亚马逊信用卡到购物车，但是这样的信用卡推销基本无人问津。最后运营想到了一个非常有意思的想法，能不能在用户结算的时候推销信用卡。首先节省了广告位，不用显示在商品页，其次产生了很高的转化率，最后这件事情帮亚马逊每年都挣一个亿美元。　　这些大家已知的一些经验，都是通过A/B测试，不断的优化迭代产生的。
搜索风云榜
51Testing官方微信
51Testing官方微博
测试知识全知道天涯客旅游什么是 A/B 测试_百度知道
什么是 A/B 测试
答题抽奖
首次认真答题后
即可获得3次抽奖机会，100%中奖。
职业教育类认证行家
职业教育类行家
采纳数：73600
获赞数：98525
无锡机电分院数学教研室主任 无锡机电分院文化课科研指导委员 无锡机电分院骨干教师负责人
AB测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本正式采用。一、A/B测试的好处消除客户体验（UX）设计中不同意见的纷争，根据实际效果确定最佳方案；通过对比试验，找到问题的真正原因，提高产品设计和运营水平；建立数据驱动、持续不断优化的闭环过程；通过A/B测试，降低新产品或新特性的发布风险，为产品创新提供保障。二、A/B测试效率在App和Web开发阶段，程序中添加用于制作A/B版本和采集数据的代码由此引起的开发和QA的工作量很大，ROI（return on investment）很低。AB测试的场景受到限制，App和Web发布后，无法再增加和更改AB测试场景。额外的A/B测试代码，增加了App和Web后期维护成本。因此，提高效率是A/B测试领域的一个关键问题。三、怎样高效实施A/B测试？在App和Web上线后，通过可视化编辑器制作A/B测试版本、设置采集指标，即时发布AB测试版本。AB测试的场景数量是无限的；在App和Web发布上线后，根据实际情况，设计AB测试场景，更有针对性，更有效；无需增加额外的AB测试代码，对App和Web的开发、QA和维护的影响最小。四、A/B测试的步骤1.现状分析：分析业务信息，确定当前最关键的改进点。2.假设建立：根据现状分析作出优化改进的假设，提出优化建议。3.设定目标：确定主要目标，来衡量各优化版本的优劣；设置辅助目标，来评估优化版本对其他方面的影响。4.界面设计：制作出2（或多）个优化版本的设计原型；5.技术实现：Web平台需要在页面中嵌入云眼JS脚本，然后编辑出各个优化版本。Android和iOS APP需要添加SDK，然后通过编辑器制作各个优化版本。通过编辑器设置目标，如果编辑器不能实现，则需要手工编写代码。使用云眼平台分配流量。初始阶段，优化方案的流量设置可以较小，根据情况逐渐增加流量。6.采集数据：通过云眼系统自动采集数据。7.分析A/B测试结果：统计显著性达到95%或以上并且维持一段时间，实验可以结束；如果在95%以下，则可能需要延长测试时间；如果很长时间统计显著性不能达到95%甚至90%，则需要决定是否中止试验。五、A/B测试实施策略1.从简单开始：可以先在Web前端上开始实施。Web前端可以比较容易的通过可视化编辑器制作多个版本和设置目标（指标），因此实施A/B测试的工作量比较小，难度比较低。在Web前端获得经验后，再推广到App和服务器端。2.隔离变量：为了让测试结果有用，应该每个试验只测一个变量（变化）。如果一个试验测试多个变量（比如价格和颜色），就不知道是哪个变量对改进起了作用。3.尽可能频繁、快速进行A/B测试：要降低A/B测试的代价，避免为了A/B测试做很多代码修改，尽量将A/B测试与产品的工程发布解耦，尽量不占用太多工程部门（程序员、QA等）的工作量。4.要有一个“停止开关”：不是每个A/B测试都会得到正向的结果，有些试验可能失败，要确保有一个“开关”能够停止失败的试验，而不是让工程部门发布一个新版本。5.检查纵向影响：夸大虚假的CTA(Call To Action)可以使某个A/B测试的结果正向，但长期来看，客户留存和销售额将会下降。因此，时刻要清楚我们追求的是什么，事先就要注意到可能会受到负面影响的指标。6.先“特区”再推广：先在一两个产品上尝试，获得经验后，推广到其他产品中。六、A/B测试工具国外：Optimizely，Visual Website Optimizer，Omniture等；国内：云眼(eyeofcloud.com)，ABTester，Optimizer等。
为你推荐：
其他类似问题
您可能关注的内容
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。牛客网-专业IT笔试面试备考平台,最全C++JAVA前端求职题库,全面提升IT编程能力
精准能力评估+针对性专项练习
要练,就要练最有用的！
互联网公司真题+模考+面经
公司考什么？怎么考？一刷便知！
精华专题练习
面试经典题在线练，还能赢内推
以题会友，涨姿势交朋友
你不会的，这里都能找到答案！
蘑菇街应用软件开发
阿里巴巴C++研发工程师
奇虎360数据挖掘工程师
京ICP备号-4
扫一扫，把题目装进口袋您正在使用IE低版浏览器，为了您的雷锋网账号安全和更好的产品体验，强烈建议使用更快更安全的浏览器
用增强学习将 A/B 测试提升到一个新的水平
5月6日消息，据国外媒体报道，有消息称谷歌可能会在本月中下旬举行的谷歌I/O开发者大会上引入A/B测试（A/B testing，也称为对比测试）功能。
据报道，Facebook Parse日前推出了一项新功能“Parse Push Experiments”，可助开发者轻松地创建用于推送通知的A/B测试，方便地对数据进行分析，挑选最佳的推送内容和推送时间。
什么是A/B测试？A / B测试，即你设计的页面有两个版本（A和B），A为现行的设计， B是新的设计。比较这两个版本之间你所关心的数据（转化率，业绩，跳出率等） ，最后选择效果最好的版本。A / B测试不是一个时髦名词。现在很多有经验的营销和设计工作者用它来获得访客行为
首先陈述一个逻辑：一家公司的好经验可以是另外一家公司的致命臭棋。网站负责人Chris Goward分享了几个采用最佳实验A/B测试方案导致失败的例子：促销活动的推广看起来很有意义的事情，不是吗？把研发的重心都放在取悦消费者而不是留意竞争对手。做“现在购买”标签、库存数量的
Optimizely公司联合创办人兼CEO Dan Siroker近日公布了一些A/B测试的增长数据。Optimizely已经运行了超过10万个A/B测试。网站进行测试以优化设计和内容的服务已经面向
Twitter收购A/B测试公司Clutch.io。为加强其应用程序借口，Twitter宣布收购Clutch.io,这是一家专注于手机A/B测试公司，创始人Eric Florenzano 和
如果你觉得别的A/B测试都太难，可以试试Cuthch.io，操作简单，管理界面很强悍，哪些测试成功了，哪些失败了，清晰明了，你还可以把结果导出，制作一个电子表格，和别的软件进行比较。对开发者来说，不论你是想做更有效的市场推广，还是想获得更多用户更多参与率，A/B测试都是最
Growth Hacker 的兴起一个新的称谓“Growth Hacker” 正在慢慢沁入硅谷文化，它告诉我们精通编程和技术是成为营销高人的必要条件。Growth Hacker是营销和编程的混血儿，当他们被问到：“我如何把产品推向顾客？”， 他们的答案是A/B测试，登陆页面，病毒因素， 邮件传送，
为了您的账户安全，请
您的邮箱还未验证,完成可获20积分哟！
您的账号已经绑定，现在您可以以方便用邮箱登录
请填写申请人资料}