编辑导读：在举办要害的产物决定时，我们需要用到A/B 测试。它是什么？有什么用呢？本文将从四个方面展开阐明，但愿对你有辅佐。

重度雾霾天，你出门大概戴口罩，也大概没戴。假如没戴口罩，本日疾苦地咳嗽了 100 分钟（会不会挂掉？），你会很反悔地想：要是我本日记得戴口罩，那么我大概只会咳嗽 10 分钟。

戴口罩的话你会咳嗽 10 分钟，不戴口罩的话你会咳嗽 100 分钟，咳嗽 10 分钟和 100 分钟别离就是这两个处理惩罚所对应的潜在功效。因为你实际上没戴口罩而咳嗽了 100 分钟，所以，这戴口罩只咳嗽 10 分钟的潜在功效只是你想象的功效，不是实际产生和调查到的。

听起来是不是有点反事实 (Counterfactual) 揣度的味道？是的，潜在功效就是这种想象中的：如果我这几年买的是美股，而不是 A 股，那功效就是赚 100 万，而不是赔 100 万了（捶胸顿足）。

有点意思？那继承，下面才是正菜。

对 A/B 测试有相识的读者都知道，A/B 测试通过用户分组举办在线试验，可以比拟产物两个版本的方案找出哪一个更好。

可是许多人大概会问：我为什么必然要用 A/B Testing？Google Analytics 这么强大，我的产物的用户会见一目了然，通过数据阐明不难找到问题地址，A/B 测试尚有须要吗？

这篇文章里，作者将从因果干系方面仔细阐明为什么在要害的产物决定时，您需要 A/B Testing，而不只仅是像 GA 这种调查性的数据阐明东西。

一、相关性与因果干系

前面问题的答复从统计学上看很简朴，GA 这种调查性的数据阐明东西主要用于摸索性的研究，它长于发明问题，而不是办理问题；它可以用来发明事物之间的相关性，可是很难用来确认因果干系。

在概率论和统计学中，相关（Correlation，或称相干系数），显示两个随机变量之间线性干系的强度和偏向。

—— ***

相关性在摸索性的研究中是很有用的，它可以在实践中预示某种干系，指明进一步研究的偏向。相关性的典规范子是产物的需求和价值的干系，氛围质量和汽车数量的干系。

这两个相关性的例子都体现了更进一步的因果干系，因为从经济学上看价值下降会晋升需求，汽车数量增加使得尾气排放量增加而导致氛围质量变差。

可是，不是所有的相关性都有因果干系，相关并不料味着因果。

15 Insane Things That Correlate With Each Other 这个网站收集了许多看起来很谬妄的相关性例子。

上面的例子中，美国缅因州的仳离率和人均黄油耗损量在 2000 年至 2009 年间到达了极强的相关性（相干系数 0.9926）。吃黄油和仳离明明是没有因果干系的两件事，因为按照我们的知识，吃多点黄油不至于让人脾性大变而导致仳离，仳离之后也不太大概因为脸色沮丧而多吃黄油。

假如我们的研究目标是找出缅因州仳离率下降的主因，人均黄油耗损量和仳离率之间的相关性有用吗？显然这个相关性的浸染是很有限的，你不能据此得出结论：少吃黄油有助于婚姻调和。

我们但愿获得的是和仳离率之间的因果干系，这就需要针对性的观测或试验，吃黄油和仳离两者外貌上的相关性顶多起到提示性的浸染（如果有的话）。

譬喻，研究人员大概会想到，是否有一个第三因素，导致了缅因州仳离率和黄油耗损量的配合下降，如经济形势？

因果干系在许多应用场所是我们的焦点存眷点，譬喻产物的优化方案。更精明的 Call to Action 按钮是否会促进着陆页的转化？什么样的表单用户更愿意去完成？这些问题的背后都是一些 PM 需要去确证的因果干系，正是 A/B 测试可以大展身手的处所。

A/B 测试也称为在线比较试验 (Online Controlled Experiments) ，是一种科学地举办统计因果揣度的研究要领，它和其他统计研究要领（如调查性研究）的主要区别在于它可以通过针对性的试验简朴高效地对所考查的因素和变量间的因果干系举办科学地揣度。

那到底什么是因果干系呢？

因果干系是一个事件（即“因”）和第二个事件（即“果”）之间的干系，个中后一事件被认为是前一事件的功效。一般来说，因果还可以指一系列因素（因）和一个现象（果）之间的干系。对某个功效发生影响的任何事件都是该功效的一个因素。

—— ***

A/B 测试要研究的就是这种简朴逻辑上的因果干系，而不是先有鸡照旧先有蛋这种近乎哲学上的因果。确切地说，我们通过试验要证明的是：某个因素/处理惩罚是否会对某个现象/功效发生浸染。

下面我们将按照统计学上的潜在功效模子，仔细阐明因果干系的界说和揣渡进程。

二、潜在功效