A/B测试在产物优化中的应用要领是：在产物正式迭代发版之前，为同一个方针拟定两个（或以上）方案，将用户流量对应分成几组，在担保每组用户特征沟通的前提下，让用户别离看到差异的方案设计，按照几组用户的真实数据反馈，科学的辅佐产物举办决定。

是什么

生物学以及其他学科中，老是会呈现「节制变量法」来验证某种假设。凡是有一组比较组、一组试验组，好比：

证明：酶在加热到必然温度后会失活。

之一次向回响体系中插手加热后的酶；第二次插手没加热的，看回响现象。个中，之一次为尝试组，第二次为比较组。

证明：抽烟会增大得肺癌的几率。

我们可以选两群位于同一地域、职业雷同人，一群人抽烟，一群人不抽烟，举办跟踪观测，样本容量要足够大。个中抽烟的那组为尝试组，不抽烟的为比较组。

以上算是A/B尝试的引子和简朴案例。到了真正的科研规模中，会有更严谨的应用要领。而A/B测试被应用到产物设计上，最早可查的是在2000年开始，Google的工程师才开始利用A/B测试举办产物设计。

在产物设计中如何应用，直接引用一段：

A/B测试在产物优化中的应用要领是：在产物正式迭代发版之前，为同一个方针拟定两个（或以上）方案，将用户流量对应分成几组，在担保每组用户特征沟通的前提下，让用户别离看到差异的方案设计，按照几组用户的真实数据反馈，科学的辅佐产物举办决定。

「将用户随机均质分组后，应用差异的方案，调查各组的数据反馈，以指标的坎坷权衡方案的优劣。」

听起来没什么问题，对吗？

说实话，对付A/B测试是什么，大部门人对它的领略就逗留在这个层面上，误觉得这就是A/B测试的全部了。这就跟梅超风仅偷了《九阴真经》的下册一样，真本是真本，就是不知道怎么打基本功效路子全歪了。

我们可以用Excel来模仿试试，用随机生成1000个样本，再随机分成比较组和试验组2组，然后去较量这2组的平均值——你会发明2组之间必然会有差别，不信你可以亲自试试。

但这能说明个中一组比另一组要好吗？虽然不能。假如你把用户分成两组，用差异的方案监测转化率不同，而且试验组正巧比比较组结果好一点，那你如何能证明，试验组更好不是因为这种随机颠簸发生的呢？

我曾经不但一次听到过雷同「指标一会儿高一会儿低，测不出来结果」可能「跑了好久汇总较量，指标变高告终果不错」这样的说法，甚至照旧出自专业人士之口，实在让人呆头呆脑，叹息本来A/B居然还能这么做。

法 → 为什么

我们什么都没干、什么方案都没有实施，只是随机分了一下组，试验组就比比较组更好可能更坏了。所以很显然我们不能直接以功效指标的坎坷权衡方案的优劣。因为无论怎么随机分组，城市因为分组发生必然的选择毛病，导致数据呈现颠簸，那我们应该如何验证差异方案的优劣呢？

这时候，就轮到统计学的「假设检讨」进场了，这才是《九阴真经》的上册，是练就绝世武功的基本。

我们从最简朴的抛硬币的尝试说起。不外这次不是一个硬币，是有两枚硬币。

有人宣称他有非凡的抛硬币能力，应用了他的能力，可以让硬币更容易呈现正面。那我们要如何才气证明他说的是真的呢？人家又没有说次次都是正面，就算10次抛出来都是后面也可以说是状态欠好发挥反常。

怎么办？我们可以用逆向思维反过来想，假如他说的是真的，那么用他的能力抛硬币就不太大概常常抛出后面，更不行能抛100次都是后面。也就是说，不行能产生的事件产生了，那他就在说谎言。

用统计学语言来描写，就是：对付一个假设，在这个假设创立时，一个极小概率的事件产生了，就可以推翻这个这假设，并选择这个假设的后面。一般把待证伪的假设称为「零假设H₀」 ，把想要证明的假设叫做「对立假设H₁」。

这就是「反证法」，一条假设永远不行能被证明，只大概被证伪。

我们想证明「他的能力抛硬币更容易呈现正面（对立假设）」，可以先假设「他的能力不能让抛硬币更容易呈现正面（零假设）」，然后寻找在零假设创立时的极小概率事件（好比用他的能力抛100次硬币比正常抛硬币，正面呈现的频次高30%），当这个极小概率事件被我们视察到的时候，就推翻了零假设，从而证明对立假设。

这里对付多小的概率是「极小概率」，完全是工钱划定的，一般常用的是5%和1%。这个值就是所谓的「显著性程度」ɑ。假定我们抛10次，我们这一批10次视察到的功效产生的概率就是p值，好比

抛10次功效都是正面，这种环境产生的概率是：

当我们视察到这样一个 p ≤ ɑ 时，就可以推翻零假设，从而证明「他的能力抛硬币更容易呈现正面（对立假设）」。