在采用一套新的产品、运营策略后，我们势必要对策略效果进行调研分析，并准确评估出效果如何、比以往好了多少等。那么除了保证评估结果的客观与科学，有没有一套准确的、有说服力的评估办法呢？

如何准确评估产品和运营策略的效果，几乎是所有产品经理、产品运营、数据分析、市场营销等同学日常工作中都会碰到的问题。大到一个新产品上线、一次产品方向调整；小到一次运营活动、一个文案修改，我们都付出了成本，按理说我们都需要知道有没有效果（定性），效果比之前好了多少（定量），对KPI贡献了多少（归因）。

数据总是有的，通常我们会不自觉的挑选利于结论的数据来说明效果。那么，有没有一套准确的、有说服力的评估办法呢？有的，那就是实验（对了，这就是实验三部曲之二——准确量化效果，从之前的数据看如果不改标题点击率会很低）。

01 两个常见错误

我们最常见的、也最容易想到的效果分析 *** 是前后对比。

前后对比非常直观，比如，上线了一个新功能，配置了一个App闪屏，做了一场线下活动（便于描述我们统称策略），带来了多少效果？很多同学会直接拿这个策略“做之后”对比“做之前”得到增量，即

效果 =策略后 – 策略前

这样对比的问题非常明显：

活动前后一段时间，用户的活跃度是不同的。比如，某打车APP在清明期间做了一个运营活动，用清明节三天对比清明前三天，可以看到订单量猛增。这个效果可以归因于这个策略吗？

另外一种常见的效果分析，是局部对比整体或者说对比大盘。对比大盘也非常直观，我们往往会拿需要观察的人群（或者被策略命中的人群），来对比大盘得到增量，即：

效果 =观察人群-大盘人群

这样对比的问题也非常明显：观察人群往往是大盘中一个子集，只要不是随机从所有用户中抽取的，就有极大概率与大盘均值存在偏差。

比如，电商App运营活动，给进入手机详情页的用户发100元折扣红包，最后发现发了红包以后，用户群购买手机的的比例是同时间段大盘的两倍。这个效果可以归因于这个策略吗？

以上两个错误，在我经历过的大厂，并且就在今天，依然有同学经常会犯，只不过没有这么明显。错误的根源是用于对比分析的两组样本，本身不具备“可比性”。

判断可比性的原则：对比的人群间，是否仅存在“要评估的策略”这一个差异。一旦两个人群本身存在差异（非随机分组），或者其中一个人群中叠加了多个策略（非单一变量），都无法通过对比直接得到该策略的效果。

上面两个例子，大家都能看出来是不可比的，因为很明显存在样本偏差。

反推其原因，我觉得除了分析时不够谨慎外，还有就是存在惰性：前后对比、对比大盘，之前的数据和大盘数据往往都是现成的，拿来就比。

而科学的评估效果，则往往需要设计随机对照实验，成本、时间都增加了不少。而想要准确的评估策略效果，实验尽管有些麻烦，但是绕不开。

02 正确的评估 ***

正确的评估 *** 是随机对照实验。实验的设计和下发，我们在《以抖音为案例，讲清楚“用户增长实验”在做什么》已经大概讲过，涉及到随机分组的 *** ，以及置信度等问题，不是本篇重点。本篇不妨先假设随机分组完美，实验下发理想，实验结果置信，仅讨论分析 *** （这些问题可以交给实验工具）。

接上一部分，正确的效果评估，需要拿实验组-对照组获得增量，即

效果= 实验组- 对照组

假设我们已经拿到了数据，分析前需要确定分析 *** 。这里的分析 *** 包含三个要素：样本、指标、维度。

样本：通常是实验期间被实验命中的用户，含实验组和对照组

指标：根据实验目的来定，通常包含整个人群的总体指标和人均指标两类（如实验组总时长、实验组人群时长）

维度：时间维度，看一天、还是完整的用户周期；人群维度，仅看当日命中，还是累计命中 等

不同的实验场景，需要我们组合不同的分析 *** ，下面我通过3个典型案例来具体介绍。

1. 流量型

流量型实验最为常见，也最为理想。它指从整个流量（活跃用户群）中以某些条件筛选一部分，随机分组下发不同策略。

之所以理想，是因为整个样本可以看着是一段时间内状态稳定的群体，即实验前也是活跃的，可以进行理想的空跑期（即分好实验组和对照组后，并不立刻下发策略，而是观察一段时间以验证分组的均匀性，并且可以在实验分析时消除空跑期的差异；而拉新实验，新用户就没有空跑期数据）。

流量型实验，我们可以轻易对比实验组和对照组需要看的指标，例如：

样本：每天命中的实验组和对照组用户

指标：根据实验目的来定，人均值通常有意义

维度：时间维度，完整的周期；人群维度，一般仅看当日即可，也可关注累积

常见的流量型实验场景：短视频App的feeds流推荐算法实验、App首页底部入口实验、电商详情页样式实验等。

2. 唤醒型