你是否有过当实验版本上线后，却发现有些实验细节还没想清楚？怎样的实验版本设计才能避免此类问题呢？本文将为你揭秘那些成功实验版本背后的3个简单步骤。

一、实验版本设计要点

在这一部分要回答的问题是实验所做的改动在哪里？设计几个版本，它们之间的区别是什么？以及这些流量在版本之间是如何分配的。

1. 明确实验改动的位置

设计实验版本的第一步，是要明确实验所做的改动在哪里。这一点比较简单，例如你的改动可能在APP的主页、营销落地页的按钮，或者是整个新用户注册流程等。

明确改动位置后，工程师和设计师就知道去哪里做开发和设计了。

2. 确定实验版本数量和区别

第二步是针对改动位置，考虑设计几个版本，以及版本之间有什么区别。这里有几个要点：

(1) 新版本数量取决于实验假设数量

新版本的数量其实取决于针对改动点，你有几个实验假设。

假设数量多，可能就要设计多个新版本；假设只有一个，那就只需设计一个新版本。

(2) 选择高质量实验假设，避免随意改动

我们要注意的是，不要随意想当然地改动。所有的实验假设和版本设计，都要选择那些高质量、有依据的，这样才能提高实验成功率，避免浪费开发设计资源。

(3) 区分优化实验和探索实验

a.优化实验：每个版本只改变单一变量

举例来说，如果你要优化一个落地页，想看每个元素如何改动效果最好，那你可以试试不同颜色的按钮、不同文案、不同图片，每个版本只改变一个变量如颜色、文案或图片。

这样可以明确判断每个改动的影响。等确认了哪些改动有效，最终版本再把它们合并起来。

b.探索实验：可同时改变多个变量或设计全新版本

另一类是探索性实验，你可以在一个版本中同时改变多个变量，或者设计一个全新的版本。常见于两种情况：

要么是之前已经做了很多局部优化实验，洞察积累多了，想要突破局部最大化的瓶颈；

要么是现有版本表现太差，与其慢慢优化，不如推倒重来，设计一个理想版本。此类实验允许大刀阔斧地改动。

(4) 版本数量越多，所需总样本量越大

需要强调的是，版本数量越多，实验所需的总样本数就越大。如果你的用户量不够大，建议不要设置太多的版本。

3. 若分流不均匀，实验结论可信性降低

在明确了几个实验版本之后，下一个问题是如何在这些版本之间分配用户流量。

我们还是以一个红蓝按钮的例子来说明。假设在一个实验中，50%的用户看到蓝色版本，另外50%看到红色版本。

我们的实验假设是，红色按钮更醒目，所以点击率会更高。

如果实验观测到，红色版本的点击率比蓝色高出50%，据此我们得出结论：红色版本比蓝色版本更好。但事实真的如此吗？

举一个极端例子，如果分到红色组的用户全是红绿色盲，你还能得出这个结论吗？显然不能。

这说明了，AB实验中的样本分流是否均匀，会极大影响实验结论的可信性。如果样本分流做得不好，实验结果可能根本没有参考价值。

二、样本科学分流的重要性1. 分流均匀可消除外在因素影响，确保实验组和对照组的可比性

样本分流之所以要做到均匀，就是要消除一切外在因素的影响，确保对照组和实验组之间唯一的区别就是实验改动点，其他条件都一致。

这样才能放心地将最终指标的差异归因于实验改动，而非其他随机因素。

举个例子，复联中的灭霸要随机消灭一半人口。这里的”随机”很关键，如果消灭的方式有选择性，比如留下的都是实力较弱的超级英雄，那他们最后输给灭霸，并不能说明这些英雄真的不如灭霸。因为消灭过程不是随机的，不符合分流均匀的要求。

2. 样本科学分流需达到四个标准

(1) 均匀性

分流人群各维度分配比例均匀

(2) 唯一性

同一用户始终保持在原实验分组

(3) 定向性

针对特定用户类型设定实验受众分层分流

(4) 可重复性

不同实验之间的分流不冲突

3. 科学分流需从技术层面保证，以支持AB测试结果的可信性

(1) 使用第三方AB测试工具可简化样本分流过程

第三方AB测试工具可以很方便地完成样本分流。

以吆喝科技产品为例，可以在后台设置有多少流量进入实验，如果有多个实验同时进行，还能设置不同实验之间的流量分配。

然后再进一步设置实验内部的分组，如50%进入对照组，50%进入实验组。

第三方工具可以保证分流的均匀性和唯一性。

(2) 自建AB测试系统需关注分流系统的建设

如果要自建AB测试系统，分流系统是需要重点关注的。

这里分享一个电商公司自建分流系统的案例，他们大概花了一个月时间搭建了基本的分流架构：

增长 or 运营团队提交分流需求 → 工程师后端进行用户分流，前端APP和小程序埋点不同实验版本 → 后端控制前端执行相应实验版本，收集数据 → 分析师手动进行统计分析。

综上所述，明确改动点，创造高质量假设，并科学分配流量，是设计实验版本的根本。

三、实验设计步骤（系列文章小结）1. 选择实验指标

选择指标时，除了核心指标，还要考虑辅助指标和反向指标，以全面评估实验效果。

2. 确定实验受众

需要考虑：受众范围、样本量和实验时长评估。

(1) 统计显著性与所需样本量的关系

实验需要的样本量，与原版本转化率、新版本预期提升幅度、统计显著性要求都有关系。

(2) 样本量过大时的实验设计调整方法

如果评估发现所需样本量过大，可以考虑加大改动幅度、减少版本数量等方式，对实验设计进行调整。

3. 设计实验版本

需明确改动位置、版本数量和类型。

(1) 实验假设数量决定版本数量

在设计实验版本的时候，要考虑有几个高质量的实验假设，那就设计几个实验版本。

(2) 优化实验与探索实验的版本设计区别

同时我们也要考虑我们这个实验是一个优化实验还是一个探索实验。优化实验建议去做单变量的测试，而探索实验可以做一个全新的设计。

4. 进行流量分配

科学分流是获得可信实验结果的关键。流量分配必须严格执行科学分流，不管是用第三方工具还是自建分流系统，这是获得可靠实验数据和结论的基础。

5. 实验开发上线总结优化

最后，在实验版本开发上线后，我们就可以收集数据，得出实验结果，总结实验心得，并规划后续优化计划，从而完成一次完整的AB实验。

最后总结一下，实验设计的艺术在于精确识别改动点、构建可靠实验假设、执行科学流量分配。通过本文的学习，希望你可以更系统、科学地进行实验，从而更精准地优化运营策略，提升运营效果。

本文由 @小黑哥 原创发布于人人都是产品经理，未经许可，禁止转载

题图来自 Unsplash，基于 CC0 协议

该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。