A/B 测试中 12 个常见的误区（上）

人人都是产品经理 08-06 97

前言：

目前同学们对“置信度为98的z值”大概比较关切，我们都想要了解一些“置信度为98的z值”的相关内容。那么小编同时在网上搜集了一些对于“置信度为98的z值””的相关资讯，希望朋友们能喜欢，同学们快快来了解一下吧！

文章为大家梳理一些运用A/B 测试时12个常见的误区，本文为上篇，一起看看~

A/B 测试是一项很有趣的测试内容，使用者可以通过优质的工具去完成产品中的 A/B 测试。但其实，A/B 测试并不仅仅是建立一个测试，很多公司在使用 A/B 测试时都存在一定的误区，都在不经意间浪费着时间和金钱且不自知。

下面，本文将为大家梳理一些运用A/B 测试时常见的误区：

一、太早停止A/B 测试

如果样本量足够大，统计显著性是版本 A 优于版本 B 的最好证据，50% 的统计显著性代表一种随机的结果。如果你只要求有 50% 的统计显著性，那么你可能要考虑离职了，因为其实这个数字达到 75% 也不能说明什么。

任何一个经验丰富的测试人员都有过这样的经历，你通过 A/B 测试去检测你的产品功能，最终将一个置信度达到 80% 的产品推向各大市场，但最终发现，市场却并不买账。于是你想，那下次把数字达到90% 怎么样？这样就会很好了吧？其实比达到 90% 更重要的是，你要找到其中的真相。

真相>胜利

作为一个专业的职场人士，你的工作就是找出真相。你必须先把自我放在一边，执着于你的假设或设计是人之常情，如果当你的假设没有出现显著的差异性时，这可能会对你造成很严重的打击。真理高于一切，否则一切都失去了意义。

这里有一个常见的场景，即使对于经常进行 A/B 测试的公司也是如此，公司进行一个又一个的测试，持续了 12 个月，好不容易挑选出“获胜者”，然后将它们推出市场。结果一年后发现，他们网站的转化率和刚开始时一样……

为什么？基本是因为测试停止得太早或样本量太小。这里有一个关于何时停止 A/B 测试解释，简而言之需要满足这三个条件，才能说明测试已经完成：

足够的样本大小。实验要有足够的被试参与，你需要为你的 A/B 测试预先估算出足够的样本量。要运行多个销售周期(通常为 2-4 周)。如果你只是在几天内就停止测试（或者在达到所需的样本量之后就停止），那么你获得的这个样本结果，并不具有代表性。统计学的显著性至少要达到 95%（p≤0.05）。值得注意的是，p 值没有办法告诉我们 B 比 A 的方案好。

这里有一个经典的例子来说明我的观点，下表为开始测试两天后的结果：

图 1. 图片来源于网络

我构建的新版本损失惨重，我构建的版本并没有太大的优势，而我的客户也已经开始准备停用这个方案。但是，由于样本量太小（每次变化只有 100 多次访问），通过我的坚持不懈，这是 10 天后的结果：

图 2. 图片来源于网络

你没看错，我制造的版本现在以 95％的置信率获胜。

有些A / B测试结束得过早，这就需要我们仔细检查各种数据。而最糟糕的事情就是，因为不准确的数据，让你损失了大量的时间与金钱。

需要多大的样本量？

通过上面的介绍，我们都不希望根据较小的样本量得出结论。理想的状态下，一个好的测试版本最好能发生至少 350-400 次转换数据。但是，这个数字不是定值。我们不要被一个号码困住，因为我们手中的是科学，而不是魔术。

所以，你一定要提前估算出测试所需要的样本量。那么即使这样做了，但置信度还是低于 95％怎么办？那么可以从细分领域下手，但你仍需要为每个测试的细节提供足够的样本量。无论如何，你都需要不断修改你的假设并进行新的测试。

二、测试的单位不是“周”

假设你有一个高流量网站，你在三天内实现了 98％的置信度，并且每次都发生了至少 350 次的转换数据。

这样能算完成了测试吗？不，我们需要排除周期性因素并测试整整一周。如果你从上周一开始测试，那么这个测试需要在下周一停止。