A/B 测试计算器 — 统计显著性与样本量
判断 A/B 测试结果是否具有统计显著性，并规划下一次测试所需的样本量和时长。
对照组（A）
实验组（B）
完全在浏览器中运行。你输入的任何内容都不会发送给我们或被存储。 浏览全部免费工具.
发现问题，或者觉得哪里可以更好？每条消息我们都会阅读，并尽快修复。
这款 A/B 测试计算器告诉你两个转化率之间的差异是否具有统计显著性，还是很可能只是噪声。输入对照组和实验组的访客数与转化数，它会给出 p 值、置信度、相对提升幅度以及该提升幅度的置信区间——这个区间告诉你真实效应可能有多大。
第二个标签页用于在测试开始前做规划：根据基准转化率和值得检测的最小效应，计算每个版本所需的访客数，以及按你的流量需要多少天。统计方法采用标准的双比例 z 检验，以及 Evan Miller 那款被广泛引用的计算器所用的样本量公式，代码已对照他公布的示例做过核验。本工具假定样本量是事先确定好的；如果你每天查看结果、看着不错就停止测试，任何计算器都无法让这样的结果变得可靠。
使用方法
- 在显著性标签页中，输入对照组（A）和实验组（B）的访客数与转化数。
- 选择置信度（95% 是通用标准）；除非你在测试前就决定只关心提升，否则选择双侧检验。
- 查看结论、p 值和提升幅度区间。如果区间包含 0，说明测试并未显示出差异。
- 要规划测试，切换到样本量标签页，输入基准转化率和最小可检测效应，再填入每日流量即可得到所需时长。
常见问题
A/B 测试的统计显著性怎么计算？
对于转化率，标准方法是双比例 z 检验。先算出各组转化率，再算合并转化率 p = (A 的转化数 + B 的转化数) ÷ (A 的访客数 + B 的访客数)，以及标准误 √(p(1 − p)(1/nA + 1/nB))。然后 z = (B 的转化率 − A 的转化率) ÷ SE，双侧 p 值为 2 × (1 − Φ(|z|))。如果 p 值低于你设定的显著性水平（通常为 0.05），结果就是显著的。
p 值为 0.05 是什么意思？
如果 A 和 B 之间确实没有差异，那么大约有 5% 的概率会仅凭偶然看到至少这么大的差距。这并不意味着 B 有 95% 的概率更好，也完全没有说明效应有多大。这正是本工具还会显示提升幅度置信区间的原因。
A/B 测试需要多少访客？
取决于你的基准转化率和你关心的最小效应。基准为 3% 时，要在 95% 置信度、80% 统计功效下检测出 10% 的相对提升（3.0% 到 3.3%），每个版本大约需要 51,500 名访客。检测 20% 的提升大约只需要四分之一。低转化率上的小效应需要大量流量，所以低流量网站应该测试改动更大的方案。
应该用单侧检验还是双侧检验？
使用双侧检验，除非你在开始前就已决定只关心 B 是否更好，并且会把“B 更差”与“没有差异”同等对待。单侧检验用更少的数据就能达到显著，正因如此，看到结果后再改用单侧检验就是一种作弊。大多数测试工具默认采用双侧检验。
A/B 测试一显著就可以停止吗？
对这类检验来说不行。反复查看并在第一次出现显著结果时停止，可能会把假阳性率从 5% 提高到 20–30% 甚至更高。请用规划工具事先确定样本量，按整周运行，只在最后评估一次。如果确实需要持续监控，请使用专为此设计的序贯检验方法。
什么是统计功效？
统计功效是指测试能检测出你所设定大小的真实效应的概率。通常标准为 80%，即这么大的真实提升每五次会漏掉一次。功效越高，需要的访客越多。功效不足的测试得出不显著的结果，并不能说明没有效应，只能说明测试无法分辨。
正确解读结果
先看提升幅度区间，再看结论。“提升 +15%，95% CI −2% 到 +34%”这样的结果并不显著，它还告诉你实验版本可能略差，也可能好很多：你需要更多数据。“+15%，CI +6% 到 +25%”则是显著的，并且说明即使是最保守的可信效应也仍然值得拥有。
• 检查样本比例失衡（SRM）：按 50/50 分流时，两组访客数应当接近。差距过大通常意味着跟踪或重定向有 bug，测试结果也因此无效。
• 至少运行一整周，最好两周，以覆盖工作日和周末的行为差异，并避开新奇效应。
• 每位访客在每个版本中只计一次。用页面浏览量代替用户数会虚增样本，让结果看起来比实际更确定。
• 测试多个版本或多个指标会成倍增加假阳性。请使用 Bonferroni 选项，或事先选定一个主要指标。
所用方法
显著性采用合并方差的双比例 z 检验，对于两组数据，它等价于不做连续性校正的卡方检验。绝对差值的置信区间使用非合并标准误；相对提升幅度的区间则对转化率之比的对数应用 delta 方法，即使转化率很小也依然合理。
样本量使用 n = (z₁₋α/₂ √(2p(1 − p)) + z₁₋β √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ δ²，与 Evan Miller 计算器的公式相同。正态分布函数以完整的双精度实现，因此尾部的 p 值是准确的，而不会被舍入为零。
z 检验依赖正态近似。任一组转化数少于约 30 时，工具会给出警告，因为此时近似已不可靠。