增长黑客进阶之路：关于A/A测试，看这篇文章就够了

增长黑客成长之路上，想比大家对A/B测试已经很熟悉了，但听过、实践过A/A测试的同学举个手我看看，喏，还没多少人。这篇文章我们就来讲讲A/A测试。

什么是A/A测试？

A/A测试可以理解成对两个相同版本进行的A/B测试。通常，这样做的目的是为了验证正在使用的工具运行试验在统计上是公平的。在A/A测试中，如果测试正确进行，控制组和实验组应该没有任何区别。

在没做A/A测试之前，你可能什么都不知道，这里的逻辑是这样的：如果样本的A/A测试结果达到统计显著，那么A/B测试工具或测试方案就是不可信的。

如果说A/B测试用来测试比较几个方案的优劣，那么A/A测试就是验证A/B测试及工具置信度的有效方式。

为什么进行A/A测试？

既然A/A测试的两个版本变量没有任何变化，为什么还要花时间精力来做？

商业活动中，通常我们使用一切数据工具的目的，无外乎：用测量推动决策优化，同时用正确的决策获取比竞争对手更大的市场。可能通过数据能获取的决策信息点有很多，那么通过A/A测试来确保你得到的数据能用来自信地作出决定，减小决策失误。

通常情况下我们做A/A测试的目的有下面几个：

保证精确的流量分配，换句话说，验证随机性实际上是通过确保每次试验产生的计数与统计范围相似
识别假阳性结果的频率（假阳性结果也可以理解为测试结果中的虚假繁荣，有相当的误导性）
确定方差“泡沫”帮我们更好的理解其他测试结果

关于假阳性

A/A测试能被用来理解假阳性结果的频率。简单讲，如果你在测试中采用95%置信水平，那么20次结果可能会出现1次假阳性结果。这时候通过A/A测试，就能验证转化率的显著差异，比如，你运行20次A/A测试，其中有2次结果明显不同，这意味着假阳性的比例可能高于5%。

方差“泡沫”

A/A测试能帮助确定转化率中的方差“泡沫”，最小化对未来测试的影响。除了技术上的有效性，A/A测试能让“泡沫”在可接受范围内。

比如，如果A/A测试中的泡沫是0.1%，测试转化率是3%，那么你可以接受的范围就是2.9%-3.1%。如果你看到0.1%的提升，那么你就知道这样的结果是没有意义的。

A/A测试的时候，你不知道什么时候新变量和默认变量的转化率差别结果能达到统计显著。因此，A/A测试中的任何错误或置信度不应被用来作为未来测试的基准，因为A/A测试中本不应有转化率的明显差异。

需要注意的是，有可能只是因为随机性，导致A/A测试的两个试验结果有所不同，而不是工具或测试方案本身的问题。当然，随着样本量的增大，这种差别会逐渐降低。这是因为，小样本下的结果是不可信的，小样本从总体上意味着可能存在分配不均的数据段。要消除这点，就需要A/A测试运行足够长的时间，以及有足够的样本规模。