关于 A/B 测试的十问十答

Q:什么是 A/B 测试?

A:A/B 测试作为互联网企业的核心增长手段之一,其价值已在实际应用中被多次验证。它通过为用户线上业务旅程制定两套或多套方案,在保证各套方案对应用户群的特征相同(相似)的情况下,观察关键的效果指标的差异,并运用科学的统计学检验来判断哪个方案更加有效,从而帮助企业做出更科学的决策,驱动精细化用户增长。

Q:哪些场景可以使用 A/B 测试?

A:A/B 测试通常应用在产品正式迭代发版阶段,将 Web 或 App 界面/流程以同一个目的制定两个或多个方案,在同一时间维度,将用户流量对应分成若干组,在保证每组用户特征相同或相似的前提下,展示给用户不同的设计方案,收集各组用户的体验数据和业务数据,最后分析评估出最优版本,驱动决策落地。比如:UI、文案层的 A/B 测试;信息架构的 A/B 测试;流程交互的 A/B 测试;功能范畴的 A/B 测试。

Q:如何选择 A/B 测试平台?

A:参照 Google 重叠试验框架——更多、更好、更快地试验,并结合神策 A/B 测试服务数十家客户的实践,我们从不同维度总结出企业选择 A/B 测试平台的标准:

功能:支持丰富的试验人群定向和指标管理配置,同时进行多个试验的可扩展性、灵活性

性能:A/B 测试的性能越高,对实际业务造成的延迟越小,C 端客户的体验越好

稳定:A/B 测试平台要保证足够高的 SLA,A/B 故障不应该影响正常业务运行

效率:降低试验的实施和分析成本,通过标准化的试验指标计算快速发现、终止不符合预期的试验

易用:降低试验的实施门槛,帮助没有 A/B 测试基础的小白快速上手、避免踩坑

Q:A/B 测试怎么做?

A:神策数据结合数百场 A/B 测试的服务及交付经验,总结、沉淀出了建立假设、确定评价指标、设计试验、运行试验并获取数据、结果分析、最终决策六大环节,帮助企业顺利落地 A/B 测试,为客户带来价值。

关于 A/B 测试的十问十答

Q:A/B 测试如何实现流量复用?

A:A/B 测试需要基于一定样本量才能有效体现结果,但对于业务流量较小的企业来说,很难确定多个试验的效果是否会相互影响,因此无法同时上线多个试验。神策数据的 A/B 测试功能采用正交分流,实现同一试验层内的流量互斥,不同试验层内的流量正交,达到流量复用的目的。

Q:如何降低 A/B 测试的延迟?

A:公网传输耗时是 App 使用过程中不可避免的,企业要想在 A/B 测试期间降低延迟,根本在于降低分流服务的处理耗时和规避试验请求的公网传输耗时。

Q:A/B 测试如何建立假设?

A:A/B 测试最核心的原理是假设检验。我们在建立假设的过程中需要注意两点:第一,A/B 测试属于因果推断,所以需要先确定原因和结果;第二,假设必须是可衡量的,需要有相应的评价指标来检验假设是否成立。

Q:如何通过置信区间法评估 A/B 测试的试验结果?

A:置信区间法是企业评估 A/B 测试结果显著性的常用方法。置信区间是一个范围,最常见的是 95% 的置信区间。也就是说,对于一个随机变量,95% 的概率包含总体均值的范围,就叫做 95% 的置信区间。也可以简单理解为总体数据有 95% 的可能性在这个范围内。

在 A/B 测试中,我们会计算两组指标的差异值,如果计算得出的差异值置信区间不含 0,那么就可以拒绝零假设,认为两组结果差异显著;反之则接受零假设,认为两组结果差异不显著。

Q:产品 A/B 测试怎么做?

A:以游戏产品为例。在游戏产品研发与运营过程中,企业可以通过 A/B 测试工具测试美术设计,如按钮用什么颜色、什么形状,NPC 用什么造型、技能特效、抽卡表现等;测试新手引导,调整新手阶段的节奏、难度和特定的关卡设计;测试界面布局,如商城界面布局,包括顺序、大小、颜色和边框等;测试产品定价,确定哪些定价的硬通货或者礼包对玩家更有吸引力;测试变现入口,确定合适的变现入口,使得既可以获得可观的收益又不影响玩家体验;测试玩法机制,找到更吸引玩家的玩法,如调整 PVE 通关奖励领取方式能否提升玩家体验深度,副本增加随机隐藏 BOSS 能否吸引玩家再次挑战,PVP 不同匹配策略对玩家参与积极性有什么影响。

Q:神策数据 A/B 测试有哪些优势?

A:在神策分析云中,迭代优化后的 A/B 测试能够为企业提供完整的试验创建能力和试验分流能力,可以满足流量分层、试验互斥等更高级测试需求,为产品迭代、运营策略的优化提供决策依据。