干预-AB测试

Ⅰ.A/B Testing的优势: #

• 快迭代：通过同时进行多组A/B Testing实验，快速验证方案效果，加快产品迭代速度

• 低风险：采用小流量实验，对大盘整体影响小，降低了新策略对线上用户的影响，风险低

• 低成本：A/B Testing实验创建、维护简单，线上用户反馈真实可靠，实验成本低

Ⅱ.A/B Testing的核心原则： #

单次实验仅评估单一因素：一次实验不要引入多个影响因素，否则会导致实验效果无法区分是哪个因素影响的。

Ⅲ.A/B Testing适合干什么： #

A/B Testing是一种用来验证所提出的改进方案是否有效的方法，从统计学意义上说是一类假设验证的方法。其主要是基于产品当前状态，来验证哪个方案更好，即A/B Testing可以帮助产品从1到10，但是无法实现从0到1创造产品。

对于推荐领域，A/B Testing主要用于：各种优化（如算法、策略、模型）的效果对比评估，从而帮我们快速实现迭代。

Ⅳ.A/B Testing基本流程： #

A/B Testing是一个不断循环渐进的过程，主要流程如下图所示：A/B Testing是一个不断循环渐进的过程，主要流程如下图所示：

• 建立假设：实验开始之前要明确实验目标和预期（如新模型能显著将CTR提升3个点、时长能达到1小时等）。假设的来源是多种多样，可以基于线上用户反馈，也可以基于某位算法大佬的论文等。当然也可以是开发、产品、测试所提出假设；

• 定义指标：设置核心指标（如CTR、时长等）来衡量方案的优劣；同时可以设置辅助指标来评估其他的影响；

• 流量分配：给各实验组分配相应的流量，主要原则是均匀、随机、用户唯一、样本充足。这样实验结果才更真实可靠和稳定；

• 数据分析：通过数据上报、收集、统计用户反馈数据，采用统一口径，明确结果是否正向，并确保数据的可靠性。最后采用假设检验方法，检验指标是否符合预期；

• 给出结论：基于数据分析的结果，给出本次实验的结论，如确认新模型上线、调整流量分配继续测试、继续优化方案重新测试等；