全栈设计师-产品思维的培养之AB实验

一、为什么做AB实验

1.辅助决策
产品优化，往往会提供各种方案，有时候，无法评估方案的优劣，避免无效沟通和争执，就可以尝试，看哪个方案核心结果数据表现更好，由数据结果知道方案决策，这样就需要做AB实验了。

2.产品功能稳步推进，保证用户体验。
产品上线前，先小流量看是否有bug问题，便于调整，后续再全量用户推全新功能。


实验主要分为策略实验和样式实验，其中策略包含推荐策略和运营策略实验，日常的算法实验就是推荐策略实验的一种，设计师经常遇到的是ui样式的AB实验。

二、什么是AB实验

AB实验可以简单理解为，将用户随机分组，分为对照组和实施策略组，对比这些实验用户组的核心数据表现，评估方案收益。一般建议控制变量，实施策略组变量唯一，便于归因。
三、怎么做ab实验

• 前期思考

要确认实验目的，想好需要测试的变量。可以用哪些核心指标衡量效果，哪些辅助指标协助决策，各方达到统一后，方可进行实验的设计。

• 方案设计

一般会输出要参与实验方案，根据方案变量，设计实验的分组。

1.单一维度的实验（比如颜色变化、文案变化等），可直接分为参照组、实验一组、实验二组···，每组变量唯一

2.多个实验同时进行时，就涉及到实验正交。每个独立实验为一层，层与层之间流量是正交的，一份流量穿越每层实验时，都会再次随机打散。这样用户群会随机分配，且用户无明显差异，不会相互影响。


实验组流量分配参考
1、实验不影响用户体验：如UI实验、文案类实验等，可均匀分配流量实验
2、实验不确定性较强的实验：如产品新功能上线，可先小流量实验，查看数据，在允许的时间内得到结论
3、希望收益最大化的实验：如运营活动等，尽可能将效果最大化，一般需要大流量实验，留出小部分对照组用于评估ROI


实验时间预估
实验时间可以借助工具结合网站数据信息和目标数据，大致得出
https://www.eyeofcloud.com/abtest-widget/124.html

• 实验方案开发埋点验证

实验会有一个用于区分实验组的标识，是否需要新增埋点，埋点需要上线前验证上报的准确性，后续依据该埋点进行不同分组的实验数据分析。

• 实验分析

实验统计是否显著， 可以借助工具实验工具查看。
实验显著分析

• 实验决策

如果实验组的关数据键指标正向收益，也可以建议直接推全；
如果实验组的关数据键指标负向，可能需要继续优化功能后再上线；
如果观察到的关键指标变化不大，但是功能本身的改动很大，可以建议扩大流量观察。

三、实验工具
可以自研AB系统，也可以使用Firebase、神策等第三方支持AB 的工具，有兴趣的可以继续深入了解，不再展开。