A/B测试术语表

1.A/B测试

测量两个版本的页面（包括网页、APP页面、小程序页面等）或者策略算法在一个或者多个评估指标上的差异的一种实验方法。

2.A/A测试

为了验证A/B测试工具/平台的准确性而采取的A/B测试方法，在这种特殊的A/B测试中，两个版本是一样的。

3.增长黑客

使用轻量的、高投入产出比的方法帮助产品的用户进行增长、帮助用户留存进行优化的团队，这个团队可能包含产品、技术、运营等各个职能的人员，也指这个团队里面的成员。

4.正交试验

多层A/B测试的一种层与层之间的流量分配关系，可以使多层试验的每一层使用同样多的流量去做试验，并尽量使各层试验之间的结果不会互相干扰。

5.互斥试验

一种流量分配关系，使试验与试验之间独立使用流量，保证试验之间没有互相干扰。

6.辛普森悖论

一种A/B测试分流不科学导致的悖论：由于不同版本流量在某些维度上的分布不均匀，导致出现整体数据和分维度数据不一致的问题。

7.假设检验

一种统计学方法论，现对总体的参数提出某种假设，然后利用样本数据判断假设是否成立的过程。

8.第 Ⅰ 类错误

在原假设为真的条件下，样本数据拒原假设这样一个事件发生的概率。

9.第 Ⅱ 类错误

在原假设为假的条件下，样本数据未拒绝原假设这样一个事件发生的概率。第Ⅱ类错误的概率记为 β 。

9.显著统计水平

判断第Ⅰ类错误的小概率标准。

11. P 值

在原假设为真的条件下，样本数据拒绝原假设这样一个事件发生的概率。

12.统计显著性标准

判断试验是否统计显著的标准。一般用 α 表示，若 P ≤ α ，那么拒绝原假设 P > α；若，那么不能拒绝原假设。

13.置信区间、置信水平

置信区间就是用来对一组观察样本数据的总体参数进行区间估计的区间范围。置信水平是指置信区间包含总体参数真实值的概率。

置信水平代表了估计的可靠度，也叫置信度。

14.统计功能

在假设检验中，当备择假设为真时正确地拒绝原假设的概率。统计功效等于（1-β）。

15.效应值

效应值是量化现象强度的一个数量值。现象强度指的是试验版本在目标指标上相对对照版本提升了多少，这个提升比例就是效应值。

16.多臂老虎机问题

针对拥有多个收益率不确定的摇臂的老虎机，如何在筹码有限的情况下，进行下注选择，以获取期望回报最大化的最优化问题。广告着陆页的自动A/B测试和优化可以转化为多臂老虎机问题。

17.着陆页优化

对广告营销等导流场景的着陆页面元素编辑、美化，以提升转化率的过程。

18.热图

在一个页面上的不同区域，用不同颜色区分用户关注度的图形。用户关注度通常用鼠标单击或者停留的频率描述。

19.受众定向

在A/B测试的时候，限定试验对象，使其在某些属性上只包含特定属性值的试验方式。

20.分组序贯分析

在A/B测试的过程中，多次检查试验数据，随桌试验数据的变化随时决定终止试验的试验方式，会带来试验的实际第Ⅰ类错误的概率比标称值高的问题。针对这种问题进行优化，修正第Ⅰ类错误的概率的过程，叫作分组序贯分析。

21.留存率

某个时间开始使用应用（或网站）的用户，经过一段时间仍然留在该应用（或网站）的用户，叫留存用户。留存用户占当时的新增用户的比例，就是留存率。

22.转化率

用户从应用（或者网站）的一个环节进入另外一个环节的概率。常见的有点击转化率、购买转化率。

23.跳出率

在网站的访问用户中，只访问了一个页面的用户占整体用户的比例。

24.订单均价

网站或者应用的一个订单的平均金额。

25.应用/网站个性化

把应用或者网站针对特定客户的特定需求进行个性化调整。

26.基于客户营销

把资源集中在一部分目标客户上的营销策略。在B2B（企业对企业）企业中比较流行。

27.行为召唤

网站中引起用户注意并采取行动的页面元素，如“注册”“购买”等按钮。

28.内容管理系统（CMS）

让内容生产者进行创建、编辑、发布网站内容的应用。

29.持续交付

一种快速安全地进行代码开发、测试及发布的软件开发流程。

30.决策疲劳

用户经过连续决策过程（如网站中多次选择复选框）以后，心理傻姑娘出现疲劳的现象。

31.体验优化

通过用户行为分析、用户调研、A/B测试、个性化方式对网站/应用的各个环节进行改进的过程。

32.试验变量

A/B测试试验中的一个开关变量，这个变量的具体值决定用户进入哪个试验组，从而决定针对该用户进行展示的具体业务逻辑。

33.功能迭代

在软件开发中，把新功能发布给用户的过程。

34.集客营销

通过不同渠道进行营销的时候，通过展示进入方法，把客户引导到自己的数字营销平台（官网/活动网站/应用），然后实现后续的交易达成的营销方法。

35.在线营销

通过网络渠道进行品牌、产品、服务等信息的传播，以触达潜在客户的营销策略。

36.每用户平均收入（ARPU）

一段时间内，网站/应用的总营收除以用户数得到的数值，是一个用以评价网站/应用的单用户贡献值的指标。

37.销售漏斗

从吸引用户到网站/应用到用户完成变现的整个转化过程。一般分为：拉新、激活、留存、变现等几个阶段。

38.搜索引擎优化（SEO）

通过一些技术手段使用网站在搜索引擎中的排序变得更高的方法。

39.搜索引擎优化（SEM）

通过付费广告的方式使网站在搜索引擎结果页的曝光和转化增加。

40.用户行为分析

对网站、应用的用户行为进行衡量和分析的过程。

41.价值主张

提供给客户的产品或者服务的价值本质，它告诉客户为什么要从你这里而不是竞争对手那里购买产品或者服务。

42.优化指标

在A/B测试试验中，用以评估哥哥版本优劣的数值指标。对于每个试验来说，应该确定满足决策需要的尽量少的优化指标。

43.试验驱动

一种产品功能、策略迭代的方法论。不断尝试新的优化方案，并把新旧方案进行分组对比试验，通过数据分析得出方案优劣的结论，推进迭代过程。

44.数据驱动

一种决策方法论。在企业生产经营的各个环节中，通过数据收集、数据分析的方法（而不是直觉或者个人经验）发现问题和解决问题。

45.北极星指标

又叫作“唯一重要指标”，指这个指标一旦确立，就像北极星一样闪耀，指引整个团队朝一个方向迈进。

46.AARRR模型

用以描述一个应用的生命周期模型。这个模型包含应用生命周期的五个重要环节“获取用户（Acquisition）、提高活跃度（Activation）、提高留存率（Retention）、获取收入（Revenue）、自传播（Referrral）

47.灰度发布

灰度发布是在产品发布的过程中，让一部分用户继续使用老版本，一部分用户开始用新版本，逐步过度到全量用户新版本的发布方式。灰度发布可以保证整体系统的稳定，在出事灰度发布的时候就可以发现、调整问题，以控制可能出现故障的影响度。

48.可视化编辑

一种A/B测试的具体实现方式。这种方式可以在原版本页面的基础上以所见即所得的方式改变页面的展现效果，并且对获得的不同版本的页面进行A/B测试。

49.私有化部署

厂商把软件部署到客户自己的服务器上的软件应用方式。

50.SaaS

软件及服务（Software-as-a-Service）的简称。厂商把软件部署在自己的服务器上，客户通过互联网向厂商订购和使用服务的软件应用方式。

51.广告投放广告

广告服务提供商提供给客户的广告创建、管理平台。

52.信息流广告

社交媒体的好友动态、资讯、或者视听媒体的内容流中的广告。

53.客户生命周期

客户生命周期是指从一个客户开始对企业进行了解或企业要对某一客户从开发开始，直到客户与企业的业务关系完全终止且与相关的事宜完全处理完毕的这段时间。

54.转化率优化

想办法提高转化率的过程。