如何衡量改版的效果

我们在完成一个产品模块的优化后，你还会去验证这个模块设计的好坏吗，以及用户的体验感受如何？是不是继续忙着下一个界面的设计无法去做一些思考和复盘？我自己在工作中有吃过这样的亏，只会埋头苦干不理会工作中的结果导向，以下文章是我在工作和学习过程中摸索出的一些经验，希望可以和大家共同探索交流。

衡量改版需要一些基础数据，首先要观察用户行为，我们将用户及行为数据作为衡量产品改版的基础。

衡量改版的效果，先从以下5个问题进行分析：

（1）改版是否受欢迎

（2）用户是否会重复使用

（3）对流程转化率的优化效果

（4）对留存的影响

（5）用户怎样使用新功能 

1.「改版是否受欢迎？」

使用的用户数越多，证明改版的越成功。其次还需要我们关注的一个指标：功能活跃比（使用新功能的用户数/同期活跃用户数）

功能使用人数的多少还会受到功能本身之外的很多因素影响，万万不可只凭这一指标来判断功能的好坏，一定要结合其他方面的因素综合评估。

2.「用户是否会重复使用？」

如果新功能很糟糕，比如存在严重的bug或用户体验极差，用户往往在使用过一次后便不会再使用第二次。而优秀的功能则可能受到用户的喜爱，并且反复使用。

我们将功能的重复使用用户比例作为衡量指标，即用户在首次使用新功能的第N天，回访用户中使用该功能的比例。重复使用用户比例越高，说明越多的用户反复使用该功能。

   

第1天：用过新功能的用户量

第2天：回访用户量 继续使用该功能的用户占比。

3.「对流程转化率的优化有什么效果？」

如果新上线的功能处于某个用户使用流程，那么您需要评估该功能对流程是否起到了优化效果。

衡量指标：用户流程的转化率和完成率（对比改版前后的转化率和完成率）

可以通过数据漏斗的方式完成该评估，具体如下：

（1）用户流程创建漏斗

（2）分析改版前后的漏斗转化率和完成率

对比改版前后，漏斗的转化率和完成率的变化，即可评估此次改版的功能对用户使用流程的影响——转化率和完成率提升的越多，说明效果越明显。

4.「对留存的影响」

一次成功的改版会增加用户对产品的喜爱，从而让用户频繁使用产品。我们一般把留存率作为衡量指标，即用户在初始时间第N天的回访比例，即为第N天的留存率。同类的常用指标是「次日留存率」「7天留存率」「21天留存率」「30天留存率」

通过对比改版前后，留存率是否发生变化，以及变化的幅度，可以来衡量改版对用户留存的影响。

5.「用户怎样使用新功能？」

面对新功能上线，用户是怎样使用新功能的呢，他们的使用方法是否和你预期的一样，用户在使用这个功能前后分别做了什么？

分析方法：行为属性统计，用户行为记录等

以上就是我所能想到的全部内容，由一个问题展开5个问题去做思考分析，大家在遇到相关问题的时候不妨先拿出这五个问题问问自己，你会在其中找到答案。下期见～