如何落地可用性测试？实战业务解析

      “调换课优化“是在学而思网校的项目，因为在项目中和用研的同学通力合作，一起做了2次可用性测试，也就有了本次的分享：如何落地可用性测试？（既是一个项目复盘，又是一次经验分享）

      文章的整体脉络如下：

      1.What，首先什么是可用性测试？

      2.Who，测试参与人都有谁？

      3.Where，在什么场景下用？

      4.Why，为什么要用可用性测试，而非其他用研方法？

      5.When，产品的哪个阶段会更合适？

      6.How，当然重中之重还是怎么用，结合项目着重谈谈如何落地。

      可用性测试的定义：在可用性测试环节中，研究人员（也成为主持人）要求参与者执行任务（主要是按照任务表单执行，右侧图里的task sheets），通常会使用多个特定的用户界面或使用流程。参与者完成每项任务过程中，研究人员观察参与者的行为并听取反馈。

      在测试过程中，主要涉及两类人员，一个是研究人员，对研究人员的要求主要是2点：1.对业务非常了解，这样能够敏锐察觉到用户的诉求和产品侧不足，为后期优化做足考虑；2.了解整体测试的流程，能够最大挖掘用户的所思所想，尽可能多的挖掘出问题所在。二是参与者，后面会着重说下，可以分为新、老用户（新老用户的行为差异巨大需要特定区分），测试过程中参与者能够多想多说，阐述出本体体验，目的是深挖用户的潜在诉求。

      场景是可以随着产品的类型进行随意切换，但要尽量保证“模拟用户真实的使用场景”。例如座舱产品，我们要保证在车内，测试沉浸的视频或游戏时需要是静态的，测试导航或智能驾驶等则需要动态路测。再例如小朋友的学习场景，我们需要保证在课桌前。如果测试家长的购课或退换课等任务，需要在正常使用手机的场景里。

      想明白为什么单单用可用性测试，需要先了解用研的基础类型：上图横轴是定量、定性，纵轴是行为和态度，用户行为和态度很好理解，着重聊聊定性和定量。

     

将数据定量表示，并通过统计分析，将结果从样本推广到所研究的总体。 特征：可以深入细致的研究事物内部的构成比例，研究事物规模大小以及水平高低。 

     

主要用非概率抽样方法，根据某一研究目的，寻找具有某种特征的小样本人群进行代调研。常常用于制定假设或者是确定研究中应包括的变量，对潜在的理由和动机求得一个定性的理解。特征：可以指明事物发展的方向及其趋势，但却不能表明事物发展的广度和深度；可以得到有关事务的概念，但却无法得到事物的规模的量的认知。 

      以调换课的入口为例子，定量的用户日志数据可以表明：用户从学习中心进入的比例高，而从我的进行操作的占比少。但是我们无法深入了解用户为什么会有这种想法，这也就是定性用研的作用所在，帮我们了解用户潜在的理由和动机。

      根据在用研概览图横纵轴上的位置，可以清晰的定义出，可用性测试偏向基于用户行为的定性测试。它可以帮助我们了解目标用户的行为和偏好（尤其是潜在的想法和理由），进而帮助我们识别出现有产品或服务的问题；最终让我们发现改进产品或服务的机会。

      上文讲到，可用性测试是偏向用户行为而非态度的，所以非常适合从1-100迭代优化的产品，因为有现成的界面和流程可供使用和观测。例如现有车机端路书有V1.0版本，上线后有了一定的用户数据和反馈，如果进行V1.1的优化迭代就非常适合采用可用性测试。但是，如果要做组队出行和互助救援的产品预研，这种从无到有、从0-1的需求，就适合用深度访谈或现场研究来探明用户真实的态度和诉求。

     对可用性测试有了清晰的认知后，接下来就让我们进入文章的重中之重，如何来落地？

      我将可用性测试分了5个主要的步骤，如下图所示

      要想做好可用性测试最好是带着问题来执行，那这些问题往往来自于对当前业务和产品的反思，这也是必须让了解业务的人来参与测试的原因。做测试实验之前，我们盘点了当前的现状：每到开课之前，电话咨询率就会居高不下，导致客服成本高、拉力大，而用户侧也觉得体验差、情绪差，所以第一目标是降低咨询率。（介绍下背景，为何每到开课的时候大家都会换课呢？因为很多课程是暑秋课程一同联报的，经过一个暑假，很多孩子有了进步觉得难度不合适，或参加了其他活动觉得时间不合适了，就会在秋季课开课前调换难度和时间）

      首先要了解用户为什么要咨询调换课，因此拿了一周客服数据来做分析：

      1.用户分层明显，尤其是新用户是整体用户的10%左右，但是咨询率占比却高达25.69%；

      2.新用户主要不知道有调换课的功能，所以入口是后期重点观察内容；

      3.老用户则觉得流程复杂，还不如打电话让后台工作人员直接调整，所以操作流程也是后期实验时需要着重关注的点。

      继续向下拆分，看页面级的用户行为日志数据。

      入口是重中之重，所需查看了路径占比对比，以及入口侧的点击率；流程也是重点，列出调课漏斗数据，发现关键选择页面的流失率确实有点高，分别是41.52%、56.09%、40.83%。接下来，就需要针对前边的数据分析和业务的理解，来制定脚本和任务，通过测试实验来挖掘用户的潜在问题。

      创建任务脚本阶段，需要注意3个点：

      1.首先要确定测试结构：单个任务完成后，对单个任务进行评分；其次，整体流程操作完后，对整体任务进行评分。

      2.制定单个任务时，任务描述一定要准确，同时要把用户带入到场景里，例如“二宝在学而思网校的英语课程每周六上午10:20-12:00上课，最近，孩子的学校新开了游泳课，也正好是周六上午10:00上,需要把课程调到晚上。”目的是在后期创建demo的阶段，会更容易些。

      3.时刻注意“关注点”，在测试实施阶段一定要时刻锚定在关注点上，例如“能否成功找到入口，三个入口如何选择？操作是否流畅，存在哪些疑惑或障碍？是否会有优先选原班老师的需求？”这样才有意义，一定要带着问题去执行测试。

      任务的模版有很多种，找到自己喜欢用的就行，我们当时采用的是上图右侧这种。

      创建高保真demo，这个流程可以根据产品阶段做取舍，例如调换课的可用性测试，并没有高保真demo的制作，因为产品本身在线上，用户是可以直接使用的。但是，我们在做网校8.0大改版的时候做了一次可用性测试，因为没有线上版本，我们想提前发现问题，提前观测下用户对新版本的态度，就用principle做了一个可操作的高保真demo。

      如果要做的话，我推荐principle来做，简单易学，同时效果和原生app无异，也支持视频和音频的播放。当然工具很多，选择适合自己的就行。

      招募用户阶段我们根据自己的需求，招募了4名新用户，4名老用户，总共8名（主要通过网校的用户池，很多妈妈非常喜欢类似活动，一方面有不错的奖励，另一方面可以线下见到孩子喜欢的老师给孩子要签名等）。数量上的考虑，是根据左上的实验数据来的：有5个人参加的用户测试，就可以发现85%左右的产品可用性问题。新、老用户的选择也是根据之前的客服数据来定，选了同等数量的新、老用户，来着重关注新、老用户行为的差异点。

      实验执行阶段主要注意点有2个：

      1.对用户的要求，需要发声练习，就是一边操作，一边说出自己的想法。例如“接下来找调换课入口，但是这个页面没有看到。这个点点点是什么？我看看会不会有...”主要目的是展现、挖掘用户的真实想法。

      2.对访谈人的要求，用户操作过程中尽量不打断，同时做好录音、录屏、录像，并在任务表单里做好自己想法和问题的记录，以免后期汇总表格时遗漏关键信息。

，例如用户完成“调一讲”的流程，需要采用问卷ASQ。包含固定的3道题目，可以直观的在任务难度、完成效率和帮助信息上获取到测试者的直接反馈，答案采用5分制或7分制。8人取均值后，调一讲的单项任务评分最低为5.0。

     

，用户完成总任务后，对产品或系统进行整体的感知可用性测量。总共是10个固定的问题，后期结合积分规则进行转化并累计评分。如图所以，无调课经验的用户得分为69.38，有调课经验的用户为79.38，总体差了整整10分。可见入口隐蔽对新用户的影响之大，这个也就表明了后期优化的方向之一，入口需要明显且露出。

      总表格汇总，事无巨细把用户反馈的问题和自己识别的问题归纳到表格里，和用研、产品的同学讨论对应的解决办法。

      最后汇总为用户体验地图，这种流程性较强的产品非常适合用户体验地图来呈现“操作步骤-每步的问题点-对应的机会点”，简单清晰，方便向老板和高层汇报，其本质是表格的一种变体。

      这个执行表单完成后，基本上设计方案也就呼之欲出了，后边的方案都对应了我们识别出的问题，设计策略也主要围绕在以下3个方向：1.入口的突出和重新定义；2.精简流程和路经，并统一UI样式；3.针对关键漏损页面和关键的选择页面，专项优化。

      学习中心入口优化如下。

      问题1：学习中心“…”用户几乎注意不到。

      方案：外化学习中心“调换课”入口，使其外露。

      问题2：用户不明白什么是跨大纲调课，以及调课和跨大纲调课的区别。

      问题3：用户认为，调一讲属于调课，目前是被区分出来的。

      总体方案：按用户思维来修改名称，分别为调换课程中的一讲，调整课程时间或老师（业务上是同版本、难度调课），调整课程版本或难度（业务上是跨版本、难度调课）

      个人中心入口也是相同思路：1.用户对入口感知较弱，那就强化入口样式；2.用户认为调课功能不完整，那就补全功能。

      缩短操作路径，减少不必要的页面，能够大大缩短流程进而降低整体的流失率，因为很少页面间的转化率能够达到100%。把确认信息页面和调换成功页面作为公有页面，同时统一组件和卡片的样式能够大幅降低用户侧的认知负荷，能增加用户一致性的感知，进而提升SUS量表里关于“一致性”的评分。

      根据古腾堡原则，进行关键选择页面的结构优化，让“按钮”在底部，成为整个行为的落焦上。根据用户的反馈和潜在诉求，优化卡片的展示样式和排序策略，例如调课的时候，学生还是会优先选择原课程老师的课，所以原课程老师的课程应该在最前边，按上课时间的先后顺序进行排布，这样能够大大缩减用户的查找时间。

      代表性的案例还有，增加“查看老师信息”的功能，方便用户直接做筛选，避免用户跳出原流程去其他页面查看老师信息。取消课程详情页底部的购买按钮，避免用户进入购买流程而跳失。

      根据汇总的表格内容，经过一轮轮细致的设计、排查和内部评审，保证方案合理并解决对应的问题。

     入口调整后，点击率提升明显。强化和外露入口的策略，效果还是不错的。

      流程优化后，完成率也提升明显。缩短流程，减少跳失的设计策略，也大幅提高了调课成功率。

      当然终极的业务指标“调课咨询率”也大幅下降。