常用可用性测试方法（三）
文章列举了常用的9中可以性测试方法、适用阶段、注意事项、优缺点，可以帮助同学们开启用研的第一步。参考资料见第三章文末
7、问卷调查
7.1 方法说明
在真实的环境中让用户完成特定的任务，通过问卷建立可用性框架，对影响可用性的各个因素提出问题。
7.2 适用阶段
产品上线后
7.3 执行规则/注意事项
7.3.1 何时使用问卷调查
什么时候适合使用问卷法这点很重要，遇到以下三种情况使用问卷法效果最佳：
用户概要：研究现有用户构成；
满意度调查：重要改进之前进行，以便改设计，解决人们遇到的问题；
价值观调查：安排在大型市场营销活动之前，目的是确定产品描述和促销方案。
二、问卷调查步骤
问卷调查法总共分为5个大步骤，分别是：问卷前准备、问题设计、问卷执行、问卷分析和后续研究。
第一步：问卷前准备
前期定性研究对于之后进行问卷调查尤为有用，而不应该一开始就着手想问卷的问题如何设计。在设计问卷之前，要先定义好研究的方向和目标的问题。
（1）启动会
召集需求方、利益相关者和设计师进行一次启动会，能让设计团队深入了解本次调查的意义。
明确目标：用一两句话说并写下为什么要做这个调查。
例如：为了了解我们的基础用户从去年开始是否发生变化以及如果是，又是什么原因？
了解他们眼中最吸引人的产品特征，从启动会中我们可以从需求方得到很多问题，此时可以先收集，供日后设计问题的步骤的时候使用。
（2）用户访谈
在时间和成本条件允许的情况下，可以进行一次针对目标人群的用户访谈。焦点小组、访谈和观察研究可以提供细致、特定的价值和行为信息，引导人们写出调查问卷的问题来检验普遍性，从而能够为问卷的选项提供更多的可能性，有利于帮助后期问卷的编写。
（3）设定日程安排
确定好问卷的目标后，可以先写下此次问卷调查的日程安排，举例如下：
（根据调查样本数量合理安排时间t）
第二步：问题设计
问卷前准备完成后，我们可以进行问题设计了。
（1）首先对设计问题进行头脑风暴，进行前记住两种调查目标：
描述性目标：建立受众的背景资料；
探索型目标：通过人们对问题的回答之间的关系来解释人们信念和行为。
例如：
描述目标：了解用户的收入（高收入）、喜好（爱化妆）。
探索目标：通过用户的收入和喜好的回答，能够解释用户是一个高端化妆品的消费者。
（2）一般调查问题的类型：
特征类别：描述用户是谁，他的硬件和软件环境如何？
人口统计学：了解调查对象的概况，年龄职业？
技术问题：用户拥有的技术情况和相关经验，他们用什么手机？在管理网上隐私设置方面有多熟练？
行为类别：刻画用户的行为表现。
技术运用：如何使用您关心的技术，他们每周上网频率是多少？
产品使用：什么产品功能是用户想使用的？
竞争对手：用户都访问什么其他网站？
态度类别：探究用户的想法和信念。
满意度：他们喜欢您的产品吗？我们的产品是否具备他们想要的功能？
偏好：您的产品最吸引他们的是什么？
希望：他们想要什么？他们觉得缺少了些什么功能？
特征数据最为稳定，不会经常变化，可研究价值较低。行为数据和态度数据对于研究较为有价值，但会容易因时间变化而变化，因此条件允许的情况下最好隔一段时间进行一次调查，提高研究的准确性。
（3）制作调查问题列表
根据脑暴和之前启动会收集下来的问题和问题的类型，我们需要制作一份问题列表，问题的答案选项应该要具体、详尽且相互排斥。整份问卷最好控制完成时间<20分钟，问题个数最好<20题。
问题列表如下图：
（4）问题的设计需注意以下几点：
不要让人们预测他们的行为，例：
你愿意使用在XXX APP嘛？（ 错 ）
你用过或想要使用网上购物平台吗？比如：XXX APP？（ 对 ）
避免否定问题，例：
下列哪些特征是您不感兴趣的？（ 错 ）
下列哪些特征是您感兴趣的？（ 对 ）
问题不要太多，例：
您是否发现您会因为网页的加载速度慢而沮丧？（ 错 ）
您是否会因为网页的某些性能而沮丧？（ 对 ）
如果是，以下哪方面的网页性能让你沮丧？
A. 页面长度、B. 加载时间、C. 图片尺寸…
尽量具体，例：
您最近用了多长时间在XXX网上购物？（ 错 ）
A. 一些、B. 很多、C. 每天
您最近用了多长时间在XXX网上购物？（ 对 ）
A. 没有、B. 0-1小时、C. 2-3小时…
永远不要设限，例：
您最喜欢XXX网站的什么？（ 错 ）
您认为XXX网站的什么功能对您来说最重要？（可多选）（ 对 ）
保持一致，例：
您最近用了多长时间在XXX网上购物？（ 错 ）
A.没有、B.10-12小时、C.2-3小时…
您最近用了多长时间在XXX网上购物？（ 对 ）
A.没有、B.0-1小时、C.2-3小时…
避免极端化，例：
您每次上网都会浏览XXX APP吗？（ 错 ）
你多长时间访问一次去XXX APP？（ 对 ）
保持问题相关性，例：
问题与受访者经历相关。
创建后续跟进问题，例：
留下您的手机号码，后续会派发优惠券到您的账号中。
包含退出选项，例：
“以上都不是”、“不知道”、“没有答案”、“其他”。
（5）典型问卷的构成
典型的问卷是由4个部分组成：
引言：在引言部分主要是说明此次调查的目的、奖励、调查说明等信息，提前给受访者一个心理准备。
开头：开头的问题不应该太难，选择容易回答的问题，可减少问卷跳出率。
中间：可以采取受访者感兴趣与不感兴趣的问题来交替提问，这样不会让受访者感到无趣而终止填写。
结尾：一般是提问人口统计学相关问题和开放式问题，但开放性问题不宜太多。同时收集受访者的联系方式，对后续跟进研究有所帮助。
第三步：问卷执行
执行问卷的时候也不是把问卷投放到线上就完事，需要选定投放的样本、途径、还要考虑降低投放期间出现的一些偏差。
（1）确定调查样本和数量
根据调查的目标和前期的定性调查，确定调查样本的范围。注意：调查样本有时候并不等于产品的目标用户。
例如：要进行一次某电商APP的闪电送服务的满意度调查，此次调研的目标用户是某APP的用户，但是样本则是使用过闪电送服务的用户，并非全体用户。所以样本必须准确，否则会出现严重的偏差。
控制好样本的数量，以下是参考《洞察用户体验》给出的人口差异与样本量的关系：
假设标准误差5%可信度95%，正常的人口差异：
1000人口=150样本量
10000人口=300样本量
100000人口=800样本量
（2）尽量避免偏差
问卷里的偏差在所难免，以下偏差需要考虑在内：
抽样偏差：样本与目标受众偏差，例如：回答闪电送问卷的都是90%是女性用户；
不回复偏差：有一部分人总是忽视您的邀请，例如：没有注意到问卷banner 的用户；
时间偏差：邀请的人参与调研时间会影响回答方式。例如：想知道是否喜欢送礼物给父母，在父母亲节前，答案可能不一样；
持续性偏差：有些用户持续一周都在加班没时间访问XXX APP，在进行调查的时候可能会错过这部分用户；
邀请性偏差：例如优惠券力度不够，可能会损失这部分“势利”的用户；
自主选择偏差：有些人就是不想做问卷，或者就是图优惠券随便填写问卷；
呈现性偏差：问卷的外观、长度、问题设置可能会让部分用户拒绝填写；
期望性偏差：用户可能填写问卷时发现与自己自身情况部分而拒绝填写问卷。
（3）选择适合的邀请方式
日常问卷的活动中可以考虑采取以下的邀请用户方式：
邀请链接（BANNER、微提示）：优点成本低，不唐突／缺点是严重的自主选择性偏差。需要检测页面浏览率（
pv）跟问卷填写率，算出回复率。如果回复率低，就不具有代表性。电子邮件／短信：联系到的都是老用户。
打断式邀请：在用户浏览网页时候打断用户，让用户注意到问卷，为用户编号，根据编号抽取，确保样本随机性。
电话、面对面和标准信函调查。
第四步：问卷分析
收集到问卷结果后我们可以着手进行问卷分析，并且分析结果。
（1）计算（年龄、收入）
平均数、众数、中位数检测是否受极端数值影响？
标准的是正态分布状态，若出现双峰分布（众数与平均值相差大），需要进一步分析。
（2）比较
交叉制表：通过两个问题的答案合成一份表格，发现更有针对性的问题，例如：
问题1：您看美妆类视频的频率是？
问题2：您通常喜欢看哪中类型的美妆视频？
通过交叉制表的方法，我们可以得出结论：单个商品推荐对于经常看和偶尔看的用户来说吸引力差不多，化妆教程的话，对于偶尔看的人吸引力更大。
（3）整合
有时候问题里某些选项填写的数量远远少于其他选项的数量，我们可以把它们看作一个整体，从而减少干扰，例如：
问题：您的收入是多少？
这部分可以组合成一个大组8000-20000的人的占比
（3）总结误区
有时候我们总结分析结果的时候会有一些误区，应该尽量避免：
两件事情的发生时间相当接近并不足以说明两者有因果关系 ：有一群人都很喜欢一个产品并经常会用，并不足以表明喜欢产品能让人更多使用它，也不足以表明频繁使用能让人更喜欢它。例如：微信、公司的邮件。
不细分人口子群 ：有时看似简单的趋势，实际上是多个不同用户人口趋势共同的结果。例如：问卷一半满意一半不满意，不代表这个产品做的中等，要看回答的分布情况——即什么年龄群的人会觉得满意，什么觉得不满意，是否主要的目标用户都觉得不满意？可以利用交叉分析。
用事实混淆观点 ：问卷调查的结果通常知识用户的观点，而不是事实。有关行为的问题基本都不能预测实际行动，人们诚实地认为他们可以预测自己要如何，但是他们心理状态和面对心理状态的恐惧使其真正遇到这些情况时不那么做。
（4）解释调查数据的时候必须考虑以下几点
人们什么都想要，问卷不能确定普遍认证的特性组合，但是能够告诉您人们如何确定特性的优先级别和看重哪些特性。
人们会夸大其词，想要表现理想中的自己。
人们即使对答案没有强烈的感觉，也会选择一个，所以要设置退出项。
人们总会爱猜测调查的意图，不提引导性的问题。 例如：你赞成在XXX APP卖成人用品吗？
人们会撒谎。
第五步：后续研究
如果想了解用户的价值观及其原因，访谈（知道背后的原因）、焦点小组和实地研究（了解用户的行为）都是不错的工具。
跟踪调查 ：定期以相同方式调查，可以跟踪了解产品用户的变化。
精化调查 ：如果已经确定用几个核心特点来定义用户群，就可以进行更多的调查，提出更多问题来加深了解。
前/后调查 ：改版前后做相同的问卷调查，可以揭示出用户观点和用户人口构成的变化。
7.4 优缺点
问卷的优势在于可以收集结构化的数据，且价格低廉，不需要检测设备，结果反映了用户的意见。
8、启发式评估/专家评估（常用）
8.1 方法说明
让可用性专家判断每个页面及元素是否遵循已确立的可用性原则。启发式评估其实是有两大重要的元素，一个是评估者，第二个是评估参照的原则。
3-5人或更少，评估人员同时具有可用性知识，还有设计的知识，同时具有这两方面领域知识的话能够找出更多的可用性问题。
8.2 适用阶段
概念设计阶段、原型设计阶段、测试迭代期间
8.3 执行规则/注意事项
8.3.1 招募要求
（1）在人数上一般会推荐3-5个人，但有些时候因为项目的范围和时间要求的调整，有些时候也会做一些简化，有可能减至1-3人。
（2）什么岗位的人员适合去做启发式评估，一般在日常工作中，设计师岗和用户研究员，都有可能成为这个评估者
（3）我们再看一下评估者的身份有什么要求，原则上来说最好这个评估不是设计者本人，因为由设计者本人来做这个评估的话，相对来说，可能不具有客观性，所以最好是能邀请到非设计者本人来做评估。
（4）希望评估人员同时具有可用性知识，还有设计的知识，同时具有这两方面领域知识的话能够找出更多的可用性问题。
8.3.2 评估所参照的原则：
最常用的就是尼尔森启发式十项原则；也有使用Shneiderman 八条黄金法则。
8.3.3 启发式评估法的实施步骤
STEP 1：招募评价人员
Jakob Nielsen认为：一个人评价大约只能发现35%的问题，因此大概需要3~5人才能得到稳妥的结果，能够胜任启发式评估职位的人可以是用户体验设计师、交互设计师、UI设计师等。界面的原设计师是不适合评价界面的，因为评价结果可能会不够客观抑或是发现问题直接就进行修改而不会反馈。
STEP 2：制定评价计划
评价产品的所有功能是比较困难的，所以要事先定好要评价界面的哪些部分，以及依据哪些原则进行评价（Gerhardt-Powals的认知工程原理、Weinschenk和 Barker的分类、ISO 9421 对话原则等）。
STEP 3：实施评价
最好对界面进行两次评价：第一次检查界面的流程是否正常，第二次详细检查各界面是否存在问题。评价人员之间应禁止相互讨论，以避免评价结果被权威人士所影响。
STEP 4：召开评价人员会议
评价人员完成了各自的评价后，要集中开会以汇报评价结果，会议上描述问题的同时将界面显示出来会更有效率。
启发式评估的优点是：通过单独评价和评价人员之间的讨论这二次过滤，可以发现单独一人不能发现的跨度较大的问题。
STEP 5：总结评价结果
汇总所有的评价结果后，就可以整合评价的问题列表了，可能会有一个问题存在多种表达方式，所以需要对问题列表进行适当的整理。
STEP6：输出总结性报告
启发式评估法的输出成果就是产品可用性问题列表，但如果只给出列表，其他成员理解可能会比较困难，因此最好配上界面截图、流程图等输出一份简介的启发式评估报告。
启发式评估报告（HE报告）的内容主要包括：
出现问题的界面和位置，关键事件或问题出现在用户界面的哪个位置？
启发式的名称，引用了十个启发式原则中的哪一个？
被评价为否定或肯定的原因，解释为什么界面会违反或符合该启发式？
问题的范围，描述问题的范围，是贯穿整个产品还是在某个界面？
问题的严重程度(高/中/低），评估问题的严重程度。
评定其严重程度的理由，给它高/中/低的原因。
修复建议，对问题的改进建议。
可能的权衡（为什么修复可能会不起作用），提及这些权衡可以增加报告的可信度。
8.3.4 注意事项
不应以个人偏好，而应以理论依据进行评价。
评价的目的不是挑错，更应给出合理建议。
当团队意见不一致时，与其争论不如通过实验得出结论。
8.4 优缺点
优点：
1、相比于可用性测试来说，它的成本更低。它可以利用团队内部的一些设计师资源来进行评估，所以它的成本就会比较低。
2、效率比较高。一般来说，两到三天就可以完成，有些时候如果合作比较默契的话，一天也可以完成这个启发式评估。
3、能够发现大多数的可用性问题。如果我们在这个启发式评估当中参与的这些评审人员经验比较丰富的话，它是能够发现大多数的可用性问题的，
缺点：
1、不能代表真实用户，相对主观。他是一个相对主观的评估过程。
2、启发式评估会发现比较多的问题，甚至这些问题在用户测试的时候是不会出现的。
3、启发式评估对评估人员的知识背景和经验要求较高。相对来说经验越丰富，知识背景越符合我们产品设计的话，那他能发现的问题就越多。
9、用户访谈
9.1 方法说明
设计前进行的主要用户调查方法之一，分别用于新手用户、普通用户、专家用户，主要目的是使设计师成为专家用户。
访谈法是通过目标和用户面对面地交谈来了解用户的心理需求和行为特征。通过招募访谈用户或者走访用户进行访谈，能够简单而直接地收集多方面的用户资料。
9.2 适用阶段
设计前、概念设计阶段、新功能测试
9.3 执行规则/注意事项
9.3.1 访谈准备工作
（1）撰写访谈提纲
用户背景：职业、教育、家庭、社会关系等。
相关的心理需求：喜恶、渴望。
现有产品使用环境：生活环境、工作环境。
其他使用者：他们的信息、使用情况等。
动机：希望达到的目标、选择某些产品的原因等。
现有产品使用评价：满意or不满意。
现有产品使用习惯：常规的和用户个性化的方式。
功能、期望：想要的功能，预期。
（2）访谈提纲的注意事项
以开放性问题为主。
注意问题的顺序，一般先问简单的问题，逐渐深入，最后以简单的问题收尾。
考虑提问的逻辑性，引导访谈顺利进行。
（3）招募用户
确定访谈用户为符合产品目标用户。
访谈对象性情温和，符合大众用户特质不偏激。
能清晰的表达自己的想法和见解。
9.3.2 执行访谈
（1）谨慎判断和投射，真诚坦诚
问题1：一名用户告诉你一些事情，但你却精力不集中，或者正在思考别的事情，以至于没有采集到一些非常重要的信息。
解决办法：让用户知道你的精神处于不集中的状态。告诉他“我没听清你刚才讲的内容，能重复一遍吗？
问题2：你在采访时接着做另一个具体的过程，或者你正从一个话题转移到另一个话题，这时你想知道用户的第一感受。
解决办法：在你的采访之前，让用户知道你将会从一个话题很快地转移到另一个话题。
（2）适应用户，而不是让用户适应你
让用户处于熟悉放松的环境，而不是你觉得放松的环境，用户在熟悉和放松的环境能得出用户更真实的想法。
例如访谈用户是城市白领，那么显然咖啡厅可能会是他熟悉而感到放松的环境。而如果你的目标访谈用户是农民工兄弟，那么显然咖啡厅就会非常的不合适。
清楚用户与你交往的方式。与用户交往的渠道可能是多种多样的，可以面对面，可以是社交工具也可以是电话访问，你要清楚和用户不同交往方式对调研结果的影响。例如通过社交工具接触用户时用户可能更随意自由，而面对面访问时用户容易产生顾忌而不是那么容易说出真心话。
要清楚知道不同访谈方式对访谈结果的影响，合理引导用户，让用户去表达最真实的想法。
（3）如何引导用户说出他自己的体验
例如经常有用户说：
情景1
用户：对我来说可以，但是对一般人来说也讲有点儿难度。
情景2
用户：对我母亲来说，这可能有点儿难。
解决办法：这就需要让用户重新陈述他自己的观点，而不是他认为的别人的感受。
我们可以这样：
情景1
用户：这对我来说还好，但是对一般人来说，可能有些难。
主持人：对你来说，还好？
用户：是的，因为……
情景2
用户：对我母亲来说，可能有点儿难噢。
主持人：对你来说呢？你是怎么认为的呢？
（4）当用户修改他的意见时就要让用户说出自己真实的想法
当用户被询问对网站的整体印象：
用户：很复杂，但是当开始使用这个网站时，就还好啦
主持人：你对这个网站的印象怎么样？
用户：恩，太复杂了，但是我想对那些熟悉这个领域的来说，还好啦。是的，我认为还好。
主持人： 你说它太复杂了。
用户：它太复杂了，因为……
（5）让用户说问题所在，而不是解决方案
错误方式：
用户：这个标签不对。
主持人：你认为什么标签才是正确的呢？为什么不对呢?
用户：这个页面毫无生气，我不喜欢。
主持人：如何改进它呢?你为什么不喜欢它呢?
正确方式：
第一步：确认问题，而不是向用户询问解决方案，
第二步：一旦你理解了问题所在，你应该接着询问与情景配套的问题，例如“什么才是你希望的呢？”或者“你想到了什么呢？”
（6）进行客观而准确的观察
一名用户注规着屏幕的某个部位，没有做其他任何事情。
不应该说：“你正在停顿”
应该说：“我注意到你注规屏幕的某个部位有一会儿的时间。”
用户看着网页时在笑，但是没有说什么，你可能想知道他为什么发笑。
你可以尝试这样：
主持人：你在笑。
用户：是的，因为我喜欢页面上的图片。
（7）允许用户自由发挥，并跟着他的进度
除非访谈内容的范畴，让用户没有中断的表达。同样的，如果需要思考，就让用户保持沉默或者暂停一会儿。
不管你在用户访谈中准备了怎样顺序的问题，永远与用户保持同一进度。
让用户以自发的形式进行谈话，而不是立刻要求他回答问题。
如果你不小心打断了用户，努力让其回到自由评论的状态。
9.3.4 得出访谈结论
访谈过程中访谈对象会做出自己的描述和建议，在得出访谈结论时应该站在被访谈者的角度去思考其描述和建议背后的诉求，但也不能只是简单的按照用户的描述和建议去改进产品，还需要注意到以下几点：
被访谈者的诉求是否符合主要用户诉求；
被访谈用户建议是否符合公司切实利益；
被访谈用户需求建议是否有利于公司产品运营推广；
被访谈用户需求建议是否具备可实现的前提。
9.4 优缺点
优点：访谈法具有较好的灵活性和适应性。
缺点：需要测试者又较高的访谈能力，资料整理成本较高
附录
常用的可用性测试方法（西安交通大学） |
|
如何进行可用性测试？这里有一份全面的可用性测试指南 |
|
用户体验与可用性测试《[日] 樽本徹也 著，陈啸 译》 |
|
可用性测试手册（第2版） |
|
几种常用的可用性测试的方法 |
|
聊一聊产品可用性测试的概念与常用测试过程 |
https://wenku.baidu.com/view/dec61746b207e87101f69e3143323968011cf4ba.html |
什么是启发式评估 |
|
用户研究之访谈法：该如何对用户进行访谈 |
|
四个方面，从0到1解读眼动测试 |
|
用户研究基础方法（六）焦点小组 |
|
日志研究:了解长期的用户行为和经验 |
|
Shneiderman 八条黄金法则 |
|
AB测试是什么，怎么做AB测试？ |
|
抓好这几点，让远程可用性测试顺利进行 |
|
5大步骤做好一次问卷调查 |
|
用户研究之访谈法：该如何对用户进行访谈？ |
|
卡片分类法在用户研究中的应用 |
|
奥斯本检核表法 |
