bts防弹少年团演唱会

bts防弹少年团演唱会

可用性测试报告:花费更少的时间,产生更多的影响

《可用性测试报告:花费更少的时间,产生更多的影响》

可用性测试是发现用户在您的网站或应用上遇到的问题的最有效方法之一。 无论你是一个拥有数百万用户的庞然大物还是刚离开众所周知的车库的创业公司,它都能运作。

问题在于可用性测试需要花费时间来招募参与者,审核和观看视频以及编译结果。

工具可以帮助分析组件,但是:

  • 如果你没有一个好的方法,工具将没有用;
  • 很少有工具可以帮助您快速从数据(视频)转向洞察。

即使 你有自己的发现,你如何以激励同事和老板采取行动的方式呈现它们? 让我们看看如何通过可用性测试报告获得速度影响力。

像速记员一样记笔记

快速记笔记是顿悟的第一步。 在你的笔记中,你追求三个目标:

  1. 将注意力集中在参与者正在做的事情上,并说明发现什么是重要的;
  2. 捕捉笔记中的重要时刻,以便日后轻松检索;
  3. 最小化会话完成后您需要完成的工作(如果是经过审核的测试)或者您完成观看视频(如果是未经测试的测试)。

一种称为 %E6%95%B0%E6%8D%AE%E8%AE%B0%E5%BD%95“>的技术 使用快捷方式来实现这些目标。 为您在学习中遇到的每个子主题使用一封信。 这是我个人使用的:

  • A放弃任务或行动;
  • B表示错误;
  • F用于面部反应;
  • M的杂项评论;
  • N表示参与者表达的负面意见;
  • P表示参与者表达的积极意见;
  • S表示参与者提出的建议;
  • U表示参与者遇到的可用性问题。

稍后查看备注和视频片段时,您可以通过更详细的观察(如果需要)丰富每个片段。

这个基本系统已经实现了前两个目标:快速捕获重要内容,同时保持对参与者的关注。 您还可以部分实现第三个目标:在研究结束时尽量减少您需要完成的工作量,以获得可用且有影响力的报告。

您可以在此步骤中添加第二级分类。 例如,当前任务或问题可能是添加到笔记中的主题。 因此,1B意味着在任务1期间发生了一个错误。如果像我一样,你在主持测试期间不能很好地进行多任务处理,那么你可能希望坚持使用单一级别的快捷方式并在之后添加主题。

最后,请记住,每个笔记都需要一个时间戳,以便您可以回到视频中的正确时刻。 这对于提取视频片段尤其重要,我们将在下一节中讨论。

从笔记中构建定性报告

一旦您的学习完成并且您通过时间戳,子主题和主题丰富了您的笔记,您的定性报告几乎准备就绪。 根据主题和子主题对您的笔记进行分组,并包含相关的视频剪辑。

一目了然,您可以轻松查看主要发现,同时还可以根据需要进行细化。 有几种工具可以构建这种报告。 如果您有选择,请考虑以下事项:

  1. 工具和笔记之间的集成越多越好。 你不想复制粘贴几十个笔记。
  2. 工具和视频剪辑之间的集成越多越好。 否则,您必须将链接复制粘贴到报告中的视频片段。
  3. 分享越多越好。 视频剪辑通常非常繁重,因此共享链接更容易。 分享指向特定问题的单个主题,子主题或注释的链接也非常方便。

以下是Pivotal的David Ghent为Trello%E5%88%B6%E4%BD%9C

《可用性测试报告:花费更少的时间,产生更多的影响》
%EF%BC%88%E5%9B%BE%E7%89%87%E6%9D%A5%E6%BA%90%EF%BC%89“>

这是另一个用Searchness%E6%9E%84%E5%BB%BA%E7%9A%84“>

《可用性测试报告:花费更少的时间,产生更多的影响》

将定性数据整理到可视化报告中对于发现您的网站或应用程序的问题,或获取您的文案的建议甚至灵感非常有帮助。 它与%E5%BD%A2%E6%88%90%E6%80%A7%E5%8F%AF%E7%94%A8%E6%80%A7%E6%B5%8B%E8%AF%95“>

可视化报告还可以基于严重性和复杂性等属性对问题进行分类。 您可以通过Carl Rosenberg从%E6%9C%AC%E6%96%87%E4%B8%AD%E4%BA%86%E8%A7%A3%E6%9C%89%E5%85%B3%E4%BC%98%E5%85%88%E7%BA%A7%E7%9A%84%E6%9B%B4%E5%A4%9A%E4%BF%A1%E6%81%AF%E3%80%82″>

另一种可用性测试是%E6%80%BB%E7%BB%93%E6%80%A7%E6%B5%8B%E8%AF%95“>

对于总结性测试,还有一些有效的技术和工具可以快速创建定量报告。

从可用性测试中构建定量报告

首先,选择一组与项目和报告收件人相关的核心指标。 它们可以分为两组:

  1. 系统级指标。
  2. 任务级指标。

我们来看看每一个。

系统级指标

系统可用性量表(SUS)

SUS是衡量可用性的标准技术。 它有两个好处:

  1. 可靠性。 作为一项经得起时间考验的标准化调查(自1986年以来),它比你自己开发的调查更好,除非你确切知道你在做什么。
  2. 鸟瞰可用性 ,易于测量,理解和沟通。

分数是根据参与者对一组10个问题的答案计算出来的,每个答案的范围从1(非常不同意)到5(非常同意):

我认为我想经常使用这个系统。

我发现系统不必要地复杂。

我认为这个系统很容易使用。

我认为我需要技术人员的支持才能使用这个系统。

我发现这个系统中的各种功能都很好地集成了。

我认为这个系统有太多的不一致。

7.我想大多数人都会很快学会使用这个系统。

8.我发现系统使用起来非常麻烦。

9.我对使用该系统非常有信心。

10.在我开始使用这个系统之前,我需要学习很多东西。

您可以使用常规调查工具(SurveyMonkey,Typeform,Survicate,Qualtrics)从参与者处收集SUS分数。 然后,将结果导出到电子表格,以使用以下公式计算平均SUS分数:

  • 对于奇数项目,从参与者的答案中减去1。
  • 对于偶数项目,从5减去参与者的答案。
  • 对每个参与者的修改后的答案求和,并将总和乘以2.5。
  • 这将给你一个从0(F或坏)到100(A或好)的分数。
  • 计算所有参与者的SUS分数的平均SUS分数。

许多可用性测试工具,如TryMyUI“>

《可用性测试报告:花费更少的时间,产生更多的影响》
%EF%BC%88%E5%9B%BE%E7%89%87%E6%9D%A5%E6%BA%90%EF%BC%89“>

您可以%E4%BB%8EJeff” sauro>了解有关SUS分数以及如何解释它的更多信息。

经验与期望矩阵

获得可用性的系统级视图的另一种方法是评估之间容易参与者如何指望每一个任务是和多么容易的任务实际上空白 为了可视化这个差距,为每个任务询问每个参与者的任务前单个缓解问题(SEQ)和后任务SEQ。

SEQ要求参与者将任务评级为1(非常困难)到7(非常简单)。 对于任何小于5的数字,任务被认为“不容易。”它通常是评估任务级可用性的一种方式,但是,正如UserFocus的David” travis>建议的那样,您也可以使用它来发现系统级的机会和问题。

比较在任务之前询问的SEQ(参与者的期望)与在任务之后询问的答案(参与者的经历)的答案。 绘制散点图上的响应图表。

如何分析答案
  1. 比预期更容易的任务可能是您的产品在营销材料中推广的比较优势。
  2. 超出预期的任务应该在修复列表中获得优先权。
  3. 用户预计将是困难的, 难以提供哇用户有机会任务。
  4. 该人士预计很容易和任务进行了简单的应单独留在家中:他们正在做他们的工作。

使用常规调查工具收集参与者的答案,并使用电子表格对其进行可视化。 或者,使用TryMyUI或Searchness等专用工具自动执行此操作。

以下是TryMyUI的SEQ报告示例:

或者,对于不同的可视化,这是搜索的一个示例:

《可用性测试报告:花费更少的时间,产生更多的影响》

任务级指标

如前所述,SEQ最常用于评估单个任务的可用性。 这种方法的最大缺点是它是自我报告的,因此引入了主观性。 Jeff Sauro和Jim Lewis的一项研究发现,令人惊讶的是,14%失败的参与者仍然认为这项任务很简单!

让我们探索可以用较少主观性来衡量的各个任务的其他常用指标。

完成和失败率

完成率有三种类型:

  1. 总完成率 。 最常见的类型,它是完成任务的参与者的百分比,无论如何。
  2. 预期路径上的完成率 。 按照您希望他们遵循的路径完成任务的参与者百分比。
  3. 意外路径上的完成率 。 使用您不期望或不了解的步骤完成任务的参与者百分比。 这是发现可用性问题或机会的好方法。 (我们从观察人们遵循预期的路径见解中得到的一些见解通常来自我们的惊喜。)

尝试在纸上定义步骤,观看录音以及手动计算所有内容都很繁琐。 有几个工具允许您定义任务完成的预期步骤或路径,并自动获取这些指标。

例如,使用UserTesting.com“>

《可用性测试报告:花费更少的时间,产生更多的影响》
%EF%BC%88%E5%9B%BE%E7%89%87%E6%9D%A5%E6%BA%90%EF%BC%89“>

使用Maze,一个专注于原型可用性测试的工具,您可以获得如下报告:

《可用性测试报告:花费更少的时间,产生更多的影响》
%EF%BC%88%E5%9B%BE%E7%89%87%E6%9D%A5%E6%BA%90%EF%BC%89“>

在“搜索”中,您可以直观地定义步骤以获取指标:

《可用性测试报告:花费更少的时间,产生更多的影响》

完成率的倒数是您的失败率。 查看预期路径每一步的失败率,以了解人们最挣扎的地方。 您可以使用上述工具自动执行此操作。

Lostness

找到完成任务的人的百分比是一回事。 但你怎么知道他们是否容易? SEQs可能非常主观。 Lostness衡量参与者在任务期间失去的方式。

由Patricia Smith在1996年设计,该度量考虑了完成任务所需的最小页数,然后将其与参与者实际访问的页数进行比较。

结果是0到1之间的分数。分数越接近1,参与者就越失去(反之亦然)。 如果分数为0.4或更高,则认为参与者丢失。

确切的公式看起来有点模糊:

  • L是失败分数。
  • N是访问的唯一页面数。
  • S是访问过的总页数(包括对同一页面的多次访问)。
  • R是成功完成任务所需的最少页数。

您可以手动计算它,但是,与类似的任务一样,它很费力。 一些工具可以自动化它,包括Loop11%E5%92%8CSearchness%E3%80%82″>

持续时间

最后一个必须具有的任务级别度量标准是每个任务的平均持续时间。 大多数远程可用性测试工具都会为您量身定制。 需要注意的一点是:持续时间可能会受到一些超慢参与者的影响。

如果使用算术平均值计算(天真地),那些慢速行动会对持续时间产生很大影响。 对于小样本(≤25),最好使用几何平均值。 对于较大的样本(> 25),中位数是计算它的更好方法。 在传达结果之前,请确保您知道您的工具是如何做到的。

关于置信区间的一些话

获得指标后,您是否准备好将它们放入报告中并与您的组织共享? 还没有。 通过可用性测试,我们没有尽可能多的数据来分析,但这并不意味着我们无法进行严格的统计分析。

可用性测试(希望)与目标人群的代表性样本一起使用。 不过,这只是一个样本。 我们如何确保观察到20名参与者的完成率对于20,000名用户来说是相同的?

即使样本量很小,我们也可以用置信区间来解释这种不确定性。 对于任何度量, %E7%BD%AE%E4%BF%A1%E5%8C%BA%E9%97%B4“>

例如,假设我们在25人的可用性测试中测量了0.1的丢失评分。 丢失置信区间介于0.0和0.3之间,我们可以说 – 如果我们要测量我们的整个目标人群 – 丢失分数可能在该区间内。

但是,如果我们的样本量太小,我们最终会得到一个很大的间隔 – 甚至可能包括整个结果范围:

《可用性测试报告:花费更少的时间,产生更多的影响》

对于可用性测试,有四种情况需要考虑置信区间:

  1. 完成率;
  2. 调查分数如SUS和SEQs;
  3. 小样本的持续时间(≤25);
  4. 大样本量的持续时间(> 25)。

获得置信区间的最快捷,最简单的方法是使用一种工具为您完成。 如果您想手动计算置信区间(或者只是了解有关计算的更多信息),您可以从%E6%9C%AC%E4%B9%A6%E4%B8%AD%E8%8E%B7%E5%8F%96%E6%89%80%E6%9C%89%E8%AF%A6%E7%BB%86%E4%BF%A1%E6%81%AF%E3%80%82″>

置信区间对您有好处。 使用它们!

报告影响

当你分享你的发现时,你需要一个有选择性的记忆 – 一个好的方式,为了一个好的原因。 仅显示人们关心并激发行动的结果。 不同的人关心不同的事情,但每个人都关心可以提高个人利益的东西。

对于C-Suite,您可能需要关注量化指标和基准,以提供全局并帮助做出重大决策,例如雇用更多的用户体验以赶上竞争对手。

如果你想让你的数字清晰而有趣,那么Stephanie Evergreen就是一个很好的资源 %E6%9C%89%E6%95%88%E7%9A%84%E6%95%B0%E6%8D%AE%E5%8F%AF%E8%A7%86%E5%8C%96“>。 (CXL研究所还有%E4%B8%80%E4%B8%AA%E6%95%B0%E6%8D%AE%E5%B1%95%E7%A4%BA%E8%AF%BE%E7%A8%8B“>

对于产品团队,您可能希望专注于定性数据,尤其是视频剪辑和参与者报价,这些报告可以显示有关正在进行的开发冲刺的优先级问题。

根据我的经验,让人们认真对待问题的最佳方式是提供一个口头演示文稿,其中包含多个视频片段,显示多个参与者一遍又一遍地挣扎着同样的问题。

如果您需要一些灵感, Usability.gov%E6%9C%89%E4%B8%80%E4%BA%9B%E6%A8%A1%E6%9D%BF%E5%8F%AF%E4%BB%A5%E5%B8%AE%E5%8A%A9%E6%82%A8%E5%85%A5%E9%97%A8%EF%BC%9A”>

最后,请记住这个着名的Saint-Ex%C3%A9pury%E5%BC%95%E7%94%A8%EF%BC%9A%E2%80%9C%E5%AE%8C%E7%BE%8E%E6%98%AF%E5%9C%A8%E6%B2%A1%E6%9C%89%E4%BB%80%E4%B9%88%E5%8F%AF%E4%BB%A5%E6%B7%BB%E5%8A%A0%E7%9A%84%E6%97%B6%E5%80%99%E5%AE%9E%E7%8E%B0%E7%9A%84%EF%BC%8C%E4%BD%86%E6%98%AF%E5%BD%93%E6%B2%A1%E6%9C%89%E4%BB%80%E4%B9%88%E5%8F%AF%E4%BB%A5%E5%B8%A6%E8%B5%B0%E7%9A%84%E6%97%B6%E5%80%99%E3%80%82%E2%80%9D%E5%AE%9E%E9%99%85%E4%B8%8A%EF%BC%8C%E5%B0%9D%E8%AF%95%E5%B0%86%E6%89%80%E6%9C%89%E6%BC%94%E7%A4%BA%E9%99%90%E5%88%B6%E5%9C%A8%E5%89%8D%E4%BA%94%E4%B8%AA%E5%8F%91%E7%8E%B0%E4%B8%AD%E3%80%82″>

结论

可用性测试的部分价值取决于您将测试转换为有说服力的数据的速度。 工具可以帮助加快流程,但了解这些工具如何适合您的流程至关重要:

  1. 使用数据记录来加快笔记记录。
  2. 为您的定性报告提供方便和可分享的注释和链接。
  3. 自动化系统和任务级度量计算,以有效地构建定量报告。
  4. 细分您的受众群体并提供简洁,量身定制的演示文稿,以激发行动。

如果您的测试程序尚未达到任何这些标记,请尝试为下一轮添加一种技术或工具。

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注