UE设计中解释矛盾的UX研究发现

UE视界网    ()  ()

2019-11-22 12:41:58

如果您的产品从一个角度看是好的,从另一个角度看是不好的,则必须检查方法并尝试解释发现的结果。


在介绍最近关于UX定量研究的培训研讨会时,有人问我一个有趣的问题:


“我领导着一个负责全面检查复杂企业产品的团队。我们有一个高保真原型,并且我们一直在进行广泛的研究以使其准备好发布。赌注很高-即便是很小的改进也可能导致生产率的大幅提高,但是相反,设计中的小问题可能会对我们的用户造成大问题。


在我们的定量可用性测试中,与旧产品相比,我们发现人们在原型中完成重要任务所需的时间大大减少了。但这就是问题所在–在定性访谈中,我们的用户讨厌原型。反馈是如此负面。我们如何调和这一矛盾?我们应该做什么?”


对于许多以研究为重点的数字产品团队来说,这种UX领导描述的情况是常见的情况。


进行用户体验研究的理想方法是使用多种方法,将定量和定性研究相结合。使用多种方法来回答我们的研究问题并以不同方式查看我们产品的性能是一种复杂的三角测量策略。但是,如果这些不同的研究方法讲述了不同的甚至相互矛盾的故事,会发生什么?


在本文中,我将考虑这种UX线索情况的一些可能的问题,解释和解决方案。不幸的是,关于她的产品和研究的细节很少,但是我会根据其他问题和与我合作的团队得出一些理论。


检查方法

在上述情况下,第一步是检查每个研究的进行方式。由于UX研究涉及对人类的研究,因此存在大量潜在的错误,这些错误可能导致错误或误导的发现。


在考虑这些矛盾的发现可能意味着什么之前,我们需要检查每个研究中的一些关键组成部分。我们应该在四个方面寻找潜在的问题:


  • 参加者

  • 任务

  • 后勤

  • 分析

参加者

谁参与了每个研究?

每个研究有多少人参加?有没有离群值的人-行为与其他人截然不同的人?

同一用户组是否参与了定量和定性研究?两项研究的参与者如何招募?回答这些问题可能指向矛盾的发现背后的原因。


例如,也许研究人员决定招募在使用该产品方面具有不同专业知识水平的用户。如果新手参加了定量研究,但是经验丰富的用户提供了定性反馈,则参与者组之间的差异可能会影响结果。


任务

定量研究包括哪些任务?

在执行公司关心的少量任务时,用户可能会更有效率。但是,如果用户定期执行广泛的任务,那么整个系统可能就不存在提高产品某个区域效率的功能。


定性访谈之前要进行多少曝光?

如果研究人员只是将新版本拉到笔记本电脑上,指向它,并询问参与者在没有给予他们实际完成任何任务的机会的情况下的想法,那可能可以解释一些负面反应。如果用户没有足够的时间来探索UI的功能,那么用户可能只是对UI看起来新颖而不同的事实做出反应。


定量研究之前有多少接触?

用户在测试系统之前是否接受了任何练习任务?他们是否接受过研究人员的任何形式的培训?如果定量参与者比定性参与者对新系统的接触更多,那么他们就有时间克服最初的负面反应,并学会使用新产品提高效率。


后勤

研究如何进行?

我们需要验证研究是否以合理可行的方式进行-研究具有外部有效性。


例如,假设此产品始终在工厂车间使用,用户会受到很多环境噪声和干扰。如果研究是在一个安静的会议室中进行的,则使用新版本的用户可能会表现更好。但是设计的某些方面可能会使它在实际条件下的性能变差。


此外,我们还需要检查定量研究的运行方式是否存在一些偶然的问题,该问题可能会对结果产生偏差-该研究具有内部有效性。我们可以问:谁在主持这些测试?主持人有多少经验?


即使很小的混淆变量也可能产生无效的结果。例如,假设是否所有测试新版本产品的参与者都在星期一的早晨进行了测试,而所有测试旧版本的参与者都在星期五的晚上进行了测试。测试的时间安排很容易会影响参与者的学习成绩。


分析

我们有统计意义吗?

对于定量研究,两种设计之间的差异是否具有统计学意义?顺便说一句,新版本中更快的任务时间是否可靠且不可能是由于随机更改?


如何分析任务时间?

在许多研究中,完成任务的时间仅包括成功的尝试。新设计比旧设计快,但是成功率可比吗?如果平均完成任务时间增加了2分钟,但是可以成功完成任务的用户比例却减少了40%,那对公司和用户仍然不利!


人们遇到什么类型的错误?

我们不仅应该按时完成任务,还应该研究定量研究期间收集的其他指标,以查看它们是否都表明新产品更好。即使新设计中的错误更少,但它们可能比旧系统中的错误更严重,并且可能影响用户在定性研究中的态度。


解释发现:不仅用户怎么说,为什么?

如果我们在方法学上没有发现实质性的错误或解释,那么该考虑一下这两种质量标准(定量效率和定性满意度)之间的矛盾了。


作为UX专业人士,倾听用户的声音是我们的工作。但是,正如经验丰富的UX专业人士会告诉您的那样,这听起来比实际要容易得多。这是因为我们不能只听用户的意见并听从他们的逐字记录要求。人们通常不知道他们真正想要的是什么 —您的用户不是系统的设计者,他们无法以您可以的方式看到全局。更糟糕的是,他们的反馈通常会受到其他因素(错误的记忆,社交压力,心理偏见等)的影响。


这是三角测量策略如此必要的部分原因。我们不能只是问人们想要什么,做他们告诉我们的事情。我们必须收集各种数据(定量,定性,自我报告和观察到的数据)才能真正看到正在发生的事情。然后,我们可以使用该信息来解释我们的用户所说的话。


因此,在这个UX团队负责人的示例中,我们应该如何理解似乎与定量性能数据相矛盾的用户反馈?我们需要研究为什么 这些人可能会对客观上更好的产品做出如此消极的反应,而定量研究中的任务时间似乎更好。


感知的可用性可能与客观可用性有所不同

不幸的是,我们不知道这个特定的团队在定量研究中减少了多少工作时间。UX负责人表示,减少幅度“很大”,但这可能意味着几秒钟或几分钟。从公司的角度来看,即使减少几秒钟也可以带来巨大的好处。想象一下,每年有成千上万的员工执行此任务数千次-在公司一级,这些效率提升迅速加起来,并可能节省成本。


但是,从单个用户的角度来看,这些收益可能并不重要。如果改进了几秒钟,那么单个用户甚至可能不会意识到新系统实际上更快,因为她看不到自己在任务上的时间或其他参与者的时间。也许他们确实意识到新系统更快,但是这些小的收获似乎并不值得新工作流程带来的困难。


人们不喜欢改变

这个复杂的企业产品的用户几乎每天都在使用它来工作。其中一些已经使用了实质上相同版本的应用程序很多年了。即使它不是最高效的,他们也已经习惯了。他们知道它是如何工作的。通过更改内容,设计团队要求最终用户投入精力以精通新版本。(用户通常讨厌更改,这是一个普遍的发现,这是在发布之前进行研究的原因,以便可以将后续更改减到最少。)


如果定量研究中的用户在测试前接受了新系统的培训或实践(如上文“检查方法”中所述),则可能存在性能方面的初始滞后,而该滞后并未被测得的任务时间捕获。引入新的界面时,有时会最初丧失生产力。为复杂的任务学习新的界面要花费时间,并且效率不如简单地通过熟悉的旧界面执行任务。尽管最终新界面可能会更好,但(1)人们在初次使用它时没有办法知道;(2)开始时,体验可能会更糟。 


对新系统的某些功能(可能是次要的功能)可能也会产生负面反应,例如,人们不喜欢的颜色变化,团队在Intranet中所做贡献的可见性变化。不一定会影响UI性能,但会影响他们的反应并产生峰值效应。


下一步

我对该团队负责人的建议是,首先考虑用户反馈背后的这些原因,然后退后一步,查看大图。当然,在用户体验中,定量数据绝不能自动推翻定性信息或设计师的直觉(采用这种方法会导致可笑的设计错误。)


在权衡矛盾的发现时,我们必须考虑权衡。我们始终希望用户对使用的产品有效,高效并满意。但是,在这种情况下,潜在的效率提高对利益相关者的吸引力可能比员工的幸福感大得多。不论用户如何,都很可能会实施该产品的新版本。但是,这可能是一个潜在的问题-如果用户足够讨厌此新版本,则可能导致工作满意度或员工流失率下降。这家公司值得尝试使用户既高效又快乐的时候值得。


正如我们所讨论的,这种负面反馈可能是对变化的暂时负面反应。由于风险很高,因此该团队的研究预算也很高,因此,我的建议是进行更多调查,以确定该假设是否正确。团队可以尝试对新员工进行定性Beta测试,他们对以前的系统了解最少,并查看他们的反馈是否有所不同。新员工将不会像经验丰富的员工那样对旧系统具有相同的依恋,并且可能不太容易受到情感变化的影响。(另一方面,新员工所拥有的领域知识也比不上使用该系统已有一段时间的人,因此他们可能会忽略一些重要方面。)新员工的积极反馈可能表明,经验丰富的员工的响应是由最初对变化的厌恶引起的。


或者,团队可以进行系统的可学习性研究,并进行多轮定量可用性测试,以跟踪任务的时间,任务的完成情况以及一段时间内的满意度。这项研究将准确准确地描述随着人们获得新产品经验而用户性能和满意度如何变化。如果新设计确实比旧设计更好,则团队应期望满意度和性能指标(任务时间和任务完成)都随着时间的推移而增加,并最终达到与当前设计相当或更好的数字。该研究将很好地了解人们为了克服最初的负面反应而需要多少新设计。


(我们为咨询客户进行了这样的研究。尽管细节必须保密,但我可以说,用了整整一年的时间,用户使用新设计的效果要比旧设计好,后者每天使用十年。从长远来看,新设计确实更好,但是要做出转换的决定需要管理层的长期承诺。)


如果这些研究表明最初的负面反应将被长期的满意度和生产率的提高所取代,那么该团队可以确信它正在朝着正确的方向发展。他们可以从那里计划新系统的增量部署。允许当前用户在准备就绪时(而不是在紧迫的期限内)选择使用新产品可以减少短期的挫败感。


另外,研究的另一个可能结果可能是新设计基本上是好的,但是旧设计中有一些好的方面应该保留在新版本中。


UX研究的挑战

理解矛盾的发现是进行UX研究的挑战(和乐趣)的一部分。每种方法仅是一条信息,是从不同角度查看我们的用户或产品的一种方式。数据应始终为我们的决策提供信息,但归根结底,这取决于我们要掌握这些信息并做出最佳选择。


责任编辑:网络UESJ网:   UE视界网,未经授权不得转载
关键词 >> 研究方法,UE设计

还可以输入0个字

(审核后展示)
打开目录