UE设计中实践中的定量UX研究

在429名UX专业人员中，有71％的团队报告至少有时进行某种量化UX研究，几乎每个人都报告为完成量化研究而奋斗的挑战。

UX有时被视为“软”科学。通常，这是由于我们领域对定性研究和观察的依赖。为了调查数字产品团队如何使用定量研究来获取“硬”数据（或为什么不这样做），我们对429名UX专业人士进行了调查。

团队多久使用一次定量研究

我们要求受访者大致估计他们或团队中其他人进行定量研究的频率  。

大多数受访者表示，他们的团队至少偶尔进行了定量研究：44％的受访者表示“有时”进行定量研究，而27％的受访者表示，他们对每个设计项目都进行了一项或多项定量研究。

在解释这些结果时，请记住，可能会有一些  样本偏差 在起作用。我们从Twitter和LinkedIn社区中招募了受访者，并提供了机会参加免费报告或在线研讨会，以作为奖励。我们还提到调查是关于量化实践的。结果，  我们的样本包含了可能有兴趣或听说过定量研究方法的NN / g-fan UX从业人员 。我敢打赌，这个样本（可能是您，因为您正在阅读本文）可能比整个UX社区平均进行更多的量化研究。

（尽管，因为您  正在 阅读本文，所以这可能意味着该调查的结果可能相当代表您正在 从事的项目类型  ，即使它们可能并不代表世界上所有设计项目。）

听到大多数受访者（71％）表示他们“有时”或“每个项目至少一项研究”进行了定量研究，我们感到有些惊讶。当我们查看受访者报告使用的方法时，这一结果很有意义。

团队使用哪些方法

我们要求受访者告诉我们他们的团队多久使用11种流行的UX研究方法-7种  定量  和4种定性方法。对于每种方法，受访者都告诉我们是否“经常”，“有时”，“很少”或“从不”使用它。

此堆叠的条形图显示了经常或有时使用每种方法进行报告的受访者比例。分析，定性的可用性测试和访谈是最流行的方法，每个方法都有67％的受访者表示“经常”或“有时”使用。这三种方法是大多数受访者唯一使用的方法，否则最多只能达到48％。

正如我们的受访者所报告的，最常用的方法是：

• 分析（定量）

• 定性可用性测试（Qual）

• 面试（高质量）

• 大样本调查（定量）

• 小样本调查（合格）

• A / B或多元测试（定量）

• 卡分类（数量/质量）

• 定量可用性测试（Quant）

• 焦点小组（高质量）

• 树测试（定量）

• 眼动追踪（质量/定量）

可以预见的是，成本相对  较低的方法论  排在前列（分析，定性可用性测试，访谈），而成本较高的方法论则排在末尾（定量的可用性测试和  眼动追踪，这两个方法都代价高昂）。

这些结果为设计项目中令人惊讶的高频率定量研究提供了背景。74％的受访者表示每个项目至少使用一次定量研究，而且“经常”报告使用了分析（117个中的86个）。

分析数据可以  在UX设计中发挥重要作用。不幸的是，在本次调查中，我们无法确切  表明受访者在项目中如何使用分析。 

有很多分析重心的被调查者，每个项目至少一次或有时使用定量研究报告，可能以有意义的方式使用了分析数据来指导他们的设计项目，例如，帮助他们识别产品中的问题区域。 

但是，也有可能是那些仅仅报告说他们的团队只是  在每个项目中收集 分析数据的人，而不是它对他们的工作没有任何真正意义。我们的受访者提供的一些开放文本字段评论支持了这种可能性。

“我们没有资金用于更高级的定量研究方法（点击测试，调查等之外）”

“我的公司起初是一家A / B测试和CRO公司，但他们的想法并没有超出转换率。”

“我的经理可以访问分析并衡量我们产品/站点内流量的成功率，而无需解释数字以提取有意义的见解。”

“这是我们可以访问的唯一指标。我们不收集任何使用情况数据，因此销售和收入完全取决于产品决策。”

成功标准

用户研究（不仅是定量的，而且是定性的）可以帮助我们确定设计是否按我们希望的那样工作，以及我们是否达到目标。

我们在调查中询问了受访者他们如何知道设计项目何时成功。在多选中，他们可以从5个选项中进行选择：

• 基于使用指标和定量研究（例如定量可用性测试，NPS和分析）的计算出的改进

• 基于通过定性研究（例如定性可用性测试和访谈）观察到的改进

• 只要领导/执行人员满意，设计变更就算成功

• 我们真的不知道

• 其他

受访者告诉我们他们和他们的同事如何评价设计项目的成功。基于定量研究，基于合格研究的基础上，以及满意的利益相关者均从40％以上的受访者中进行选择。（这些百分比加起来超过100％，因为人们可以选择多个选项。）

在理想的世界中，将通过定性和定量数据（观察和测量结果）来评估成功。 这将告诉我们是否达到了目标并让用户满意，这自然会使领导者或利益相关者感到满意。

不幸的是，这些并不是我们发现的结果：  只有24％的受访者选择了  这两种方法来研究定量  和 高质量的研究。 40％以上的受访者将量化和高质量的数据作为优先事项，高管/利益相关者也是如此。此外，令人沮丧的  18％的受访者承认，他们“并不真正知道” 他们的设计更改是否实际上是在进行改进。

量化研究挑战

我们经常听到用户体验团队抱怨他们  想 进行更多的定量研究，但是有太多无法克服的障碍。为了在我们的调查中捕捉到这一点，我们要求受访者从一个多选列表中选择他们面临的量化研究挑战，这些问题是我们最常听到的九个问题以及一个“其他”写入字段。

• 定量研究太昂贵

• 定量研究太费时

• 难以招募足够多的参与者来进行大样本研究

• 团队缺乏有关如何进行或分析定量研究的知识

• 团队缺乏关于什么是定量研究，何时使用它或使用什么方法的知识

• 缺乏对定量研究价值的理解

• 缺乏对一般研究价值的理解，而不仅仅是定量研究

• 难以解释或报告定量研究结果

• 组织中的另一个小组负责定量研究，并且不包括UX

• 其他

• 我不确定

受访者告诉我们有关定量研究的问题。（这些百分比加起来超过100％，因为人们可以选择多个选项。）

最受欢迎的答复是难于招募大样本 （37％）。一些受访者报告称，由于其最终用户被网守封锁，因此他们在收集大量样本方面举步维艰。例如，一位从事企业产品工作的受访者解释说：“我们依靠产品管理来决定何时可以联系或不可以联系不愿提供员工时间的客户。”

在困难招募之后，其余选项的选择率相当相似（16–29％）。在429个受访者中，只有2个受访者报告每个项目至少进行了一次定量研究，并且没有重大担忧。这里的主要收获似乎是，  几乎每个人都在某种程度上与定量研究作斗争  -甚至那些报告经常进行定量研究的人。 

无知作为障碍

值得注意的是，缺乏有关量化方法和分析量化数据的知识排在该列表的顶部。 量化研究可能会威胁到UX专业人士，他们的团队或他们的利益相关者， 而无知是一个很大的障碍。 

“ [我们的挑战尤其是] A / B测试背后的高级数学”

“缺乏数据科学家（目前只有1名），并且针对定性研究人员的定量技能（或培训）有限。当有更好的人也纠正您时，可能会令人反感[…]；）”

在咨询公司或机构工作的几名受访者抱怨说，他们难以“量化”研究定量结果。 

“我们的UX团队了解它的价值以及如何/何时使用它。但是，该组织其他部门的产品团队则是另一回事……”

“所有者看不到定量研究的价值。疯了，我知道。”

尽管面临这些挑战，但这些结果还是有一些好消息：  只有16％的受访者认为量化用户体验研究过于昂贵。 显然，某件商品是否被认为“昂贵”取决于三个因素：成本，成本效益比和可用预算。（如果成本超出可用预算，即使具有有利的成本效益比的研究也将过于昂贵。）

十年前，UX领域的共识是，  定量研究是昂贵的，  并且只保留给大型公司中奢侈，资金充足的项目。我们一直提倡  折扣可用性而不是豪华可用性  方法，以使用户研究得到更广泛的应用。 

但是，尽管  便宜的方法仍然很不错，  并且应该占设计项目研究的大部分，但定量方法却比过去便宜了很多，原因如下：

• 由于诸如远程研究  服务（例如，UserZoom）和自动数据收集之类的改进  ，成本得以降低 。

• 成本效益比更有利， 因为定量结果不仅仅用于虚荣统计，还经常用于纵向跟踪，证明ROI和定性发现的三角剖分。

• 随着越来越多的公司向更高的用户  体验成熟度发展，用户研究预算总体上在增长 。

您的量化任务清单

基于这些发现，我们为您的下一个项目提供以下建议。

• 您可能有能力进行一些定量研究，因此要做好计划。 即使这意味着从更便宜或更轻巧的方法开始，例如分析，也可以。让您的团队或客户着手进行量化研究是很重要的，您可以在积累专业知识的同时努力扩展量化方法。

• 尽早考虑如何获取必要的样本量， 因为这是使大多数团队退缩的问题，不应留到最后一刻。如果您想避开阻止您访问用户的网守，则可能需要一些网络来使他们相信您的研究的重要性。如果招聘一直是您团队的障碍（并且您有足够的资源），请考虑聘请内部兼职或全职招聘人员来工作。

• 甚至在开始项目之前，  就可用的量化方法，每种方法的适当用法以及如何解释发现 并将其转变为行动项目进行教育。不要让“知识不足”成为您的阻碍。

• 不要只使用最流行的方法，而要考虑一些更专业的方法何时对回答特定的设计问题更有价值。

• 结合方法。特别是，结合使用定量研究和定量研究，可以互相交流，从而提高两者的有效性。

• 计划你将如何判断你的成功设计 在一开始，最好使用定量数据和定性观察的组合。这样一来，您将加入24％做到这一点的精英UX从业人员。