定量研究与定性研究的优缺点

最近和一些同事讨论各种用户研究方法,发现大家对定量和定性研究了解并不是很深入,这里翻译一篇相关的文章科普一下。文章如果你想了解更多关于用户研究的内容,可以阅读《用户体验洞察》及《用户体验度量》等书籍,当然也欢迎大家发评论讨论,共同进步。So, 开始吧!

“定性研究和定量研究在产品研发中非常重要。”

定性研究和定量研究在产品研发中非常重要。例如市场大小、人口统计资料及用户偏好等来自定量研究的数据提供了商业决策的重要信息。定性研究也为产品设计提供了非常有价值的数据:包括用户需求、行为模式及使用案例。两种方法各有优劣,结合使用可以收获更多。下面我们我们就看看这两种用户研究方法并讨论下如何及何时使用它们。

定量研究

“统计数据让我们从研究数据中得出很多重要事实,包括喜好趋势、群组差异及人种学资料。”

定量研究提供以数字形式表达的数据。因为数据是数字形式的,在对数据陈述时我们可以使用统计学测验。这包含了像平均数、中数及标准差等描述性统计数据,但也可以包含像T测验、方差分析(ANOVAs),及多元回归相关性(MRC)等推理性统计数据。统计数据让我们从研究数据中得出很多重要事实,包括喜好趋势、群组差异及人种学资料。

像多元回归相关性(MRC)或者逐步回归法等多变量统计将数据进一步分解并决定哪些因素(如偏好差异)造成了特殊群组(例如年龄群组)的差异。定量研究经常使用诸如调查等自动化收集数据方式,但是我们也可以使用其他静态方法,例如,审查必选的2选1研究的用户偏好或者检查错误率和使用竞争基准的任务完成时间。

定量研究最大的优势是提供了描述性数据,比如允许我们捕捉用户群体的快照,但这些数据我们很难解释。例如,盖洛普民意测验经常提供美国总统支持率的数据,如图表1,但是没有提供我们用于解释数据的关键信息。

图表1:盖洛普总统支持率调查

Quantitative data for Gallup’s presidential approval poll

缺少用于解释总统工作的数据,如支持人数,很难解释为什么人们支持或者反对奥巴马总统正在做的事情。一些受访者可能认为奥巴马总统太开放了,而另一些人认为他的行为太保守了,没有必要的信息,你无法得知具体是什么。

“只有某人确定知道如何使用和解释定量统计数据,他才应该进行定量研究。”

在产品开发中,数据缺失可能导致产品设计的严重错误。例如,一个调查报告称大部分用户喜欢3D显示效果,这可能导致一些产品团队将3D显示融合到产品中。但是如果用户只喜欢裸眼3D(自由立体3d)也就是说不需要用户佩戴特定的眼睛,或者只喜欢在观看也体育或者动作片使用3D显示。那么在移动设备上使用必须佩戴眼镜来进行数据可视化的3D显示器可能不是很好的设计方向。

此外,只有确定知道如何使用和解释定量统计数据,他才应该进行定量研究。大部分测试都过度依赖P值和样本大小。P值指的是用于说明研究结果有多大可能性是偶然的统计数据。如果P值低于0.05, 研究发现可被认为在数据上是显著的,意味着只有不到5%的可能性结果是偶然的。

尽管有可能通过样本数量控制P值,但你需要足够的样本量来保证有足够的统计效力来决定是否发现是正确的。如果你的研究因为只有两个样本而效力不足,你可能无法获得统计显著度,即使你的发现是正确的。另一方面,如果你通过小样本获得了统计显著度,你没有必要增加样本数量,无论结果是否正确。尽管小样本量很难决定什么,但如果你可以使用小样本做决定的话,其实它和你使用大样本获得结果一样。

通过增加样本数量,你可以增加发现的统计效力,但是可能在某个点上,发现就会变得意义大了。这是研究员通过增加样本量提高数据效力的常见笑话。现实也差不多。无论如何都可能在提高样本量到某一个阀值时,统计显著度不那么有意义了。在这种情况下,查看效应量很重要,这种统计告诉我们那你的变量在多大程度上影响了变化

从根本上说,统计显著度告诉你是否你的发现是真的,而效应量则告诉你他们在多大程度上是真的。举个例子,如果你正在调查是否增加某个功能会提高产品价值,你可能获得一个效果显著的统计发现,但是在价值方面增长的量级可能很小,比如只有几分。相反,一个有意义的效应量可能在价值上带来每单位10刀的提升。一般来说,如果你可以是使用较小的样本获得很好的统计显著度,那么效应量应该也足够。在解释数据的时候同时考虑统计显著度和效应量很重要。

定性研究

“定性研究可以为你提供定量研究无法为你提供的人类行为、情感和个性的细节。”

定性研究数据描述的是某物的品质或特征。你不可能想对待定量研究结果一样将这些描述简化成数值;不过你可以通过编码过程实现这一点。定性研究可以为你提供定量研究无法为你提供的人类行为、情感和个性的细节。定性数据包含用户行为、需求、欲望、日常生活及用户案例相关的数据以及其他设计真正适合用户生活的其他重要信息。

定量研究要求数据收集的标准化以方便是统计对比,而定性研究要求自由度,允许你在用户数据出现的时候做出响应。因此,定性分析经常使用一些类似人种学的自然观察或者结构性访谈。在这种情况下,研究者必须观察并记录行为、观点、模式、需求、痛点及其他还没有完全理解什么数据有意义的信息类型。

随着数据的收集而不是进行统计分析,研究者在数据中发现趋势。当能定位趋势的时候,研究者从不同的参与者哪里寻找同样的描述。经验之谈就是一个人这么说是轶事,两个人说是偶然,三个人就是一个趋势了。你发现的趋势可以指导产品开发、商业决策和市场策略

因为你无法对这些趋势进行数据分析,你无法像证实定量数据一样通过计算P值或者效应量来论证趋势,所以你必须小心地使用他们。此外,你应该在接下来的定性分析项目中继续确证这种数据。

当有足够的时间和预算时,你可以进行名为行为编码的活动,通过为定性行为指定各种标识符或标签,然后将它们变成可以进行统计分析的定量数据。除了我们之前的描述的分析,行为编码需要你执行类似序列分析(定义行为顺序的分析测试)等很多其他分析,例如,网站导航分析和任务流分析。但是,对观察结果进行行为编码是非常耗时和费钱的。此外,一般情况下,只有非常训练有素的研究员才有能力编码行为。因此,这种方法往往非常昂贵。

此外,因为不可能像自动化收集定量数据那样有效地自动收集定量数据,获取大量数据是非常耗时和费钱的,这和定量研究一样。所以,一般使用6到12位参与者进行定性研究,对应的,一般需要几百甚至上千个参与者进行定量研究。因此当发现和验证某种趋势时,定性研究往往不如定量研究有统计效力。

定性与定量研究结合使用

“尽管定量研究和定性研究各有优劣,但结合使用时时非常有效的。”

尽管定量研究和定性研究各有优劣,但结合使用时时非常有效的。你可以使用定性研究识别影响调查范围的因素,然后使用它们设计定量研究来评估这些因素如何影响用户偏好。继续讲一下之前提到的关于显示偏好的例子:如果定性研究识别出显示器类型,如电视、电脑或手机,研究者就可以使用这些信息构建定量研究来确定这些变量如何影响用户偏好。同时,你也可以将从定量研究中识别的趋势构建到定性数据收集方法中,然后验证这种趋势。

尽管这可能听起来与我们上面描述的相矛盾,但是这种方法非常直接。举一个定性趋势的例子,年轻人只在移动设备上喜欢自动立体3D显示,而年长的人更希望在所有设备上都是传统显示方式。你可能通过询问这种类型的开放性问题发现了这种趋势:“你认为3D显示怎么样?”这种问题会开启一个关于3D显示类型的讨论,这个讨论将揭开立体显示、自动立体显示以及传统显示方式区别。在随后的定量研究中,你可以通过一系列带有超级喜欢超级不喜欢之间的一系列选项的问题来处理这些因素,如“请对在移动设备上,需要使用3D眼镜的传统3D显示进行喜好评分。” 这种自动化系统为用户的任何选择分配一个数值,从而帮助研究者快速收集并分析大量数据。

结论

“当决定做用户研究时,…理解这两种研究方法的不同应用都很重要。”

当决定做用户研究时,无论是自己做还是安排同事或顾问做,理解这两种研究方法的不同应用都很重要。这种理解可以帮助你选择合适的研究方法,理解为什么研究员选择了特定的研究方法或就研究方法和首要研究策略与研究者和股东进行沟通。我们在这里提到的例子提供了分析和使用定性和定量数据众多方法的一个简单样例。你用过其他定性与定量研究结合使用的方法吗?

关注下方公众号二维码或搜索公众号:Forbetterworld, 内容同步更新,

欢迎留言讨论,转载请注明出处,观点归原作者所有。

英文版地址:strengths-and-weaknesses-of-quantitative-and-qualitative-research

发布者

是观

交互设计师,对用户研究、情感化设计、游戏化设计、服务设计及行为改变等用户体验过相关领域及其感兴趣,欢迎大家一起讨论学习。

发表评论

邮箱地址不会被公开。 必填项已用*标注