大厂流行的NPS指标,真的帮到你了吗?

最早听说 NPS(净推荐值)这个指标,是在知识付费兴盛的那几年,在彭萦的一个关于品牌的音频课程里。在谈到如何做调研的时候,老师说到:

“当有 100 个人疯狂爱你的时候,一个爆品就被打造出来了。可是如何定义真爱呢?在 HeyJuice 的第一批产品卖给我多个亲朋好友之后,我开始给他们一个个打电话。没有任何调查问卷,我只问一个问题:你有多大可能向你身边的朋友同事推荐我们产品呢?从 0-10 打分。”

NPS 这个指标是由一个美国人 Fred Reichheld 在 2003 年首次提出的,是一种用于衡量客户忠诚度和满意度的指标。在过去的 20 年里,NPS 这个指标在全世界范围内得到广泛的应用,大家普遍认为这是一个简单而又强大的方法。

“要想实现可持续、可盈利的业绩增长,需要转化更多的推荐者,减少批评者,并致力于使整个组织的 NPS 得分透明化。”
——Frederick Reichheld

那么现在,NPS 这个指标似乎也成为了像日活、留存、GMV 一样的大家都可以理解的、可以快速达成相同认知的一个行业通识。但这是只是其一。如果你在一个行业工作足够久的时间,就会发现很多乍看上去很合理,但实际运行起来狗屁不通的事情。

NPS 这个指标真的这么简单又可行吗?今天我之所以带上我喜欢的那顶黑色思考帽,来提出 NPS 的风险、问题和缺点,是因为在我的职业经历中,看到了不同类型、不同时期的团队和公司在使用 NPS 这个指标时遇到的各种实际问题,甚至是难以深究、难以逻辑自洽的困境。

更多体验度量干货:

一、你的 NPS 准吗,NPS 能 KPI 化吗

进行一项简单的调研,就可以迅速得到一个数据,用来衡量一个用户的主观满意度这个难以衡量的东西,这听上去的确非常诱人。这也是 NPS 这个指标得到广泛应用的原因。但这种简单的调研方式,真的容易得到一个准确的调研结果吗?

作为设计团队,在我们的一次问卷调研中,插入了一个 NPS 问题。负责用户研究的同学在回收数据之后,在做报告时产出了一个 NPS 值的结果。这个无意中得到的结果让我感到非常惊讶,因为我们的调研结果与产品团队的调研结果差异非常大。产品团队的 NPS 调研结果比设计团队的调研结果高十几个百分点。类似一方调研结果是 5%,另一方的调研结果是 18%。

针对同一时间周期的调研,隔壁团队给出的 NPS 值为啥跟我调研结果差异这么大?

出于设计师的好奇,以及对专业的一点认真,我们私下比对了两次调研样本量、问卷题目、回收数据和计算方式。发现都没什么问题,样本量都有几百个,回收数据也都是真实的,NPS 的算法也没出错,唯一的一点差异在于题目的一个小细节。

差异在于 0-10 分的选项分布的顺序,一个是 0 分在前面,一个是 10 分在前面。

大厂流行的NPS指标,真的帮到你了吗?

NPS 问卷的几种常见错误做法

是的,这么一点细微的不同,就会给调研结果带来这么大的差异。而在不同公司的实际调研场景中,容易带来调研结果偏差的细节还有很多很多。

上面这张图列举了 NPS 调研问题的几种常见错误,这些细微的差异,都会对调研结果带来很大的影响。如果把 10 分的选项排在前面,那么自然得到 9 分和 10 分的概率也会增加;如果把引导的问题写作“对产品是否满意”这样的话术,那就与“推荐”给他人使用的含义产生了特别大的差异,用户在回答时的感受和调研的结果也会产生很大偏差。那么再把这个数据用 NPS 的计算公式算一下,偏差就更大了。另外,问卷的表单控件形式也很重要,如果采用常规的纵向排列的单选列表来呈现,就与横向的选择样式非常不一样,也会影响调研结果。

再举个例子,一个业务的季度复盘中谈到,相比上个季度,这个季度的 NPS 涨了一倍多,从 15%涨到 30%。单从这个数据的变化,似乎可以得出这样的结论:在过去 3 个月的时间里,这个产品的用户体验和用户满意度得到了很大的提升。

但你轻易敢下这样的结论吗?谁也不能这样肯定。

如果我告诉你,这次调研仅调研了 20 个用户呢?NPS 值的置信度会不会更加令人怀疑了?

NPS 调研的信度水平取决于所调研的样本量占总用户量的比例。如果 to B 的产品总共就 20 个客户,与 C 端 100 万 DAU 的产品只调研 20 个相比,置信度完全不同。一般来说,要想得到的调研结果可信,那就需要尽可能提高调研样本的整体占比。

NPS 在执行层面存在一些问题,容易出现偏差,因此不适合作为团队的 KPI 考核指标。如果公司将 NPS 纳入 OKR 或 KPI 中,那么可以想象,他们可能更难获取客观、真实的 NPS 调研数据。因为只要在调研时做一些样本倾斜,对调研问题进行微小修改,就可以直接影响结果走向。

二、谁应该负责 NPS 指标的监测

我们常说,不能既当运动员,又当裁判员。但这种情况还是时有发生。

如果一家公司真的重视 NPS 这个指标,那么就应该由一个客观中立的部门负责 NPS 的调研就报告呈现。这个客观中立的部门不应该是设计部门、产品部门。

但现在互联网行业对 NPS 指标感兴趣的部门还恰恰就只是产品部门和设计部门。那个客观中立的数据分析部门并不负责这个事情,这种主观感受层面的调研并不是数据部门所擅长的。所以在用户满意度、用户体验度量这个问题上,就出现了这个既当运动员,又当裁判员的情况。

除了数据分析团队,用户研究团队也可以实现客观中立。然而,要考虑公司组织架构设计中用研团队的汇报对象是谁。

这样说不仅仅是指人性,而更重要的是公司对客户体验管理这件事的认知程度与重视程度。

三、只看到得分有啥用,怎么改进呢

NPS 作为一个简易可行的满意度调研指标,还有另外一个明显的缺点:NPS 是一个单一指标,过于笼统。如果我们只看到一个 NPS 的数值,未免觉得有点空洞。比如一个产品的 NPS 调研数值是-25%,那大家可以直观的感受到这是一个用户满意度非常差的产品,但具体差在哪儿,应该如何改进?NPS 的数据无法告诉你。

所以很多人希望通过 NPS 打分之后的那一个附加问题来获取更多的用户反馈,更专业的用户研究同学还会在 NPS 调研问卷中附加年龄、性别、行业等基础问题,方便将数据收集上来之后来对调研结果进行交叉分析,形成一份系统的报告。

同时,还有一些公司认为仅仅产出一份报告还不够,他不能形成具体的问题追踪流程,无法持续的监控产品的用户体验变化,无法体现产品在具体每个环节的优劣,所以就以 NPS 这个总体满意度为核心,依托于客户旅程地图的分析,发展出来了一套系统的满意度指标体系。我曾在《产品体验管理的 2 种方法》一文中详细介绍过这个方式。

通过这种方式,可以在服务和产品的各个体验触点进行布控,线上实时回收体验问题,并可以通过可视化的监控页面可以看到体验问题的全局动态变化情况。如果哪个地方问题比较突出,还可以直接与内部系统打通,形成一个待办工单。

这个方式看上去会比较有效,但非常复杂、实现成本高。所以现在也有乙方的体验咨询公司提供相关的服务,帮助甲方完成这个声势浩大的工程。

这样的方式,仔细想想似乎很科学没什么问题,也对。但仔细想想,似乎又有什么不对。

NPS 这个指标如此受欢迎难道不是因为他的简单可行吗?为什么绕了一圈,最后落地的解决方案又演变的如此复杂呢?

诺曼在《设计心理学 2:与复杂共生》一书中提到:

特斯勒(Larry Tesler)说道,把系统的一部分变得简单,那么剩下的部分就会变得更复杂。这个原理就是今天所谓的“特斯勒的复杂守恒定律”。

NPS 这个指标看上去把一个极其复杂的问题进行了最大限度的简化,但我们在使用这个指标时,别忘了用户的主观体验与满意度的变化问题是复杂的,它受到设计因素、性能因素、内容质量、社会因素、心理因素、个体差异、环境因素等很多问题的直接影响。

欢迎关注作者微信公众号:「柴林的设计笔记」

大厂流行的NPS指标,真的帮到你了吗?

收藏 9
点赞 16

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。