交互设计入门基础:帮你快速掌握A/B测试的实战应用

本次的文章输出主要有两个目的:第一让自己略显浮躁的心沉淀下来;第二对于自己脑海中交互设计的「原则、定律、模型、法则、效应、注意事项等」进行一次整理和探索。

上篇:

A/B test

文中实例已经上线

1. 概念

A / B 测试(也称为分割测试或桶测试),是为了同一个优化目标制定了不同的方案,让相同数据的用户分为两部分,一部分用户路径为 A 方案,一部分用户路径为 B 方案,之后统计不同方案下的点击率、转化率等数据进行分析。

AB 测试这项技术最早被应用于美国的互联网市场,进入国内市场也不过 6、7 年时间。2000 年左右,以谷歌为首的互联网企业开始采用 AB 测试的方法,运用数据帮助企业做决策管理,降低试错成本,促进业务增长。2010 年以后,AB 测试开始出现产品化的趋势,并成为企业决策的一项重要工具。

通过不同方案的数据表现,去确定那个方案更加的合理,利用用户反馈数据去决定设计目标走向。互联网产品的更新迭代速度很快,在如此快速的迭代环境下,无论是产品的优化方向,还是决策的制定,都需要有数据来说话。

互联网发展到今天,更加注重用数据反馈去进行决策,随着互联网红利的消失,运营成本的逐步上升。越来越多的产品运营开始关注数据驱动的精细化运营方法,期望通过精细化运营在一片红海中继续获得确定的用户增长,而 A/B 测试就是一种有效的精细化运营手段。

2. 目的

引自:火山引擎

先验结论 科学决策

结合统计学原理,通过分组实验,前置验证收益,使决策有据可依

保证体验 降低风险

分流出小部分流量进行测试,防止错误决策对整体用户产生负面影响

复利效应 持续增长

确保每个决策都带来正向收益,持续循环,最终实现指数级增长

科学职能的评估策略

科学智能的评估策略 ,依托经典统计学&贝叶斯原理,提供概率分布、漏斗转换、多种留存分析等

3. 模型

工作实例,该测试进行了两周。

①UI 模型

A 方案:拼团购买按钮+单独购买按钮+加入购物车按钮

B 方案:团购按钮+加入购物车按钮

交互设计入门基础:帮你快速掌握A/B测试的实战应用

方案产生原因:PM 觉得在电商项目中详情页到下单完成中应该尽量减少界面跳转,降低流程的复杂化。UI 同学(主要是我)觉得这样的流程不合理,且视觉上和其余不可拼团的常规按钮差异化太大、会导致按钮很小、点击区域过小........

②交互模型

变量:下方购买按钮分为两种不同的交互方案。

A 方案用户路径

交互设计入门基础:帮你快速掌握A/B测试的实战应用

B 方案用户路径

交互设计入门基础:帮你快速掌握A/B测试的实战应用

当用户从商品入口点击进入后会被分流为两部分一部分处于方案 A,一部分处于方案 B,点击按钮后触发记录,之后的用户路径也会记录下来。之后通过整体的数据对于去查看方案 A 和 B,时间大约会持续一周到两周到时间节点,期间也会一直观察数据。

要点:时间越长,用户量越大,数据越可靠,需要根据公司所能承担的时间去综合查看时间点。

要点:注意控制变量,要保持变量的唯一性。例如本次测试中除了变量“按钮”之外区域的元素内容是完全一致的。

要点:尽量保证测试群体的一致和同时投入这两个方案。

4. 多层级 A/B Test

未进行商品详情测试,直接使用待用商品详情图的,仅做展示说明。

变量一:详情页下方按钮分为 A 组和 B 组(上述内容)

变量二:A 组(详情页内容有商品描述+商品详情图) B 组(详情页内容仅有商品描述)

产生变量二因素:欧美主流电商产品详情页内容只有商品描述而无商品详情图,部分电商也会有商品详情图。调研显示国外用户会更加倾向于简单明了的阐述。

分层级展示

交互设计入门基础:帮你快速掌握A/B测试的实战应用

交互设计入门基础:帮你快速掌握A/B测试的实战应用

变量:按钮设计一方案,按钮设计二方案,详情页内容一方案,详情页内容二方案。

流量分配

我么设定按钮设计方案一为“A”按钮设计方案二为“B”详情页内容方案一为“C”详情页内容方案二为“D”

在进入详情页时总流量为 100%,进入后流量分为两部分一部分 C 和 D 各自获取 50%,之后在 C 和 D 的方案下再次划分出 A 和 B,把 C 和 D 的流量分为四份。分别为 C-A 百分 25,C-B 百分之 25,D-A 百分之 25,D-B 百分之 25.分层测试的原理就是在保证变量的唯一性的情况下,评分上层流量。分层实验多见于在成熟的产品进行的测试,只有更加合理的进行测试才能够得到更真实的数据。

如下图所示

交互设计入门基础:帮你快速掌握A/B测试的实战应用

5. 数据分析

实际的应用场景中我们不会单一的去查看 A/B 方案组的不同数据去下结论,还会根据按钮的点击次数、页面跳转、用户页面停留时间、下单滞留页面、下单返回页面等情况去查看。案例中以抛弃了这些情况下去分析。

一般情况下 A/B 测试会出现下列两种不同的情况(数据接近占多数这个时候就需要我们结合多种不同的数据去分析)

数据接近:

交互设计入门基础:帮你快速掌握A/B测试的实战应用

数据差异大:

交互设计入门基础:帮你快速掌握A/B测试的实战应用

当数据差异较大时,我么应先检测流程看是否流程出错或者中间环节有错误,之后再去定义。

当数据差异较小时,尤其是数据接近时除了去参考其余数据之外,我么可以再次进行对照实验或者延长实验时间,这样得出来的最后数据会更加趋于真实。

6. 流程

建立假设:进行测试需要先明确实验的目标和预期值以及实验时间点。

创建测试:对目标进行拆解和分析,确定变量和测试流程。开始生成 A/B 测试,定义本次测试的时间长短和测试核心指标。

流量分配:给不同的方案进行相应的流量分配,遵循均匀、随机、用户群、样本充足。

数据分析:通过数据的收集和用户反馈,建立分析模型,进行数据分析。

得出结论:分析结束后,根据分析结果对照那个方案更加合理。建立本次 A/B 测试的数据模型,方便后期优化方案重新测试。

7. 数据埋点

获取数据最重要的便是数据埋点

数据分析是我们获得需求的来源之一,通过对数据的比对,对数据趋势的分析,能让我们发现哪些环节存在问题,哪些环节有提高空间。同时,数据分析也是检验功能是否有效,是否受欢迎的重要佐证。只有进行了数据埋点才可以进行A/B测试

全方位了解用户从哪里来

广告、公众号、小程序、二维码,用户从哪来?

不同媒体、不同活动,哪个渠道的拉新效率最高?

多维度分析用户使用行为

用户主要访问了哪些页面?使用了什么功能?

用户次日、7 日留存如何?页面访问时长多久?

实时查看用户分享回流效果

哪个页面被分享次数最多?带了多少回流?

哪个用户最乐于裂变分享?分享带来的流量质量如何?

自由定义核心业务指标

用户的年龄、性别、分布是什么样的?不同人群,行为是否有差异?

用户访问商品页、查看详情、加购物车、支付,逐步的转化率如何?

参加活动的用户,是晚上活跃度高,还是早上活跃度高?

数据埋点需要 PM 调动整个团队去完成的一项工作,对于整个的埋点过程,我尚且处于探索的过程中,有时候甚至不需要 UI 的参与,UI 的参与最多参与到买点码的设定和方案的讨论。日后有机会可以详细给大家介绍一下(希望有机会)。

收藏 26
点赞 25

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。