Skip to main content

Checkout A/B 测试

A/B 测试(也称分流测试)让你比较一个 checkout widget 的两个版本,以确定哪个表现更好。A/B 测试目前仅适用于 standalone widget,尚不支持页面。每个版本会展示给一部分结账流量,表现分别追踪,让你能识别出表现更好的版本。 通过测试不同版本的优惠,你可以提升转化率、增加收入,并基于数据来制定你的 upsell 策略。
本页仅介绍 checkout widget 的 A/B 测试。如果你想测试购后优惠,参见购后优惠的 A/B 测试
由于 Shopify Checkout Extensibility API 的限制,checkout widget 仅对 Shopify Plus 商家开放。

Checkout A/B 测试的运作方式

Standalone checkout widget 支持在单个块内使用两个版本。当两个版本都处于激活状态时,流量在两者之间按 50/50 分配,在分析视图中标记为 Version AVersion B。每个版本展示给不同的一部分客户,其表现独立追踪,让你可以比较结果并选出获胜者。 每个版本都有自己的配置和设置,因此可以测试优惠之间有意义的差异。
A/B 测试目前仅适用于 standalone widget。页面尚不支持 A/B 测试。

可以测试什么

upsell widgetcontent widget 都支持 A/B 测试。 Upsell widgets——你可以测试:
  • 产品:不同的产品、产品类型或推荐策略(特定产品 vs. AI 推荐 vs. 最贵产品)
  • 折扣:不同的折扣力度或类型(百分比 vs. 固定金额)
  • Widget 模式:单产品 upsell、多产品 upsell 或勾选式(checkmark)upsell
  • Blank (Skip):使用空白版本作为对照组,衡量展示 upsell 对结账转化是有利还是有害
Content widgets(信任徽章、客户评价、购物车控件、备注、文本、图片、奖励进度条)——你可以测试:
  • 不同的徽章或评价内容
  • 不同的信息或文案
  • 展示 vs. 不展示 content widget(用 Blank/Skip 作为对照)

测试类型

为 standalone widget 添加新版本时,你需要从三种测试类型中选择一种:

Duplicate content

Duplicate content 会创建一个新版本,它是某个现有版本的副本。当你想测试一个小改动——例如不同的折扣力度或不同的产品——而保持其他一切不变时使用它。由于起点完全相同,任何表现差异更有可能是由你所做的那一个改动引起的。这是 A/B 测试最常见的起点,因为它将变量降到最少,结果更容易解读。

New content

New content 会创建一个从零开始配置的空白版本。当你想测试一个根本不同的优惠——例如不同的 widget 模式、完全不同的产品类别或不同的触发策略——时使用它。New content 版本给你充分的灵活性,但需要更多设置时间。这种类型最适合更宏观的测试,即你想比较两种截然不同的方案,而非单个增量改动。

Blank (Skip)

Blank (Skip) 会创建一个空版本,向分配到它的客户不展示任何内容。将其作为对照组来衡量基线——即完全不展示 widget 时会发生什么。将 Blank 版本与激活的优惠进行比较,有助于你了解 widget 对结账转化是有利还是有害。如果你担心展示 widget 可能会增加某些客户群体的结账放弃率,这尤其有用。

设置 checkout A/B 测试

第 1 步:打开或创建一个 standalone widget

  1. 从 Shopify Admin 打开 Aftersell 应用
  2. 在左侧边栏进入 Checkout
  3. 滚动到 Standalone widgets 部分
  4. 点击铅笔(编辑)图标打开现有的 standalone widget,或点击 Create widget 创建一个新的

第 2 步:添加版本

  1. 在 widget 编辑器中添加一个新版本
  2. 从三种测试类型中选择一种:Duplicate contentNew contentBlank (Skip)
  3. 配置新版本——设置产品、折扣、widget 模式以及你想测试的任何其他设置

第 3 步:检查触发条件

触发条件属于 widget,而不是某个具体版本——Select triggers 卡片位于版本选项卡上方,Version A 和 Version B 在相同条件下展示。没有任何需要按版本配置的内容,定向本身也无法进行 A/B 测试。 关于可用触发选项的完整列表,参见 Checkout 触发条件

第 4 步:在 Shopify Checkout 编辑器中确认放置

  1. 从 Shopify Admin 打开 Shopify Checkout 编辑器
  2. 确认此 standalone widget 的应用块已放置在你想要的位置
  3. 在完成放置之前,widget 不会向客户展示
你的 A/B 测试现在已上线。

流量如何分配

Checkout A/B 测试在两个激活版本(Version A 和 Version B)之间使用 50/50 分配。流量在版本之间自动平均分配,无法手动调整。 如果你暂停某个版本,所有流量都会流向留存的版本。要进行有效的 A/B 测试,请让两个版本都保持运行。

管理测试

A/B 测试运行后,你可以随时在 widget 编辑器内管理它。

暂停版本

打开 Manage A/B test 菜单,选择 Pause version APause version B。被暂停的版本停止接收流量,留存版本接收全部流量。选择 Reactivate split test 可恢复 50/50 分配。没有按版本的激活开关——widget 标题栏中的 Active 开关控制整个 widget,即两个版本一起。

编辑版本

打开该版本并直接进行修改。为了结果准确,请避免在测试运行期间对版本进行重大更改,因为这会让你更难解读表现差异的成因。

删除版本

删除版本会将其从 widget 中永久移除。删除后,该版本及其数据无法恢复。所有流量将流向剩余的激活版本。

选择获胜者

当你准备结束测试并采用其中一个版本时:
  1. 根据分析数据识别表现更好的版本
  2. 暂停或删除落败的版本
  3. 获胜版本现在将接收 100% 的流量

解读 A/B 测试结果

A/B 测试运行时,你可以在 Checkout 仪表盘上点击 widget 旁边的柱状图图标,查看 Version A 和 Version B 的表现。显示的指标取决于 widget 类型——upsell widget 和 content widget 显示不同的指标。 关于所有 widget 级指标、各版本分析数据以及 Analytics 选项卡中的 Checkout 图表的完整说明,参见 Checkout 分析

限制

A/B 测试仅限于同一 widget 类型

Aftersell 中的 A/B 测试比较的是同一 widget 类型的两个版本。例如,你可以对比测试两种不同的信任徽章配置,或将一个 upsell 优惠与 Blank (Skip) 进行测试。你无法跨不同 widget 类型进行 A/B 测试——例如,你无法在同一个 A/B 测试中将信任徽章 widget 与图片 widget 对比。

页面不支持 A/B 测试

A/B 测试目前仅适用于 standalone widget。页面尚不支持 A/B 测试。

不支持放置位置测试

你无法对不同的 widget 放置位置进行 A/B 测试(例如,测试 upsell 放在订单摘要中还是支付部分上方表现更好)。A/B 测试比较的是固定位置上单个 widget 内的内容。

最佳实践

一次只测试一个元素

当你同时更改多个元素时,就很难知道是哪个改动带来了结果。每个测试只隔离一个变量,才能获得清晰、可操作的洞见。 推荐:测试 10% 折扣 vs. 20% 折扣(只改变一个变量) 避免:测试 10% 折扣 + 产品 A vs. 20% 折扣 + 产品 B(同时改变两个变量)

用 Blank (Skip) 作为对照

将 Blank (Skip) 版本与激活的 widget 对比运行,是你能做的最有价值的测试之一。它告诉你展示这个 widget 本身对结账转化率是有利还是有害。如果 Blank 版本在结账完成率上表现更好,可能值得彻底重新考虑该优惠或调整你的定向。

监控结账放弃率

更高的 upsell 转化率固然好,但要确保它不是以增加结账放弃率为代价。在运行 A/B 测试期间,定期查看 Analytics > Checkout 选项卡中的 Checkout abandonment rate。对于 content widget,各版本的分析视图中也包含结账放弃率指标。

常见测试思路

Upsell widget 测试
  • 特定产品 vs. AI 推荐 vs. 最贵产品
  • 互补产品 vs. 相同产品(补货)
  • 10% 折扣 vs. 20% 折扣
  • 百分比折扣 vs. 固定金额
  • 有折扣 vs. 无折扣
  • 单产品 upsell vs. 勾选式 upsell
  • 多产品 upsell vs. 单产品 upsell
  • 激活优惠 vs. Blank (Skip),衡量展示 upsell 的净影响
Content widget 测试
  • 带特定徽章 vs. 不带特定徽章的信任徽章
  • 不同的评价内容
  • 不同的备注或文本信息
  • 激活内容 vs. Blank (Skip),衡量展示 content widget 的影响

常见问题

A/B 测试达到统计显著性后会自动停止吗?

不会。Checkout A/B 测试会一直运行,直到你自己结束它——当结果达到统计显著性时不会自动停止。在分析中查看每个版本的表现,当你对获胜者有把握时,通过停用或删除落败版本来手动结束测试(参见选择获胜者)。Aftersell 绝不会替你停止测试或挑选获胜者。

需要帮助?

如果你在设置或分析 checkout A/B 测试方面有疑问,请通过应用右下角的在线聊天与我们的支持团队交流。