Skip to main content
购物车测试是在两个完整购物车之间进行的 A/B 测试。你用你的上线购物车对阵一个挑战者,在两者之间分配流量,并在结束时选出获胜者。

你在测试什么

测试的单位是一个完整的购物车——整个体验,而不是单个块或设置。你整体比较两个已保存的购物车。任何草稿购物车都可以作为挑战者。

创建测试

Carts 页面选择 Create test。你需要一个上线购物车,且总共至少有两个购物车。然后:
  1. 你的上线购物车自动成为对照组——无法更改。
  2. 从其他购物车中挑选一个挑战者
  3. 设置流量分配——两者之间的分配比例,默认 50/50。每一方在 1% 到 99% 之间,且两者之和必须为 100%。
  4. 为测试起一个名称(必填)。
  5. Publish & start test。
每家商店同一时间只能运行一个测试。

测试运行期间

  • 购物者会被粘性分桶到一个变体中,因此回访购物者在整个测试期间会一直看到同一个购物车。
  • 发布和取消发布被锁定,且变体购物车在编辑器中为只读——要修改需先结束测试。

显著性指示器

测试运行期间,Aftersell 会显示一个显著性进度条:已收集的展示次数与目标样本量的对比。目标是整个测试的总量,其大小确保最小的变体仍能收集约 3,500 次展示——50/50 分配下大约共 7,000 次,不均衡分配则按比例更多(80/20 分配需要约 17,600 次)。随着测试运行,展示次数不断累积,进度条向目标填充。 进度条仅在测试运行时显示。一旦结束测试,进度条消失;横幅会继续显示测试的开始和结束日期,你从各变体的结果中解读结果。
进度条是一个就绪指示器——它告诉你是否已收集到足够的流量来做出有把握的判断。它不是统计学 p 值,Aftersell 也不会自动宣布获胜者。让测试收集足够的数据,然后比较各变体并做出选择。

结束测试并选择获胜者

结束测试时,你会并排看到每个变体的 Revenue转化率(CCR)展示次数,并自行挑选获胜者。获胜者会被发布上线,另一个购物车回到草稿状态。
**结束测试页面的 Revenue 数字比 Test analytics 页面上的口径更宽。**这里是归因于该购物车的每一笔转化。而在 Test analytics 上,Added revenue 指标被收窄为 upsell、附加商品和订阅收入。同一个测试的两个数字预期会不同,比较变体时请在同一界面内进行,而不要跨界面比较。

哪些可以测试、哪些不能

  • **可以:**任意两个完整的购物车配置。更换布局、块、文案、设计——随意构建一个挑战者购物车,与上线购物车对比测试。
  • **关于指标的注意事项:**Test analytics 上的 Added revenue 指标涵盖 upsell、附加商品和订阅收入——是购物车全部收入的一个子集,而非完整划分。请把它当作两个变体之间的同口径对比来看,而不是每个变体的总贡献。结束测试页面使用上文描述的更宽口径数字。
关于如何解读结果,参见 Test analytics