你在测试什么
创建测试
- 你的上线购物车自动成为对照组——无法更改。
- 从其他购物车中挑选一个挑战者。
- 设置流量分配——两者之间的分配比例,默认 50/50。每一方在 1% 到 99% 之间,且两者之和必须为 100%。
- 为测试起一个名称(必填)。
- Publish & start test。
测试运行期间
- 购物者会被粘性分桶到一个变体中,因此回访购物者在整个测试期间会一直看到同一个购物车。
- 发布和取消发布被锁定,且变体购物车在编辑器中为只读——要修改需先结束测试。
显著性指示器
进度条是一个就绪指示器——它告诉你是否已收集到足够的流量来做出有把握的判断。它不是统计学 p 值,Aftersell 也不会自动宣布获胜者。让测试收集足够的数据,然后比较各变体并做出选择。
结束测试并选择获胜者
**结束测试页面的 Revenue 数字比 Test analytics 页面上的口径更宽。**这里是归因于该购物车的每一笔转化。而在 Test analytics 上,Added revenue 指标被收窄为 upsell、附加商品和订阅收入。同一个测试的两个数字预期会不同,比较变体时请在同一界面内进行,而不要跨界面比较。
哪些可以测试、哪些不能
- **可以:**任意两个完整的购物车配置。更换布局、块、文案、设计——随意构建一个挑战者购物车,与上线购物车对比测试。
- **关于指标的注意事项:**Test analytics 上的 Added revenue 指标涵盖 upsell、附加商品和订阅收入——是购物车全部收入的一个子集,而非完整划分。请把它当作两个变体之间的同口径对比来看,而不是每个变体的总贡献。结束测试页面使用上文描述的更宽口径数字。