구매 후 A/B 테스트
A/B 테스트에서는 각 레이아웃을 완전한 오퍼로 직접 구성하고 서로 비교 테스트해요. 개별 변수(할인 유형, 타이머 시간, 상품 유형 등)를 정의하고 Aftersell이 이를 가능한 모든 레이아웃 조합으로 결합해 테스트하도록 하려면 대신 다변량 테스트를 사용하세요.
A/B 테스트는 구매 후 업셀에서만 사용할 수 있어요. Thank You 페이지 오퍼에 대한 A/B 테스트는 현재 제공되지 않아요. 체크아웃 위젯 A/B 테스트는 체크아웃 A/B 테스트를 참고하세요.
테스트할 수 있는 항목
- 상품: 다른 상품, 단일 상품 vs. 다중 상품 오퍼, 또는 AI 추천 vs. 특정 상품
- 할인: 다른 할인 금액 또는 유형(퍼센트 vs. 정액)
- 문구: 헤드라인, 설명, 행동 유도(CTA) 텍스트
- 이미지: 상품 이미지 또는 라이프스타일 사진
- 긴급성 요소: 다른 시간이 설정된 카운트다운 타이머
- 수량: 기본 수량 1개 vs. 2개(또는 그 이상)
- 오퍼 디자인: 다른 레이아웃이나 시각적 스타일
A/B 테스트 설정 방법
1단계: 퍼널 생성 또는 열기
- Shopify 관리자에서 Aftersell 앱을 여세요
- 왼쪽 사이드바에서 Post-purchase Funnels로 이동하세요
- 새 퍼널을 만들거나 테스트하려는 기존 퍼널을 여세요
2단계: 테스트 만들기
- 퍼널에서 Create Test를 클릭하세요
- 옵션 중 A/B Test를 선택하세요
3단계: 레이아웃 설정하기
- 상품 선택
- 할인 금액 및 유형
- 오퍼 문구 및 메시지
- 이미지 및 시각적 요소
- 카운트다운 타이머 설정
- 기본 수량
- 기타 모든 오퍼 설정
4단계: 테스트 시작하기
- 모든 레이아웃이 올바르게 구성되었는지 검토하세요
- Start Test를 클릭하여 레이아웃 간 트래픽 분배를 시작하세요
- 퍼널이 활성화되고 게시되었는지 확인하세요
트래픽 분배 방식
- 레이아웃 2개의 경우 트래픽이 **50% / 50%**로 분배돼요
- 레이아웃 3개의 경우 트래픽이 약 **33% / 33% / 33%**로 분배돼요
- 레이아웃 4개의 경우 트래픽이 **각 25%**씩 분배돼요
- 레이아웃 5개의 경우 트래픽이 **각 20%**씩 분배돼요
테스트 관리하기
테스트 상태
- Not started: 테스트가 생성되었지만 활성화되지 않았어요. 트래픽이 분배되지 않아요. 트래픽의 100%가 하나의 레이아웃으로 가는 것이 보이면 Start test를 클릭하세요.
- In progress: 트래픽이 모든 레이아웃에 균등하게 분배되고 있어요.
- Paused: 트래픽 분배가 중지되었어요.
- Finished: 테스트가 완료되었어요. 결과는 Analytics > Tests 탭에서 확인할 수 있어요.
- Started [날짜] — 진행 중, 일시 중지 또는 완료된 테스트의 경우
- Last reset [날짜] — 시작되지 않았지만 분석 데이터가 초기화된 적 있는 테스트의 경우
- Created [날짜] — 아직 시작되지 않았고 초기화된 적도 없는 테스트의 경우
테스트 일시 중지하기
- 트래픽이 더 이상 레이아웃 간에 분배되지 않아요
- 처음 생성된 레이아웃인 Layout A만 표시돼요
- 일시 중지 상태에서는 어떤 레이아웃을 표시할지 선택할 수 없어요
테스트 편집하기
분석 데이터 초기화하기
테스트 삭제하기
- 트래픽이 더 이상 분배되지 않아요
- 오퍼가 일반 동작으로 돌아가요
- 오퍼의 누적 분석 데이터가 다시 표시돼요
우승 레이아웃 선택하기
- Select winner를 클릭하세요
- 유지할 레이아웃을 선택하세요
- 확인하세요
A/B 테스트 분석 작동 방식
제한 사항
A/B 테스트는 단일 퍼널 내에서만 가능해요
A/B 테스트는 구매 후 업셀 전용이에요
사용자 지정 트래픽 비율은 지원되지 않아요
A/B 테스트 모범 사례
테스트를 충분히 오래 실행하세요
- 최소 기간: 2~4주
- 최소 노출 수: 레이아웃당 최소 100~200회 노출(많을수록 좋아요)
- 특히 트래픽이 적을 때 짧은 테스트는 통계적으로 신뢰할 수 있는 결과를 내지 못할 수 있어요.
한 번에 하나의 요소만 테스트하세요
일관된 성과를 확인하세요
- 더 높은 전환율
- 더 높은 방문당 매출
- 비슷하거나 더 나은 평균 업셀 금액
통계적 유의성을 고려하세요
- 명확한 성과 차이(단순한 1~2% 편차가 아닌)
- 시간에 따른 일관된 추세
- 충분한 표본 크기(노출 수)
우승 레이아웃을 적용하세요
- 테스트를 중지하세요
- 우승 레이아웃을 퍼널에 적용하세요
- 결과가 일관되게 유지되는지 성과를 모니터링하세요
- 추가 최적화를 위해 새 테스트 실행을 고려하세요
A/B 테스트 vs. 다변량 테스트
A/B 테스트를 사용하세요:
- 완전한 오퍼 구성들을 비교하고 싶을 때
- 트래픽 수준이 중간 정도일 때
- 명확하고 단순한 결과를 원할 때
- 여러 변수를 동시에 테스트하고 최적 조합을 찾고 싶을 때
- 트래픽 수준이 높을 때
- 변수를 정의하고 Aftersell이 이를 레이아웃 조합으로 결합해 테스트하기를 원할 때
일반적인 A/B 테스트 아이디어
상품 기반 테스트
- 동일 상품 vs. 보완 상품: 고객이 방금 구매한 상품을 더 사고 싶어 하는지, 새로운 것을 시도하고 싶어 하는지 테스트하세요
- 단일 상품 vs. 다중 상품 오퍼: 단일 상품 오퍼와 보완 상품이 포함된 다중 상품 오퍼를 비교하세요
- AI 기반 vs. 고정 상품: 동적 AI 추천과 직접 선택한 상품을 비교 테스트하세요
할인 테스트
- 할인 금액: 10% 할인 vs. 20% 할인 vs. 30% 할인 테스트
- 할인 유형: 퍼센트 할인(20% 할인)과 정액 할인($5 할인) 비교
- 할인 없음 vs. 할인: 고객층에게 할인이 필요한지 테스트하세요
수량 테스트
- 기본 수량: 수량 1개 vs. 2개 테스트(특히 소모품에 효과적이에요)
문구 및 메시지 테스트
- 헤드라인 변형: 다른 가치 제안이나 메시지 접근 방식을 테스트하세요
- 긴급성 메시지: 긴급성 문구 유무를 테스트하세요
- CTA 버튼 텍스트: 다른 행동 유도 문구를 테스트하세요
디자인 테스트
- 롱폼 vs. 숏폼: 상세한 상품 설명과 간결한 오퍼를 비교 테스트하세요
- 이미지 변형: 다른 상품 이미지나 라이프스타일 사진을 테스트하세요
- 타이머 시간: 5분 vs. 10분 vs. 15분 카운트다운 타이머를 테스트하세요