Что вы тестируете
Создание теста
- Ваша действующая корзина автоматически становится контролем — изменить это нельзя.
- Выберите одного претендента из ваших остальных корзин.
- Задайте распределение трафика — соотношение между двумя, по умолчанию 50/50. Каждая сторона — от 1% до 99%, и вместе они должны давать 100%.
- Дайте тесту название (обязательно).
- Publish & start test.
Пока тест выполняется
- Покупатели закрепляются за одним вариантом, поэтому вернувшийся покупатель видит ту же корзину на протяжении всего теста.
- Публикация и снятие с публикации заблокированы, а корзины-варианты доступны в редакторе только для чтения — завершите тест, чтобы внести изменения.
Индикатор значимости
Полоса — это индикатор готовности: она говорит, собрали ли вы достаточно трафика для уверенного решения. Это не статистическое p-значение, и Aftersell не объявляет победителя автоматически. Дайте тесту собрать достаточно данных, затем сравните варианты и выберите.
Завершение теста и выбор победителя
Показатель Revenue на экране завершения теста шире, чем на странице аналитики тестов. Здесь это каждая конверсия, атрибутированная корзине. На странице Аналитика тестов метрика Added revenue сужена до выручки от upsell, дополнений и подписок. Ожидайте, что эти два числа для одного теста будут различаться, и сравнивайте варианты в рамках одного представления, а не между ними.
Что можно и что нельзя тестировать
- Можно: любые две полные конфигурации корзины. Меняйте макеты, блоки, тексты, дизайн — соберите корзину-претендента как угодно и протестируйте её против действующей.
- Оговорка о метриках: метрика Added revenue в аналитике тестов охватывает выручку от upsell, дополнений и подписок — подмножество всего, что зарабатывает корзина, а не полное разбиение. Относитесь к ней как к сопоставимому сравнению между двумя вариантами, а не как к полному вкладу каждого варианта. Экран завершения теста использует более широкий показатель, описанный выше.