Skip to main content

A/B-тестирование на чекауте

A/B-тестирование (также известное как сплит-тестирование) позволяет сравнить две версии виджета чекаута, чтобы определить, какая из них работает лучше. A/B-тестирование в настоящее время доступно только для отдельных (standalone) виджетов и пока не поддерживается для страниц. Каждая версия показывается части вашего трафика на чекауте, а показатели отслеживаются отдельно, чтобы вы могли определить более эффективную версию. Тестируя вариации своих предложений, вы можете повысить коэффициент конверсии, увеличить выручку и принимать решения по стратегии апселлов на основе данных.
Эта страница посвящена A/B-тестированию только виджетов чекаута. Если вы хотите тестировать предложения после покупки, см. A/B-тестирование предложений после покупки.
Виджеты чекаута доступны только мерчантам Shopify Plus из-за ограничений API Checkout Extensibility от Shopify.

Как работает A/B-тестирование на чекауте

Отдельные виджеты чекаута поддерживают две версии в рамках одного блока. Когда обе версии активны, трафик делится между ними в соотношении 50/50, и в аналитике они обозначаются как Version A и Version B. Каждая версия показывается отдельной части покупателей, а её показатели отслеживаются независимо, чтобы вы могли сравнить результаты и определить победителя. У каждой версии свои конфигурация и настройки, что позволяет тестировать значимые различия между предложениями.
A/B-тестирование в настоящее время доступно только для отдельных виджетов. Страницы пока не поддерживают A/B-тестирование.

Что можно тестировать

A/B-тестирование поддерживается как для виджетов апселла, так и для контентных виджетов. Виджеты апселла — вы можете тестировать:
  • Товары: разные товары, типы товаров или стратегии рекомендаций (конкретный товар, AI-рекомендации или самый дорогой товар)
  • Скидки: разные размеры или типы скидок (процент или фиксированная сумма)
  • Режим виджета: апселл одного товара, апселл нескольких товаров или апселл с галочкой (checkmark)
  • Blank (Skip): используйте пустую версию как контрольную, чтобы измерить, помогает ли показ апселла конверсии чекаута или вредит ей
Контентные виджеты (значки доверия, отзывы, элементы управления корзиной, заметки, текст, изображения, панель вознаграждений) — вы можете тестировать:
  • Разное содержимое значков или отзывов
  • Разные сообщения или тексты
  • Показ и отсутствие показа контентного виджета (используя Blank/Skip в качестве контроля)

Типы тестов

При добавлении новой версии в отдельный виджет вы выбираете один из трёх типов теста:

Duplicate content (дублировать содержимое)

Duplicate content создаёт новую версию, которая является копией существующей. Используйте этот вариант, когда хотите протестировать небольшое изменение — например, другой размер скидки или другой товар, — оставив всё остальное без изменений. Поскольку исходная точка идентична, любое различие в показателях с большей вероятностью вызвано именно тем единственным изменением, которое вы внесли. Это самая распространённая отправная точка для A/B-тестов, так как она минимизирует количество переменных и упрощает интерпретацию результатов.

New content (новое содержимое)

New content создаёт пустую версию, которую вы настраиваете с нуля. Используйте этот вариант, когда хотите протестировать принципиально другое предложение — например, другой режим виджета, совершенно другую категорию товаров или другую стратегию триггеров. Версии типа New content дают полную гибкость, но требуют больше времени на настройку. Этот тип лучше всего подходит для более широких тестов, где вы хотите сравнить два разных подхода, а не одно небольшое изменение.

Blank (Skip)

Blank (Skip) создаёт пустую версию, которая ничего не показывает назначенным ей покупателям. Используйте её как контрольную группу для измерения базового уровня — что происходит, когда виджет вообще не показывается. Сравнение версии Blank с активным предложением помогает понять, помогает ли ваш виджет конверсии чекаута или вредит ей. Это особенно полезно, если вы опасаетесь, что показ виджета может увеличить количество брошенных чекаутов для определённых сегментов покупателей.

Настройка A/B-теста на чекауте

Шаг 1. Откройте или создайте отдельный виджет

  1. Откройте приложение Aftersell из админ-панели Shopify
  2. Перейдите в раздел Checkout в левой боковой панели
  3. Прокрутите до раздела Standalone widgets
  4. Откройте существующий отдельный виджет, нажав на значок карандаша (редактирование), или нажмите Create widget, чтобы создать новый

Шаг 2. Добавьте версию

  1. В редакторе виджета добавьте новую версию
  2. Выберите один из трёх типов теста: Duplicate content, New content или Blank (Skip)
  3. Настройте новую версию — задайте товар, скидку, режим виджета и любые другие параметры, которые хотите протестировать

Шаг 3. Проверьте триггеры

Триггеры относятся к виджету, а не к отдельной версии — карточка Select triggers находится над вкладками версий, и обе версии, Version A и Version B, показываются при одинаковых условиях. Настраивать что-либо для каждой версии не нужно, а сам таргетинг нельзя тестировать методом A/B. Полный список доступных вариантов триггеров см. в статье Триггеры чекаута.

Шаг 4. Проверьте размещение в редакторе чекаута Shopify

  1. Откройте редактор чекаута Shopify из админ-панели Shopify
  2. Убедитесь, что блок приложения для этого отдельного виджета размещён в нужном месте
  3. Виджет не будет отображаться покупателям, пока он не размещён
Ваш A/B-тест запущен.

Как распределяется трафик

A/B-тесты на чекауте используют распределение 50/50 между двумя активными версиями (Version A и Version B). Трафик распределяется между версиями равномерно и автоматически; изменить это вручную нельзя. Если вы приостановите одну версию, весь трафик пойдёт на оставшуюся. Для корректного A/B-теста оставьте обе версии активными.

Управление тестом

После запуска A/B-теста вы можете управлять им в любой момент из редактора виджета.

Приостановка версии

Откройте меню Manage A/B test и выберите Pause version A или Pause version B. Приостановленная версия перестаёт получать трафик, и весь он переходит к оставшейся версии. Выберите Reactivate split test, чтобы вернуться к распределению 50/50. Отдельного переключателя активности для каждой версии нет — переключатель Active в заголовке виджета управляет всем виджетом, обеими версиями сразу.

Редактирование версии

Откройте версию и внесите изменения напрямую. Для точных результатов избегайте значительных изменений версии во время выполнения теста, поскольку это затрудняет интерпретацию того, что именно повлияло на различия в показателях.

Удаление версии

Удалите версию, чтобы навсегда убрать её из виджета. После удаления версию и её данные восстановить нельзя. Весь трафик перейдёт к оставшейся активной версии.

Выбор победителя

Когда вы будете готовы завершить тест и остановиться на одной версии:
  1. Определите более эффективную версию на основе её аналитики
  2. Приостановите или удалите проигравшую версию
  3. Версия-победитель теперь будет получать 100% трафика

Как интерпретировать результаты A/B-теста

Пока A/B-тест выполняется, вы можете просматривать показатели Version A и Version B, нажав на значок гистограммы рядом с виджетом на дашборде Checkout. Отображаемые метрики зависят от типа виджета — виджеты апселла и контентные виджеты показывают разные метрики. Полный разбор всех метрик уровня виджета, аналитики по версиям и графиков вкладки Analytics > Checkout см. в статье Аналитика чекаута.

Ограничения

A/B-тестирование возможно только в рамках одного типа виджета

A/B-тестирование в Aftersell сравнивает две версии одного и того же типа виджета. Например, вы можете сравнить две разные конфигурации значков доверия или протестировать предложение апселла против Blank (Skip). Нельзя проводить A/B-тесты между разными типами виджетов — например, нельзя сравнить виджет значков доверия с виджетом изображения в одном A/B-тесте.

A/B-тестирование недоступно для страниц

A/B-тестирование в настоящее время доступно только для отдельных виджетов. Страницы пока не поддерживают A/B-тестирование.

Тестирование размещения не поддерживается

Нельзя проводить A/B-тесты разных размещений виджета (например, проверять, работает ли апселл лучше в сводке заказа или над разделом оплаты). A/B-тестирование сравнивает содержимое одного виджета в фиксированном размещении.

Лучшие практики

Тестируйте по одному элементу за раз

Если менять несколько элементов сразу, становится сложно понять, какое изменение повлияло на результат. Изолируйте одну переменную на тест, чтобы получать понятные и применимые выводы. Хорошо: тестировать скидку 10% против скидки 20% (изменена одна переменная) Избегайте: тестировать скидку 10% + Товар A против скидки 20% + Товар B (изменены сразу две переменные)

Используйте Blank (Skip) в качестве контроля

Запуск версии Blank (Skip) против активного виджета — один из самых ценных тестов, которые вы можете провести. Он показывает, помогает ли сам показ виджета конверсии чекаута или вредит ей. Если версия Blank показывает лучшие результаты по завершению чекаута, возможно, стоит полностью пересмотреть предложение или скорректировать таргетинг.

Следите за брошенными чекаутами

Более высокая конверсия апселла — это хорошо, но убедитесь, что она не достигается ценой роста числа брошенных чекаутов. Регулярно проверяйте показатель Checkout abandonment rate на вкладке Analytics > Checkout во время выполнения A/B-тестов. Для контентных виджетов аналитика по версиям также включает метрику Checkout abandonment rate.

Популярные идеи для тестов

Тесты виджетов апселла
  • Конкретный товар против AI-рекомендаций против самого дорогого товара
  • Сопутствующий товар против того же товара (повторная покупка)
  • Скидка 10% против скидки 20%
  • Процентная скидка против фиксированной суммы
  • Скидка против отсутствия скидки
  • Апселл одного товара против апселла с галочкой
  • Апселл нескольких товаров против апселла одного товара
  • Активное предложение против Blank (Skip) для измерения чистого эффекта показа апселла
Тесты контентных виджетов
  • Значки доверия с определёнными значками и без них
  • Разное содержимое отзывов
  • Разные тексты заметок или сообщений
  • Активный контент против Blank (Skip) для измерения эффекта показа контентного виджета

Часто задаваемые вопросы

Останавливаются ли A/B-тесты автоматически после достижения статистической значимости?

Нет. A/B-тест на чекауте продолжает выполняться, пока вы не завершите его самостоятельно — автоматической остановки при достижении статистической значимости нет. Просматривайте показатели каждой версии в аналитике, и когда вы будете уверены в победителе, завершите тест вручную, деактивировав или удалив проигравшую версию (см. Выбор победителя). Aftersell никогда не останавливает тест и не выбирает победителя за вас.

Нужна помощь?

Если у вас есть вопросы о настройке или анализе A/B-тестов на чекауте, напишите нашей команде поддержки в онлайн-чате в правом нижнем углу приложения.