SwitasСвязаться с нами

Метрики и терминология A/B-тестирования

Çağdaş Polat · · 4 мин чтения

A/B-тестирование — ключевой метод оптимизации сайтов и приложений, позволяющий компаниям сравнивать две версии веб-страницы или приложения и определять, какая из них работает лучше. Понимание основных метрик и терминов A/B-тестирования необходимо для точной интерпретации результатов. В этой статье мы разберём важные метрики и термины A/B-тестирования, включая p-значение, доверительный интервал, односторонние и двусторонние тесты, z-оценку, наблюдаемую мощность, вариант, контрольную группу, прирост выручки, коэффициент конверсии и байесовский расчёт.

Ключевые метрики и термины A/B-тестирования

1. Вариант

Вариант — это одна из версий, проверяемых в A/B-тесте. Как правило, существующая версия называется контрольной, а новая — вариантом.

Пример: В A/B-тесте посадочной страницы версия A (текущая страница) является контрольной, а версия B (новый дизайн) — вариантом.

2. Контрольная группа

Контрольная группа — это группа пользователей, которым показывается исходная версия (контроль) в A/B-тесте. Она служит базовым уровнем для сравнения эффективности варианта.

Пример: Если сайт посещают 10 000 пользователей, 5 000 из них могут увидеть контрольную страницу (контрольная группа), а 5 000 — страницу-вариант.

 

Incremental-revenue.png
Источник: https://getrecast.com/incrementality/

 

3. Прирост выручки

Прирост выручки — это дополнительная выручка, полученная в результате изменений, внесённых в ходе A/B-теста. Он помогает оценить финансовый эффект теста.

Пример: Если страница-вариант увеличивает средний чек на $5 и совершается 1 000 дополнительных покупок, прирост выручки составляет $5 000.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Коэффициент конверсии

Коэффициент конверсии — это доля пользователей, совершивших целевое действие, например покупку или подписку на рассылку, от общего числа посетителей.

Пример: Если 100 из 1 000 посетителей совершают покупку, коэффициент конверсии составляет 10%.

5. P-значение

P-значение показывает вероятность того, что наблюдаемая разница между двумя вариациями возникла случайно. Низкое p-значение (как правило, менее 0,05) говорит о том, что наблюдаемая разница статистически значима.

Пример: Предположим, в A/B-тесте сравниваются две версии посадочной страницы. У версии A коэффициент конверсии составляет 5%, у версии B — 7%. Если p-значение равно 0,03, вероятность того, что наблюдаемая разница возникла случайно, составляет 3%, что указывает на значимое различие между двумя версиями.

 

confidence-interval-formula.jpg

 

6. Доверительный интервал

Доверительный интервал задаёт диапазон, в котором, как ожидается, лежит истинный размер эффекта, с определённым уровнем доверия (обычно 95%). Он помогает оценить надёжность результатов теста.

Пример: в том же A/B-тесте 95%-й доверительный интервал для разницы коэффициентов конверсии может составлять [1%, 3%]. Это означает, что мы на 95% уверены: истинная разница коэффициентов конверсии лежит в пределах от 1% до 3%.

7. Односторонние и двусторонние тесты

Односторонний тест оценивает направление эффекта (например, лучше ли версия B, чем версия A), а двусторонний — есть ли какая-либо разница в любом из направлений.

Пример одностороннего теста: проверяет, выше ли коэффициент конверсии версии B, чем версии A.
Пример двустороннего теста: проверяет, есть ли какая-либо разница между коэффициентами конверсии версий A и B независимо от её направления.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-оценка

Z-оценка показывает, на сколько стандартных отклонений значение отстоит от среднего. В A/B-тестировании она используется для определения значимости наблюдаемой разницы между двумя вариациями. Распространённые уровни доверия и соответствующие им z-оценки:

  • Доверительный интервал 95%
    • Двусторонняя z-оценка: 1,96
    • Односторонняя z-оценка: 1,65
  • Доверительный интервал 99%
    • Двусторонняя z-оценка: 2,58
    • Односторонняя z-оценка: 2,33
  • Доверительный интервал 90%
    • Двусторонняя z-оценка: 1,64
    • Односторонняя z-оценка: 1,28

Пример: Если z-оценка для разницы коэффициентов конверсии между версиями A и B равна 2,5, это означает, что разница находится на расстоянии 2,5 стандартных отклонений от среднего, что говорит о статистически значимом различии.

9. Наблюдаемая мощность

Наблюдаемая мощность — это вероятность того, что тест корректно отвергнет нулевую гипотезу при наличии реального эффекта. Более высокая наблюдаемая мощность означает более высокую вероятность обнаружить реальную разницу.

Пример: В A/B-тесте с наблюдаемой мощностью 0,8 (80%) существует 80%-й шанс обнаружить реальную разницу между вариациями, если она есть.

 

bayesian-formula.png
Источник: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Байесовский расчёт

Байесовский расчёт предполагает использование теоремы Байеса для обновления оценки вероятности гипотезы по мере поступления дополнительных свидетельств. В A/B-тестировании он даёт вероятностную основу для принятия решений на основе данных.

Пример: С помощью байесовских методов можно определить вероятность того, что один вариант лучше контрольного при наблюдаемых данных, вместо того чтобы полагаться только на традиционные p-значения.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Источник: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Частотная статистика

Частотная статистика — традиционный подход к проверке гипотез, который опирается на частоту или долю наблюдений в данных. Он использует фиксированные наборы данных и не учитывает априорные знания или распределения вероятностей.

Пример: При частотном подходе к A/B-тестированию вы использовали бы p-значения и доверительные интервалы, чтобы определить значимость результатов теста, не учитывая априорные вероятности.

Практические примеры

Пример 1. A/B-тест email-рассылки

Компания хочет протестировать две темы письма, чтобы выяснить, какая из них даёт более высокий показатель открытий.

  • Тема письма A: показатель открытий 25%
  • Тема письма B: показатель открытий 28%
  • P-значение: 0,02 (указывает на значимое различие)
  • Доверительный интервал: [2%, 5%] (95%-я уверенность в том, что истинная разница показателей открытий лежит в пределах от 2% до 5%)
  • Z-оценка: 2,33 (говорит о статистически значимом различии)
  • Наблюдаемая мощность: 0,85 (85%-й шанс обнаружить реальную разницу)
Пример 2. A/B-тест посадочной страницы сайта

Интернет-магазин тестирует два варианта дизайна посадочной страницы, чтобы определить, какой приводит к большему числу покупок.

  • Дизайн A: коэффициент конверсии 4%
  • Дизайн B: коэффициент конверсии 5%
  • P-значение: 0,045 (указывает на значимое различие)
  • Доверительный интервал: [0,5%, 1,5%] (95%-я уверенность в том, что истинная разница коэффициентов конверсии лежит в пределах от 0,5% до 1,5%)
  • Z-оценка: 2,01 (говорит о статистически значимом различии)
  • Наблюдаемая мощность: 0,78 (78%-й шанс обнаружить реальную разницу)

A/B-тестирование — мощный инструмент оптимизации цифрового опыта, а понимание его ключевых метрик и терминов крайне важно для точной интерпретации результатов. Switas умеет проводить эффективные A/B-тесты, помогая компаниям принимать решения на основе данных для повышения их результатов, и предоставляет надёжные, практичные инсайты, которые способствуют росту и успеху.

Похожие статьи

Все статьи →

Давайте создадим следующий проект.

Связаться с нами