Çağdaş Polat · · 4 мин чтения
A/B-тестирование — ключевой метод оптимизации сайтов и приложений, позволяющий компаниям сравнивать две версии веб-страницы или приложения и определять, какая из них работает лучше. Понимание основных метрик и терминов A/B-тестирования необходимо для точной интерпретации результатов. В этой статье мы разберём важные метрики и термины A/B-тестирования, включая p-значение, доверительный интервал, односторонние и двусторонние тесты, z-оценку, наблюдаемую мощность, вариант, контрольную группу, прирост выручки, коэффициент конверсии и байесовский расчёт.
Ключевые метрики и термины A/B-тестирования
1. Вариант
Вариант — это одна из версий, проверяемых в A/B-тесте. Как правило, существующая версия называется контрольной, а новая — вариантом.
Пример: В A/B-тесте посадочной страницы версия A (текущая страница) является контрольной, а версия B (новый дизайн) — вариантом.
2. Контрольная группа
Контрольная группа — это группа пользователей, которым показывается исходная версия (контроль) в A/B-тесте. Она служит базовым уровнем для сравнения эффективности варианта.
Пример: Если сайт посещают 10 000 пользователей, 5 000 из них могут увидеть контрольную страницу (контрольная группа), а 5 000 — страницу-вариант.

3. Прирост выручки
Прирост выручки — это дополнительная выручка, полученная в результате изменений, внесённых в ходе A/B-теста. Он помогает оценить финансовый эффект теста.
Пример: Если страница-вариант увеличивает средний чек на $5 и совершается 1 000 дополнительных покупок, прирост выручки составляет $5 000.

4. Коэффициент конверсии
Коэффициент конверсии — это доля пользователей, совершивших целевое действие, например покупку или подписку на рассылку, от общего числа посетителей.
Пример: Если 100 из 1 000 посетителей совершают покупку, коэффициент конверсии составляет 10%.
5. P-значение
P-значение показывает вероятность того, что наблюдаемая разница между двумя вариациями возникла случайно. Низкое p-значение (как правило, менее 0,05) говорит о том, что наблюдаемая разница статистически значима.
Пример: Предположим, в A/B-тесте сравниваются две версии посадочной страницы. У версии A коэффициент конверсии составляет 5%, у версии B — 7%. Если p-значение равно 0,03, вероятность того, что наблюдаемая разница возникла случайно, составляет 3%, что указывает на значимое различие между двумя версиями.

6. Доверительный интервал
Доверительный интервал задаёт диапазон, в котором, как ожидается, лежит истинный размер эффекта, с определённым уровнем доверия (обычно 95%). Он помогает оценить надёжность результатов теста.
Пример: в том же A/B-тесте 95%-й доверительный интервал для разницы коэффициентов конверсии может составлять [1%, 3%]. Это означает, что мы на 95% уверены: истинная разница коэффициентов конверсии лежит в пределах от 1% до 3%.
7. Односторонние и двусторонние тесты
Односторонний тест оценивает направление эффекта (например, лучше ли версия B, чем версия A), а двусторонний — есть ли какая-либо разница в любом из направлений.
Пример одностороннего теста: проверяет, выше ли коэффициент конверсии версии B, чем версии A.
Пример двустороннего теста: проверяет, есть ли какая-либо разница между коэффициентами конверсии версий A и B независимо от её направления.

8. Z-оценка
Z-оценка показывает, на сколько стандартных отклонений значение отстоит от среднего. В A/B-тестировании она используется для определения значимости наблюдаемой разницы между двумя вариациями. Распространённые уровни доверия и соответствующие им z-оценки:
- Доверительный интервал 95%
- Двусторонняя z-оценка: 1,96
- Односторонняя z-оценка: 1,65
- Доверительный интервал 99%
- Двусторонняя z-оценка: 2,58
- Односторонняя z-оценка: 2,33
- Доверительный интервал 90%
- Двусторонняя z-оценка: 1,64
- Односторонняя z-оценка: 1,28
Пример: Если z-оценка для разницы коэффициентов конверсии между версиями A и B равна 2,5, это означает, что разница находится на расстоянии 2,5 стандартных отклонений от среднего, что говорит о статистически значимом различии.
9. Наблюдаемая мощность
Наблюдаемая мощность — это вероятность того, что тест корректно отвергнет нулевую гипотезу при наличии реального эффекта. Более высокая наблюдаемая мощность означает более высокую вероятность обнаружить реальную разницу.
Пример: В A/B-тесте с наблюдаемой мощностью 0,8 (80%) существует 80%-й шанс обнаружить реальную разницу между вариациями, если она есть.

10. Байесовский расчёт
Байесовский расчёт предполагает использование теоремы Байеса для обновления оценки вероятности гипотезы по мере поступления дополнительных свидетельств. В A/B-тестировании он даёт вероятностную основу для принятия решений на основе данных.
Пример: С помощью байесовских методов можно определить вероятность того, что один вариант лучше контрольного при наблюдаемых данных, вместо того чтобы полагаться только на традиционные p-значения.

11. Частотная статистика
Частотная статистика — традиционный подход к проверке гипотез, который опирается на частоту или долю наблюдений в данных. Он использует фиксированные наборы данных и не учитывает априорные знания или распределения вероятностей.
Пример: При частотном подходе к A/B-тестированию вы использовали бы p-значения и доверительные интервалы, чтобы определить значимость результатов теста, не учитывая априорные вероятности.
Практические примеры
Пример 1. A/B-тест email-рассылки
Компания хочет протестировать две темы письма, чтобы выяснить, какая из них даёт более высокий показатель открытий.
- Тема письма A: показатель открытий 25%
- Тема письма B: показатель открытий 28%
- P-значение: 0,02 (указывает на значимое различие)
- Доверительный интервал: [2%, 5%] (95%-я уверенность в том, что истинная разница показателей открытий лежит в пределах от 2% до 5%)
- Z-оценка: 2,33 (говорит о статистически значимом различии)
- Наблюдаемая мощность: 0,85 (85%-й шанс обнаружить реальную разницу)
Пример 2. A/B-тест посадочной страницы сайта
Интернет-магазин тестирует два варианта дизайна посадочной страницы, чтобы определить, какой приводит к большему числу покупок.
- Дизайн A: коэффициент конверсии 4%
- Дизайн B: коэффициент конверсии 5%
- P-значение: 0,045 (указывает на значимое различие)
- Доверительный интервал: [0,5%, 1,5%] (95%-я уверенность в том, что истинная разница коэффициентов конверсии лежит в пределах от 0,5% до 1,5%)
- Z-оценка: 2,01 (говорит о статистически значимом различии)
- Наблюдаемая мощность: 0,78 (78%-й шанс обнаружить реальную разницу)
A/B-тестирование — мощный инструмент оптимизации цифрового опыта, а понимание его ключевых метрик и терминов крайне важно для точной интерпретации результатов. Switas умеет проводить эффективные A/B-тесты, помогая компаниям принимать решения на основе данных для повышения их результатов, и предоставляет надёжные, практичные инсайты, которые способствуют росту и успеху.




