SwitasСвържете се с нас

Разбиране на метриките и терминологията при A/B тестването

Çağdaş Polat · · 4 мин четене

A/B тестването е ключов метод, използван при оптимизирането на уебсайтове и приложения, който позволява на бизнесите да сравняват две версии на уеб страница или приложение, за да определят коя се представя по-добре. Разбирането на ключовите метрики и терминология, свързани с A/B тестването, е от съществено значение за точното тълкуване на резултатите. В тази статия ще разгледаме важни метрики и термини при A/B тестването, включително p-стойност, доверителен интервал, едностранни и двустранни тестове, z-оценка, наблюдавана мощност, вариант, контролна група, нараснал приход, коефициент на конверсия и байесово изчисление.

Ключови метрики и терминология при A/B тестването

1. Вариант

Вариантът е една от версиите, които се тестват при A/B тест. Обикновено съществуващата версия се нарича контрола, а новата версия е вариантът.

Пример: При A/B тест на целева страница Версия A (текущата страница) е контролата, а Версия B (новият дизайн) е вариантът.

2. Контролна група

Контролната група е групата потребители, на които се показва оригиналната версия (контрола) при A/B тест. Тя служи като базова линия за сравнение на представянето на варианта.

Пример: Ако 10 000 потребители посетят даден уебсайт, 5000 може да видят контролната страница (контролна група), а 5000 – страницата с варианта.

 

Incremental-revenue.png
Източник: https://getrecast.com/incrementality/

 

3. Нараснал приход (incremental revenue)

Нараснал приход е допълнителният приход, генериран в резултат на промените, направени по време на A/B тест. Той помага да се оцени финансовото въздействие на теста.

Пример: Ако страницата с варианта увеличи средната стойност на поръчката с 5 долара и бъдат направени 1000 допълнителни покупки, нараснал приход е 5000 долара.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Коефициент на конверсия

Коефициентът на конверсия е процентът на потребителите, които извършват желано действие, като покупка или абонамент за бюлетин, от общия брой посетители.

Пример: Ако 100 от 1000 посетители направят покупка, коефициентът на конверсия е 10%.

5. P-стойност

P-стойността измерва вероятността наблюдаваната разлика между два варианта да се дължи на случайност. По-ниска p-стойност (обикновено под 0,05) показва, че наблюдаваната разлика е статистически значима.

Пример: Да предположим, че A/B тест сравнява две версии на целева страница. Версия A има коефициент на конверсия 5%, а Версия B – 7%. Ако p-стойността е 0,03, има 3% вероятност наблюдаваната разлика да се дължи на случайност, което показва значима разлика между двете версии.

 

confidence-interval-formula.jpg

 

6. Доверителен интервал

Доверителният интервал дава диапазон, в който се очаква да се намира истинският размер на ефекта, с определено ниво на доверие (обикновено 95%). Той помага да се оцени надеждността на резултатите от теста.

Пример: В същия A/B тест 95%-ният доверителен интервал за разликата в коефициентите на конверсия може да бъде [1%, 3%]. Това означава, че с 95% увереност можем да твърдим, че истинската разлика в коефициентите на конверсия е между 1% и 3%.

7. Едностранни и двустранни тестове

Едностранният тест оценява посоката на ефекта (напр. дали Версия B е по-добра от Версия A), докато двустранният тест оценява дали има каквато и да е разлика в която и да е посока.

Пример за едностранен тест: Проверява дали коефициентът на конверсия на Версия B е по-висок от този на Версия A.
Пример за двустранен тест: Проверява дали има каквато и да е разлика между коефициентите на конверсия на Версия A и Версия B, независимо от посоката.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-оценка

Z-оценката измерва на колко стандартни отклонения един елемент се намира от средната стойност. При A/B тестването тя се използва за определяне на значимостта на наблюдаваната разлика между два варианта. Често използвани нива на доверие и техните еквиваленти в z-оценка:

  • Доверителен интервал 95%
    • Двустранна z-оценка: 1,96
    • Едностранна z-оценка: 1,65
  • Доверителен интервал 99%
    • Двустранна z-оценка: 2,58
    • Едностранна z-оценка: 2,33
  • Доверителен интервал 90%
    • Двустранна z-оценка: 1,64
    • Едностранна z-оценка: 1,28

Пример: Ако z-оценката за разликата в коефициентите на конверсия между Версия A и Версия B е 2,5, това показва, че разликата е на 2,5 стандартни отклонения от средната стойност, което предполага статистически значима разлика.

9. Наблюдавана мощност

Наблюдаваната мощност е вероятността тестът правилно да отхвърли нулевата хипотеза, когато съществува истински ефект. По-високата наблюдавана мощност означава по-голяма вероятност за откриване на истинска разлика.

Пример: При A/B тест с наблюдавана мощност 0,8 (80%) има 80% шанс да бъде открита истинска разлика между вариантите, ако такава съществува.

 

bayesian-formula.png
Източник: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Байесово изчисление

Байесовото изчисление използва теоремата на Байес, за да актуализира оценката на вероятността за дадена хипотеза, когато се получат допълнителни доказателства. При A/B тестването то осигурява вероятностна рамка за вземане на решения въз основа на данните.

Пример: С байесови методи можете да определите вероятността един вариант да е по-добър от контролата при наблюдаваните данни, вместо да разчитате единствено на традиционните p-стойности.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Източник: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Честотна (фреквентистка) статистика

Честотната статистика е традиционен подход при проверката на хипотези, който се фокусира върху честотата или дела на данните. Тя разчита на фиксирани набори от данни и не включва предварителни знания или вероятностни разпределения.

Пример: При честотния подход към A/B тестването ще използвате p-стойности и доверителни интервали, за да определите значимостта на резултатите от теста, без да включвате предварителни вероятности.

Практически примери

Пример 1: A/B тест на имейл кампания

Компания иска да тества две теми на имейл, за да види коя води до по-висок процент на отваряне.

  • Тема A: 25% процент на отваряне
  • Тема B: 28% процент на отваряне
  • P-стойност: 0,02 (показва значима разлика)
  • Доверителен интервал: [2%, 5%] (95% увереност, че истинската разлика в процента на отваряне е между 2% и 5%)
  • Z-оценка: 2,33 (предполага статистически значима разлика)
  • Наблюдавана мощност: 0,85 (85% шанс за откриване на истинска разлика)
Пример 2: A/B тест на целева страница на уебсайт

Уебсайт за електронна търговия тества два дизайна на целева страница, за да определи кой води до повече покупки.

  • Дизайн A: 4% коефициент на конверсия
  • Дизайн B: 5% коефициент на конверсия
  • P-стойност: 0,045 (показва значима разлика)
  • Доверителен интервал: [0,5%, 1,5%] (95% увереност, че истинската разлика в коефициентите на конверсия е между 0,5% и 1,5%)
  • Z-оценка: 2,01 (предполага статистически значима разлика)
  • Наблюдавана мощност: 0,78 (78% шанс за откриване на истинска разлика)

A/B тестването е мощен инструмент за оптимизиране на дигиталните изживявания, а разбирането на ключовите му метрики и терминология е от решаващо значение за точното тълкуване. Switas знае как да провежда ефективни A/B тестове, като гарантира, че бизнесите могат да вземат решения, основани на данни, за да подобрят представянето си, и предоставя надеждни и приложими прозрения, които стимулират растежа и успеха.

Свързани статии

Всички статии →

Нека изградим следващия проект.

Свържете се с нас