Çağdaş Polat · · 4 мин четене
A/B тестването е ключов метод, използван при оптимизирането на уебсайтове и приложения, който позволява на бизнесите да сравняват две версии на уеб страница или приложение, за да определят коя се представя по-добре. Разбирането на ключовите метрики и терминология, свързани с A/B тестването, е от съществено значение за точното тълкуване на резултатите. В тази статия ще разгледаме важни метрики и термини при A/B тестването, включително p-стойност, доверителен интервал, едностранни и двустранни тестове, z-оценка, наблюдавана мощност, вариант, контролна група, нараснал приход, коефициент на конверсия и байесово изчисление.
Ключови метрики и терминология при A/B тестването
1. Вариант
Вариантът е една от версиите, които се тестват при A/B тест. Обикновено съществуващата версия се нарича контрола, а новата версия е вариантът.
Пример: При A/B тест на целева страница Версия A (текущата страница) е контролата, а Версия B (новият дизайн) е вариантът.
2. Контролна група
Контролната група е групата потребители, на които се показва оригиналната версия (контрола) при A/B тест. Тя служи като базова линия за сравнение на представянето на варианта.
Пример: Ако 10 000 потребители посетят даден уебсайт, 5000 може да видят контролната страница (контролна група), а 5000 – страницата с варианта.

3. Нараснал приход (incremental revenue)
Нараснал приход е допълнителният приход, генериран в резултат на промените, направени по време на A/B тест. Той помага да се оцени финансовото въздействие на теста.
Пример: Ако страницата с варианта увеличи средната стойност на поръчката с 5 долара и бъдат направени 1000 допълнителни покупки, нараснал приход е 5000 долара.

4. Коефициент на конверсия
Коефициентът на конверсия е процентът на потребителите, които извършват желано действие, като покупка или абонамент за бюлетин, от общия брой посетители.
Пример: Ако 100 от 1000 посетители направят покупка, коефициентът на конверсия е 10%.
5. P-стойност
P-стойността измерва вероятността наблюдаваната разлика между два варианта да се дължи на случайност. По-ниска p-стойност (обикновено под 0,05) показва, че наблюдаваната разлика е статистически значима.
Пример: Да предположим, че A/B тест сравнява две версии на целева страница. Версия A има коефициент на конверсия 5%, а Версия B – 7%. Ако p-стойността е 0,03, има 3% вероятност наблюдаваната разлика да се дължи на случайност, което показва значима разлика между двете версии.

6. Доверителен интервал
Доверителният интервал дава диапазон, в който се очаква да се намира истинският размер на ефекта, с определено ниво на доверие (обикновено 95%). Той помага да се оцени надеждността на резултатите от теста.
Пример: В същия A/B тест 95%-ният доверителен интервал за разликата в коефициентите на конверсия може да бъде [1%, 3%]. Това означава, че с 95% увереност можем да твърдим, че истинската разлика в коефициентите на конверсия е между 1% и 3%.
7. Едностранни и двустранни тестове
Едностранният тест оценява посоката на ефекта (напр. дали Версия B е по-добра от Версия A), докато двустранният тест оценява дали има каквато и да е разлика в която и да е посока.
Пример за едностранен тест: Проверява дали коефициентът на конверсия на Версия B е по-висок от този на Версия A.
Пример за двустранен тест: Проверява дали има каквато и да е разлика между коефициентите на конверсия на Версия A и Версия B, независимо от посоката.

8. Z-оценка
Z-оценката измерва на колко стандартни отклонения един елемент се намира от средната стойност. При A/B тестването тя се използва за определяне на значимостта на наблюдаваната разлика между два варианта. Често използвани нива на доверие и техните еквиваленти в z-оценка:
- Доверителен интервал 95%
- Двустранна z-оценка: 1,96
- Едностранна z-оценка: 1,65
- Доверителен интервал 99%
- Двустранна z-оценка: 2,58
- Едностранна z-оценка: 2,33
- Доверителен интервал 90%
- Двустранна z-оценка: 1,64
- Едностранна z-оценка: 1,28
Пример: Ако z-оценката за разликата в коефициентите на конверсия между Версия A и Версия B е 2,5, това показва, че разликата е на 2,5 стандартни отклонения от средната стойност, което предполага статистически значима разлика.
9. Наблюдавана мощност
Наблюдаваната мощност е вероятността тестът правилно да отхвърли нулевата хипотеза, когато съществува истински ефект. По-високата наблюдавана мощност означава по-голяма вероятност за откриване на истинска разлика.
Пример: При A/B тест с наблюдавана мощност 0,8 (80%) има 80% шанс да бъде открита истинска разлика между вариантите, ако такава съществува.

10. Байесово изчисление
Байесовото изчисление използва теоремата на Байес, за да актуализира оценката на вероятността за дадена хипотеза, когато се получат допълнителни доказателства. При A/B тестването то осигурява вероятностна рамка за вземане на решения въз основа на данните.
Пример: С байесови методи можете да определите вероятността един вариант да е по-добър от контролата при наблюдаваните данни, вместо да разчитате единствено на традиционните p-стойности.

11. Честотна (фреквентистка) статистика
Честотната статистика е традиционен подход при проверката на хипотези, който се фокусира върху честотата или дела на данните. Тя разчита на фиксирани набори от данни и не включва предварителни знания или вероятностни разпределения.
Пример: При честотния подход към A/B тестването ще използвате p-стойности и доверителни интервали, за да определите значимостта на резултатите от теста, без да включвате предварителни вероятности.
Практически примери
Пример 1: A/B тест на имейл кампания
Компания иска да тества две теми на имейл, за да види коя води до по-висок процент на отваряне.
- Тема A: 25% процент на отваряне
- Тема B: 28% процент на отваряне
- P-стойност: 0,02 (показва значима разлика)
- Доверителен интервал: [2%, 5%] (95% увереност, че истинската разлика в процента на отваряне е между 2% и 5%)
- Z-оценка: 2,33 (предполага статистически значима разлика)
- Наблюдавана мощност: 0,85 (85% шанс за откриване на истинска разлика)
Пример 2: A/B тест на целева страница на уебсайт
Уебсайт за електронна търговия тества два дизайна на целева страница, за да определи кой води до повече покупки.
- Дизайн A: 4% коефициент на конверсия
- Дизайн B: 5% коефициент на конверсия
- P-стойност: 0,045 (показва значима разлика)
- Доверителен интервал: [0,5%, 1,5%] (95% увереност, че истинската разлика в коефициентите на конверсия е между 0,5% и 1,5%)
- Z-оценка: 2,01 (предполага статистически значима разлика)
- Наблюдавана мощност: 0,78 (78% шанс за откриване на истинска разлика)
A/B тестването е мощен инструмент за оптимизиране на дигиталните изживявания, а разбирането на ключовите му метрики и терминология е от решаващо значение за точното тълкуване. Switas знае как да провежда ефективни A/B тестове, като гарантира, че бизнесите могат да вземат решения, основани на данни, за да подобрят представянето си, и предоставя надеждни и приложими прозрения, които стимулират растежа и успеха.




