SwitasБізбен байланысу

A/B тестілеу метрикалары мен терминологиясын түсіну

Çağdaş Polat · · 4 мин оқу

A/B тестілеу - веб-сайттар мен қосымшаларды оңтайландыруда қолданылатын маңызды әдіс, ол бизнеске веб-беттің немесе қосымшаның екі нұсқасын салыстырып, қайсысының жақсы жұмыс істейтінін анықтауға мүмкіндік береді. Нәтижелерді дәл түсіндіру үшін A/B тестілеудегі негізгі метрикалар мен терминологияны түсіну өте маңызды. Бұл мақалада A/B тестілеудің маңызды метрикалары мен терминологиясын, соның ішінде p-мәні, сенімділік интервалы, бір жақты және екі жақты тесттер, z-балл, байқалған қуат, вариант, бақылау тобы, қосымша табыс, конверсия коэффициенті және Байес есептеуі ұғымдарын қарастырамыз.

A/B тестілеудің негізгі метрикалары мен терминологиясы

1. Вариант

Вариант - A/B тестте сынақтан өтетін нұсқалардың бірі. Әдетте қолданыстағы нұсқа бақылау (control), ал жаңа нұсқа вариант деп аталады.

Мысал: Лендинг бетінің A/B тестінде А нұсқасы (ағымдағы бет) - бақылау, ал В нұсқасы (жаңа дизайн) - вариант.

2. Бақылау тобы

Бақылау тобы - A/B тестте түпнұсқаны (бақылауды) көретін пайдаланушылар тобы. Ол вариант нәтижелілігін салыстыру үшін бастапқы деңгей қызметін атқарады.

Мысал: Егер веб-сайтқа 10 000 пайдаланушы кірсе, 5 000-ы бақылау бетін (бақылау тобы), ал 5 000-ы вариант бетін көруі мүмкін.

 

Incremental-revenue.png
Дереккөз: https://getrecast.com/incrementality/

 

3. Қосымша табыс

Қосымша табыс - A/B тест кезінде енгізілген өзгерістер нәтижесінде түскен қосымша табыс. Ол тесттің қаржылық әсерін бағалауға көмектеседі.

Мысал: Егер вариант беті орташа тапсырыс құнын 5 долларға арттырып, 1 000 қосымша сатып алу жасалса, қосымша табыс 5 000 доллар болады.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Конверсия коэффициенті

Конверсия коэффициенті - барлық келушілер санынан сатып алу немесе жаңалықтарға жазылу сияқты қалаған әрекетті орындаған пайдаланушылардың пайызы.

Мысал: Егер 1 000 келушінің 100-і сатып алу жасаса, конверсия коэффициенті 10% болады.

5. P-мәні

P-мәні екі нұсқа арасындағы байқалған айырмашылықтың кездейсоқ орын алу ықтималдығын өлшейді. Төмен p-мәні (әдетте 0,05-тен аз) байқалған айырмашылықтың статистикалық тұрғыдан маңызды екенін көрсетеді.

Мысал: A/B тест лендинг бетінің екі нұсқасын салыстырады делік. А нұсқасының конверсия коэффициенті 5%, ал В нұсқасының конверсия коэффициенті 7%. Егер p-мәні 0,03 болса, байқалған айырмашылықтың кездейсоқ орын алу ықтималдығы 3% болады, бұл екі нұсқа арасында маңызды айырмашылық бар екенін көрсетеді.

 

confidence-interval-formula.jpg

 

6. Сенімділік интервалы

Сенімділік интервалы нақты әсер өлшемінің белгілі бір сенімділік деңгейінде (әдетте 95%) жату күтілетін диапазонын береді. Ол тест нәтижелерінің сенімділігін бағалауға көмектеседі.

Мысал: Дәл осы A/B тестте конверсия коэффициенттерінің айырмасы үшін 95% сенімділік интервалы [1%, 3%] болуы мүмкін. Бұл конверсия коэффициенттерінің нақты айырмасы 1% пен 3% аралығында жатады деп 95% сенімділікпен айта алатынымызды білдіреді.

7. Бір жақты және екі жақты тесттер

Бір жақты тест әсердің бағытын бағалайды (мысалы, В нұсқасы А нұсқасынан жақсы ма), ал екі жақты тест кез келген бағытта айырмашылық бар-жоғын бағалайды.

Бір жақты тест мысалы: В нұсқасының конверсия коэффициенті А нұсқасынан жоғары ма, соны тексереді.
Екі жақты тест мысалы: А және В нұсқаларының конверсия коэффициенттері арасында бағытына қарамастан кез келген айырмашылық бар-жоғын тексереді.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-балл

Z-балл элементтің орташа мәннен қанша стандартты ауытқуға қашық екенін өлшейді. A/B тестілеуде ол екі нұсқа арасындағы байқалған айырмашылықтың маңыздылығын анықтау үшін қолданылады. Жиі қолданылатын сенімділік деңгейлері және олардың z-балл баламалары:

  • 95% сенімділік интервалы
    • Екі жақты z-балл: 1,96
    • Бір жақты z-балл: 1,65
  • 99% сенімділік интервалы
    • Екі жақты z-балл: 2,58
    • Бір жақты z-балл: 2,33
  • 90% сенімділік интервалы
    • Екі жақты z-балл: 1,64
    • Бір жақты z-балл: 1,28

Мысал: Егер А және В нұсқалары арасындағы конверсия коэффициенттерінің айырмасы үшін z-балл 2,5 болса, бұл айырмашылықтың орташа мәннен 2,5 стандартты ауытқуға қашық екенін көрсетеді, яғни статистикалық тұрғыдан маңызды айырмашылықты білдіреді.

9. Байқалған қуат

Байқалған қуат - нақты әсер болған кезде тесттің нөлдік гипотезаны дұрыс жоққа шығару ықтималдығы. Байқалған қуаттың жоғары болуы нақты айырмашылықты анықтау ықтималдығының жоғары екенін білдіреді.

Мысал: Байқалған қуаты 0,8 (80%) болатын A/B тестте нұсқалар арасында нақты айырмашылық болса, оны анықтау ықтималдығы 80% болады.

 

bayesian-formula.png
Дереккөз: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Байес есептеуі

Байес есептеуі қосымша дәлелдер алынған сайын гипотеза ықтималдығының бағасын жаңарту үшін Байес теоремасын қолдануды қамтиды. A/B тестілеуде ол деректерге негізделген шешім қабылдауға арналған ықтималдық шеңберін ұсынады.

Мысал: Байес әдістерін қолдану арқылы тек дәстүрлі p-мәндеріне сүйенудің орнына, байқалған деректер негізінде бір вариантың бақылаудан жақсы болу ықтималдығын анықтауға болады.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Дереккөз: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Жиіліктік (Frequentist) статистика

Жиіліктік статистика - гипотезаларды тексерудегі дәстүрлі тәсіл, ол деректердің жиілігіне немесе үлесіне назар аударады. Ол тұрақты деректер жиынтығына сүйенеді және алдын ала білімді немесе ықтималдық үлестірімдерін қоспайды.

Мысал: A/B тестілеудің жиіліктік тәсілінде алдын ала ықтималдықтарды қоспай, тест нәтижелерінің маңыздылығын анықтау үшін p-мәндері мен сенімділік интервалдарын қолданасыз.

Практикалық мысалдар

1-мысал: электрондық пошта кампаниясының A/B тесті

Компания қай тақырып жолының ашылу көрсеткішін жоғарылататынын көру үшін электрондық поштаның екі тақырып жолын тестілегісі келеді.

  • А тақырып жолы: ашылу көрсеткіші 25%
  • В тақырып жолы: ашылу көрсеткіші 28%
  • P-мәні: 0,02 (маңызды айырмашылықты көрсетеді)
  • Сенімділік интервалы: [2%, 5%] (ашылу көрсеткіштерінің нақты айырмасы 2% пен 5% аралығында деген 95% сенімділік)
  • Z-балл: 2,33 (статистикалық тұрғыдан маңызды айырмашылықты білдіреді)
  • Байқалған қуат: 0,85 (нақты айырмашылықты анықтау ықтималдығы 85%)
2-мысал: веб-сайт лендинг бетінің A/B тесті

Электрондық коммерция веб-сайты қай лендинг дизайнының көбірек сатып алуға әкелетінін анықтау үшін екі дизайнды тестілейді.

  • А дизайны: конверсия коэффициенті 4%
  • В дизайны: конверсия коэффициенті 5%
  • P-мәні: 0,045 (маңызды айырмашылықты көрсетеді)
  • Сенімділік интервалы: [0,5%, 1,5%] (конверсия коэффициенттерінің нақты айырмасы 0,5% пен 1,5% аралығында деген 95% сенімділік)
  • Z-балл: 2,01 (статистикалық тұрғыдан маңызды айырмашылықты білдіреді)
  • Байқалған қуат: 0,78 (нақты айырмашылықты анықтау ықтималдығы 78%)

A/B тестілеу - цифрлық тәжірибені оңтайландырудың қуатты құралы, ал оның негізгі метрикалары мен терминологиясын түсіну нәтижелерді дәл түсіндіру үшін өте маңызды. Switas тиімді A/B тесттерін қалай жүргізуді біледі, бұл бизнеске нәтижелілігін арттыру үшін деректерге негізделген шешімдер қабылдауға мүмкіндік береді, сондай-ақ өсу мен табысқа жеткізетін сенімді әрі іске асыруға болатын инсайттар ұсынады.

Ұқсас мақалалар

Барлық мақалалар →

Келесі жобаны келесісін құрайық.

Бізбен байланысу