Çağdaş Polat · · 4 мин оқу
A/B тестілеу - веб-сайттар мен қосымшаларды оңтайландыруда қолданылатын маңызды әдіс, ол бизнеске веб-беттің немесе қосымшаның екі нұсқасын салыстырып, қайсысының жақсы жұмыс істейтінін анықтауға мүмкіндік береді. Нәтижелерді дәл түсіндіру үшін A/B тестілеудегі негізгі метрикалар мен терминологияны түсіну өте маңызды. Бұл мақалада A/B тестілеудің маңызды метрикалары мен терминологиясын, соның ішінде p-мәні, сенімділік интервалы, бір жақты және екі жақты тесттер, z-балл, байқалған қуат, вариант, бақылау тобы, қосымша табыс, конверсия коэффициенті және Байес есептеуі ұғымдарын қарастырамыз.
A/B тестілеудің негізгі метрикалары мен терминологиясы
1. Вариант
Вариант - A/B тестте сынақтан өтетін нұсқалардың бірі. Әдетте қолданыстағы нұсқа бақылау (control), ал жаңа нұсқа вариант деп аталады.
Мысал: Лендинг бетінің A/B тестінде А нұсқасы (ағымдағы бет) - бақылау, ал В нұсқасы (жаңа дизайн) - вариант.
2. Бақылау тобы
Бақылау тобы - A/B тестте түпнұсқаны (бақылауды) көретін пайдаланушылар тобы. Ол вариант нәтижелілігін салыстыру үшін бастапқы деңгей қызметін атқарады.
Мысал: Егер веб-сайтқа 10 000 пайдаланушы кірсе, 5 000-ы бақылау бетін (бақылау тобы), ал 5 000-ы вариант бетін көруі мүмкін.

3. Қосымша табыс
Қосымша табыс - A/B тест кезінде енгізілген өзгерістер нәтижесінде түскен қосымша табыс. Ол тесттің қаржылық әсерін бағалауға көмектеседі.
Мысал: Егер вариант беті орташа тапсырыс құнын 5 долларға арттырып, 1 000 қосымша сатып алу жасалса, қосымша табыс 5 000 доллар болады.

4. Конверсия коэффициенті
Конверсия коэффициенті - барлық келушілер санынан сатып алу немесе жаңалықтарға жазылу сияқты қалаған әрекетті орындаған пайдаланушылардың пайызы.
Мысал: Егер 1 000 келушінің 100-і сатып алу жасаса, конверсия коэффициенті 10% болады.
5. P-мәні
P-мәні екі нұсқа арасындағы байқалған айырмашылықтың кездейсоқ орын алу ықтималдығын өлшейді. Төмен p-мәні (әдетте 0,05-тен аз) байқалған айырмашылықтың статистикалық тұрғыдан маңызды екенін көрсетеді.
Мысал: A/B тест лендинг бетінің екі нұсқасын салыстырады делік. А нұсқасының конверсия коэффициенті 5%, ал В нұсқасының конверсия коэффициенті 7%. Егер p-мәні 0,03 болса, байқалған айырмашылықтың кездейсоқ орын алу ықтималдығы 3% болады, бұл екі нұсқа арасында маңызды айырмашылық бар екенін көрсетеді.

6. Сенімділік интервалы
Сенімділік интервалы нақты әсер өлшемінің белгілі бір сенімділік деңгейінде (әдетте 95%) жату күтілетін диапазонын береді. Ол тест нәтижелерінің сенімділігін бағалауға көмектеседі.
Мысал: Дәл осы A/B тестте конверсия коэффициенттерінің айырмасы үшін 95% сенімділік интервалы [1%, 3%] болуы мүмкін. Бұл конверсия коэффициенттерінің нақты айырмасы 1% пен 3% аралығында жатады деп 95% сенімділікпен айта алатынымызды білдіреді.
7. Бір жақты және екі жақты тесттер
Бір жақты тест әсердің бағытын бағалайды (мысалы, В нұсқасы А нұсқасынан жақсы ма), ал екі жақты тест кез келген бағытта айырмашылық бар-жоғын бағалайды.
Бір жақты тест мысалы: В нұсқасының конверсия коэффициенті А нұсқасынан жоғары ма, соны тексереді.
Екі жақты тест мысалы: А және В нұсқаларының конверсия коэффициенттері арасында бағытына қарамастан кез келген айырмашылық бар-жоғын тексереді.

8. Z-балл
Z-балл элементтің орташа мәннен қанша стандартты ауытқуға қашық екенін өлшейді. A/B тестілеуде ол екі нұсқа арасындағы байқалған айырмашылықтың маңыздылығын анықтау үшін қолданылады. Жиі қолданылатын сенімділік деңгейлері және олардың z-балл баламалары:
- 95% сенімділік интервалы
- Екі жақты z-балл: 1,96
- Бір жақты z-балл: 1,65
- 99% сенімділік интервалы
- Екі жақты z-балл: 2,58
- Бір жақты z-балл: 2,33
- 90% сенімділік интервалы
- Екі жақты z-балл: 1,64
- Бір жақты z-балл: 1,28
Мысал: Егер А және В нұсқалары арасындағы конверсия коэффициенттерінің айырмасы үшін z-балл 2,5 болса, бұл айырмашылықтың орташа мәннен 2,5 стандартты ауытқуға қашық екенін көрсетеді, яғни статистикалық тұрғыдан маңызды айырмашылықты білдіреді.
9. Байқалған қуат
Байқалған қуат - нақты әсер болған кезде тесттің нөлдік гипотезаны дұрыс жоққа шығару ықтималдығы. Байқалған қуаттың жоғары болуы нақты айырмашылықты анықтау ықтималдығының жоғары екенін білдіреді.
Мысал: Байқалған қуаты 0,8 (80%) болатын A/B тестте нұсқалар арасында нақты айырмашылық болса, оны анықтау ықтималдығы 80% болады.

10. Байес есептеуі
Байес есептеуі қосымша дәлелдер алынған сайын гипотеза ықтималдығының бағасын жаңарту үшін Байес теоремасын қолдануды қамтиды. A/B тестілеуде ол деректерге негізделген шешім қабылдауға арналған ықтималдық шеңберін ұсынады.
Мысал: Байес әдістерін қолдану арқылы тек дәстүрлі p-мәндеріне сүйенудің орнына, байқалған деректер негізінде бір вариантың бақылаудан жақсы болу ықтималдығын анықтауға болады.

11. Жиіліктік (Frequentist) статистика
Жиіліктік статистика - гипотезаларды тексерудегі дәстүрлі тәсіл, ол деректердің жиілігіне немесе үлесіне назар аударады. Ол тұрақты деректер жиынтығына сүйенеді және алдын ала білімді немесе ықтималдық үлестірімдерін қоспайды.
Мысал: A/B тестілеудің жиіліктік тәсілінде алдын ала ықтималдықтарды қоспай, тест нәтижелерінің маңыздылығын анықтау үшін p-мәндері мен сенімділік интервалдарын қолданасыз.
Практикалық мысалдар
1-мысал: электрондық пошта кампаниясының A/B тесті
Компания қай тақырып жолының ашылу көрсеткішін жоғарылататынын көру үшін электрондық поштаның екі тақырып жолын тестілегісі келеді.
- А тақырып жолы: ашылу көрсеткіші 25%
- В тақырып жолы: ашылу көрсеткіші 28%
- P-мәні: 0,02 (маңызды айырмашылықты көрсетеді)
- Сенімділік интервалы: [2%, 5%] (ашылу көрсеткіштерінің нақты айырмасы 2% пен 5% аралығында деген 95% сенімділік)
- Z-балл: 2,33 (статистикалық тұрғыдан маңызды айырмашылықты білдіреді)
- Байқалған қуат: 0,85 (нақты айырмашылықты анықтау ықтималдығы 85%)
2-мысал: веб-сайт лендинг бетінің A/B тесті
Электрондық коммерция веб-сайты қай лендинг дизайнының көбірек сатып алуға әкелетінін анықтау үшін екі дизайнды тестілейді.
- А дизайны: конверсия коэффициенті 4%
- В дизайны: конверсия коэффициенті 5%
- P-мәні: 0,045 (маңызды айырмашылықты көрсетеді)
- Сенімділік интервалы: [0,5%, 1,5%] (конверсия коэффициенттерінің нақты айырмасы 0,5% пен 1,5% аралығында деген 95% сенімділік)
- Z-балл: 2,01 (статистикалық тұрғыдан маңызды айырмашылықты білдіреді)
- Байқалған қуат: 0,78 (нақты айырмашылықты анықтау ықтималдығы 78%)
A/B тестілеу - цифрлық тәжірибені оңтайландырудың қуатты құралы, ал оның негізгі метрикалары мен терминологиясын түсіну нәтижелерді дәл түсіндіру үшін өте маңызды. Switas тиімді A/B тесттерін қалай жүргізуді біледі, бұл бизнеске нәтижелілігін арттыру үшін деректерге негізделген шешімдер қабылдауға мүмкіндік береді, сондай-ақ өсу мен табысқа жеткізетін сенімді әрі іске асыруға болатын инсайттар ұсынады.




