Microsoft эксперименттік платформасында сыналған идеялардың тек үштен бір бөлігі ғана жақсартуға арналған метриканы жақсартты, ал Netflix өзінің хит-параметрін оннан бірге жақындатты (Кохави және Лонгботам, 2015 ж.). Егер сіздің артта қалған тізіміңіздің көпшілігі қате болса, оны тексерген ретіңіз сіз алатын кірістің көп бөлігін құрайды. Бұл нұсқаулық трафиктен гөрі тест идеялары көп CRO лидтері мен өнім иелеріне арналған. Біз ICE, PIE, PXL және RICE арқылы бірдей үш идеяны бағалаймыз, төрт ранг ретінің неліктен сәйкес келмейтінін көрсетеміз, олардың арасынан таңдау ережесін береміз және төртеуі де жоқ қақпаны қосамыз: тест тоқсан аяқталғанға дейін маңыздылыққа жете ала ма.
Әрбір құрылым шын мәнінде неге ставка жасайды
Төртеуінің бәрі сан шығарады, және ешқайсысы бірдей нәрсені өлшемейді. Әрқайсысы балл жүйесі емес, тестті өткізуге тұрарлық ететін нәрсе туралы қысылған пікір.
| негіздемелік | Кірістер | формула | тегі | Ол кодтайтын ставка |
|---|---|---|---|---|
| ICE | Әсер, сенімділік, жеңілдік, әрқайсысы 1-ден 10-ға дейін | I × C × E | Шон Эллис, өсу тәжірибесі | Тәжірибелі шешім - ең арзан сигнал |
| PIE | Әлеует, Маңыздылық, Жеңілдік, әрқайсысы 1-ден 10-ға дейін | Үшеуінің орташа мәні | Крис Говард, WiderFunnel (қазір Айырбастау) | Нені өзгерткеніңізден гөрі қай жерде сынағаныңыз маңыздырақ |
| PXL | ~9 негізінен екілік сұрақтар, кейбіреулері 0 немесе 2 салмақталған | Белгіленген максимумнан тыс қосынды | Peep Laja, CXL, 27 қыркүйек 2016 ж. | Идеяның артындағы дәлелдер оған деген сенімділіктен асып түседі |
| КҮРІШ | Қамту (кезең сайынғы адамдар), Әсер (0.25-тен 3-ке дейін), Сенiмдiлiк (50/80/100%), Күш-жігер (адам-ай) | (Оң × Бірінші × С) / Шығыс | Шон Макбрайд, Домофон, 2018 жылғы 5 қаңтар | Жұмыс бірлігіне шаққандағы бағаның әсері |
Біреуін қабылдамас бұрын екі түзету. PXL басқа CRO фреймворктарына шабуыл ретінде жазылған: Лаяның дәлелі бойынша, егер сіз әлеуетті немесе сенімділікті алдын ала сенімді түрде болжай алсаңыз, сізге тест қажет емес. Ал PIE-дің канондық беті критерийлерді анықтайды, бірақ шкала мен формула жарияламайды, сондықтан әр команда өзінің жеке спецификациясын ойлап табады. widerfunnel.com домені енді conversion.com сайтына қайта бағытталады, сондықтан CRO декаларының көпшілігі сілтеме жасайтын фреймворктің сақталған негізгі сипаттамасы жоқ.
Сол артта қалушылық, төрт ұпай
Орташа көлемді бөлшек саудагерде үш үміткерді сынау. Сандар клиент деректері емес, иллюстрациялық болып табылады.
- A. Өнім бетінің баға блогындағы бөліп төлеу (taksit) талдауы. Айына 180 000 PDP көрермені, аналитика және тұтынушы пікірлері арқылы қолдау көрсетіледі.
- B. Төлем кезінде мәжбүрлі тіркелгі жасауды алып тастаңыз. Айына 12 000 төлем басталады, оны пайдалану ыңғайлылығы сеанстары, жазбалар, аналитика және қолдау байланыстары қолдайды.
- C. Басты бет кейіпкерінің тақырыбын қайта жазыңыз. Айына 220 000 басты бет сессиясы, ешқандай қосымша зерттеусіз, семинарда ұсынылды.
| сынақ | КҮРІШ | ICE | PIE | PXL (12-ден) |
|---|---|---|---|---|
| A: бөліп төлеудің егжей-тегжейлі сипаттамасы | 144,000 (1-ші) | 55 000 (2-ші) | 55 000 (2-ші) | 10 (1-ші) |
| B: мәжбүрлі есеп жоқ | 18,000 (3-ші) | 405 (1-ші) | 6.3 (3-ші) | 55 000 (2-ші) |
| C: батыр тақырыбы | 55 000 (2-ші) | 144 (3-ші) | 7.3 (1-ші) | 6 (3-ші) |
Әрбір тест кем дегенде бір фреймворк бойынша жеңіске жетеді. Келіспеушілік фреймворктердің өз жұмыстарын атқаруында:
- RICE бірінші орынға қояды себебі Reach - бұл шикі қызметкерлер саны. Ол кез келген қалыпты воронкадағы кассалық және есептік жұмысты көміп тастайды.
- ICE B-ны бірінші орынға қояды себебі аға маман есептік жазбаны мәжбүрлеп жасау үшін Impact 9, Confidence 9 және ICE бағаларын береді, бұл пікірді пікір бойынша көбейтеді. Бағалаушыны өзгертіңіз, жол картасын өзгертіңіз.
- PIE C-ны бірінші орынға қояды себебі басты бет ең құнды трафикке ие және көшірмені жеткізу оңай емес. PIE таңдау үшін жасалған беттер; рейтингке қою сұралды өзгерістер, ол маңызды үлгілерге арзан өзгертулер енгізуді марапаттайды.
- PXL C-ны соңғы орынға қояды себебі C төрт дәлелді сұрақтың барлығында нөлдік балл алады. Бұл бағалаушының сенімділік туралы шыншылдығына сенудің орнына, болжамды құрылымдық тұрғыдан жазалайтын жалғыз негіз.
Қайсысын қолдану керек: байланыстыру шектеуіңіз бойынша таңдаңыз
| Байланыстыру шектеуі | пайдалану | себебі |
|---|---|---|
| Зерттеу нәтижелері әлі жоқ, алғашқы он сынақ | ICE, жазбаша якорьлары бар | Тек бағалауға негізделген. Шығарылымды рейтинг емес, кезек ретінде қарастырыңыз. |
| Команда пікірлерді тексеруді жалғастыруда және жеңіліске ұшырауда | PXL | Екілік дәлелдер сұрақтарын көбейту қиын. |
| Инженерлік қуат, көлік қозғалысы емес | КҮРІШ | Бөлгіші бар жалғыз, сондықтан өткізу қабілетін оңтайландыратын жалғыз. |
| Қай бетте немесе үлгіде жұмыс істеу керектігін таңдау | PIE | Сол сұраққа арналып жасалған. |
| қозғалыс | Жалғыз емес | Төртеуінің де сынақтың аяқтала алатынына күмәні бар. Төмендегі қақпаны қосыңыз. |
Қақпа төртеуінің де жоқ: бұл сынақ аяқтала ала ма?
Қол жеткізу анықталу мүмкіндігі емес. 95% маңыздылықта және 80% қуатта екі жақты тест үшін қалыпты жуықтауды пайдаланып, баға қоймас бұрын орындылығын тексеріңіз:
n per variant ≈ 15.7 × p × (1 - p) / d²
қайда p сіз жылжытып жатқан метриканың базалық жылдамдығы және d - сіз анықтағыңыз келетін абсолютті көтеру. Жоғарыдағы артта қалушылыққа қолданылған:
| сынақ | Метрикалық және базалық | MDE | Әр нұсқа үшін | Бір апта |
|---|---|---|---|---|
| A | Сатып алуға арналған PDP көрермені, 2.0% | 5% салыстырмалы (0.1 пайыздық көрсеткіш) | ~ 307,700 | ~ 14 |
| A | Сатып алуға арналған PDP көрермені, 2.0% | 10% салыстырмалы (0.2 пайыздық көрсеткіш) | ~ 76,900 | ~4 |
| B | Сатып алуды бастағаннан бастап төлем, 55% | 5% салыстырмалы (2.75 пайыздық көрсеткіш) | ~ 5,140 | ~4 |
Бірінші орын алған RICE тесті көптеген командалар болжаған сезімталдық бойынша тоқсан бойы оқылмайды, ал RICE тесті бір айда соңғы орын алады. A 2% базада, ал B 55% базада орналасқан, ал үлгі көлемі мынаған байланысты болады p(1-p)/d², бетті қанша адам көргеніне байланысты емес. A сонымен қатар сіз әрекет етуге тұрарлық ең аз көтеру коэффициентінің 10%-ын жариялаған сәтте мүмкін болады, бұл сіздің минималды анықталатын әсеріңізді статистикалық мәліметтерге қарағанда басымдық туралы шешімге айналдырады. Оны бағалаумен бір кездесуде шешіңіз және барлығы үшін бір калькуляторды таңдаңыз, себебі әртүрлі дисперсиялық жуықтаулар дәл сәйкес келмейді: Эван Миллердің және Switas A/B тест калькуляторы екеуі де жақсы.
Мүмкіндік шелектері
- Екі апта немесе одан аз. Жасыл. Ұпай жинап, жүгіріңіз.
- Екі-төрт апта. Янтарь. Оны аптасына кемінде екі толық циклды қамти отырып, жалғыз іске қосыңыз.
- Төрт-сегіз апта. Стандартты A/B сынағы үшін қызыл түс. MDE деңгейін көтеріңіз, жоғары базалық метрикаға ауысыңыз немесе алдын ала тіркелген тоқтату ережесі бар тізбекті дизайнды пайдаланыңыз.
- Сегіз аптадан астам. Оны A/B сынақтан өткізбеңіз. Қоршау көрсеткіштерін пайдаланып шешім қабылдаңыз немесе сапалы зерттеу жүргізіңіз.
Бұл қақпа ағылшын тіліндегі CRO әдебиетінде айтылғаннан гөрі маңыздырақ. Түркияның электрондық коммерция көлемі 2025 жылы шамамен 634 000 бизнес арқылы 4.567 триллион лираға жетті (Сауда министрлігі, 2026 жылғы 12 мамыр), жылына орта есеппен бір бизнес үшін шамамен 7.2 миллион лираны құрайды, ал бөлу бірнеше нарыққа бағытталған, сондықтан әдеттегі саудагер одан әлдеқайда төмен тұрады. Айына бірнеше жүз тапсырыс орындайтын сайт кез келген пайдалы MDE-де кассалық тестілеуді қамтамасыз ете алмайды. Бұл сайттар үшін басымдықты анықтаудың шынайы нәтижесі - сынақ жол картасы емес, зерттеу және өлшеу жол картасы.
Ұпайлардың мағынасы зор болуы керек
- Ұпай жинамас бұрын, зәкірлерді жазыңыз. RICE көрсеткішіндегі 3-ші әсер сіздің валютаңызда бір нәрсені білдіруі керек, мысалы, "сатып алу конверсиясын салыстырмалы түрде 5%-дан астамға жылжытады". Бекіткіштерсіз ұпайлар бір сессия ішінде өзгереді.
- Дәлел деңгейі бойынша сенімділік шегі. Зерттеу шектеулері 50%, аналитика тек 80%, аналитика және сапалық көрсеткіштер, сондай-ақ 100% бұрынғы жеңіс. Бұл PXL саласын RICE-ке импорттайды.
- Ұпайды соқыр етіп есептеңіз, ең кең спредтерді алдымен салыстырыңыз. Үш адам өз бетінше бағалайды, содан кейін тек үш немесе одан да көп ұпайға ерекшеленетін элементтерді талқылайды, отыз элемент үшін шамамен қырық минут уақыт кетеді.
- Болжамды ұпайды нақты нәтижемен салыстырыңыз. Он рет оқығаннан кейін, әсер ету ұпайларының байқалған әсерлермен өзара байланысты екенін тексеріңіз. Егер сәйкес келмесе, шкала декорация болып табылады және сіз PXL-ге ауысуыңыз керек.
- Фреймворктар бойынша ұпайларды ешқашан салыстырмаңыз. RICE бойынша 144 000 ұпай мен PXL бойынша 10 ұпайдың арасында ешқандай байланыс жоқ.
Бұл қай жерде бұзылады
Бұл құрылымдар идеяларды рейтингтейді, бірақ оларды жақсартпайды. PXL бойынша 12-ден 11 балл алған әлсіз гипотеза әлі де әлсіз, және ешбір модель сізге нақты мәселенің сіз тексеріп жатқан беттің жоғарғы жағында екенін айтпайды. Нақты шектеулер:
- Күш-жігер - ең сенімді емес кіріс және ешкім оны қайта бағаламайды. RICE бөлгіші - екі есе қате болуы мүмкін сан, және бұл қате әсер ұпайынан гөрі ранг ретін көбірек жылжытады.
- Төрт модельдің ешқайсысы өзара әрекеттеспейді. Бір воронкада бірден үш сынақ жүргізіңіз, және ұпайлар сізге кедергі туралы ештеңе айтпады.
- Маусымдық бизнес үшін ай сайынғы үзілістерге адамдармен байланысыңыз. Саяхат және білім беру толық маусымдық цикл бойынша немесе өткен жылдың осы кезеңімен салыстырғанда Reach көрсеткішіне жетуі керек.
- Тәуелділіктер көрінбейді. Тесттік тапсырмалар тізімі мен өнімнің жол картасы бойынша ортақ балл қай тарапта көбірек трафик болса, соны көрсетеді.
[ҚАЖЕТТІ ІШКІ ДЕРЕКТЕР: Саланың табыс көрсеткіштерін бірінші тарап көрсеткіштерімен алмастыру үшін соңғы 24 айдағы Switas жеңіс көрсеткіші баған бойынша.]
[ҚАЖЕТТІ ІШКІ ДЕРЕКТЕР: иллюстрациялық мысалды ауыстыру үшін екі құрылым бойынша бағаланған анонимді клиенттік артта қалушылық.]
Жиі Қойылатын Сұрақтар
CRO жұмысы үшін RICE ICE-тен жақсы ма?
Өздігінен емес. RICE Reach функциясын қосып, Effort функциясын бөлгішке қояды, бұл жеткізу көлемі тар болған кезде көмектеседі, бірақ ол жоғары трафикті беттерге бағытталған. RICE функциясын жобалау уақыты аз болған кезде, ал ICE функциясы аз болған кезде пайдаланыңыз.
Тест тапсыру үшін қандай балл жеткілікті жоғары?
Төртеуінің ешқайсысының абсолютті шегі жоқ. Ұпайлар реттік: олар сізге не істеу керектігін айтады, бірдеңе істеуге тұрарлық па, жоқ па, соны емес. Абсолютті қақпа - бұл мүмкіндік. Егер тест сегіз апта ішінде маңыздылыққа жете алмаса, оның ұпайы маңызды емес.
Екі құрылымды біріктіре аламыз ба?
Шығарылымдарды біріктіру мағынасыз, себебі масштабтар бір-бірімен байланысты емес. Кірістерді біріктіру мағынасыз. RICE сенімділігін PXL дәлелді сұрақтарымен шектеу - бұл жақсы жұмыс істейтін және біз жиі қолданатын гибрид.
PXL электрондық коммерция емес сайттар үшін жұмыс істей ме?
Дәлел сұрақтары кез келген өнімге ауысады. Орналасу сұрақтары маркетингтік бетті болжайды және жүйеге кірген ағындар үшін әлсіз. Оларды пайдаланушылардың тапсырма ағынындағы элементпен қаншалықты жиі кездесетіні туралы сұрақтармен ауыстырыңыз.
Трафигі аз сайттар бұл фреймворктарды мүлдем пайдалануы керек пе?
Иә, секвенирлеу жұмыстары үшін, бірақ нәтижені сынақ жол картасы деп атауды тоқтатыңыз. Тесттерді қуаттай алмайтын сайтта сол жаттығу UX аудитінің нәтижелерін, зерттеу сұрақтарын және құрастыру жұмыстарын тапсырыс береді.
Есеп айырысу сессиясында кім болуы керек?
Әртүрлі дәлелдерді көретін үш-бес адам: аналитика, зерттеу немесе қолдау және жеткізуге кім иелік етеді. Тек ұпай жинау сенімділік тудырады; он адаммен баға қою ештеңені бағаламайтын орташа көрсеткіштерді береді.
Мұны өз тізіміңізде қолданып көріңіз
Тест тізіміңіздің жоғарғы жағындағы он тармақты алып, әрқайсысын жоғарыдағы орындылық формуласы бойынша жүргізіп, сіз болжаған сезімталдықта қаншасы тірі қалатынын санаңыз. Егер жартысынан көбі тірі қалмаса, рейтинг ешқашан сіздің проблемаңыз болған емес. Біздің CRO және тәжірибелік топ осы бағалау және мүмкіндікті растау сынағын келісімнің алғашқы қадамы ретінде өткізеді.
Дереккөздер
- Кохави, Р. және Лонгботам, Р. (2015). Онлайн бақыланатын эксперименттер және A/B тестілеуіMicrosoft фигурасы үшін Кохави, Крук және Лонгботамның (2009), ал Netflix үшін Моранның (2007) еңбектерін келтіреді.
- Макбрайд, С. (2018 жылғы 5 қаңтар). RICE: Өнім менеджерлері үшін қарапайым басымдық беру, Домофон.
- Лая, П. (27 қыркүйек 2016 ж.). PXL: A/B тесттеріне басымдық берудің жақсырақ тәсілі, CXL.
- PIE басымдық құрылымы, Conversion (бұрынғы WiderFunnel), Крис Говардтың атынан.
- Түркия Сауда министрлігі (2026 жылғы 12 мамыр). Электрондық коммерция көлемі 2025 жылы 4.6 триллион лираға жетті.
- Миллер, Э. Үлгі өлшемінің калькуляторы.
- Свитас. A/B тест калькуляторы.
