SwitasБізбен байланысу

Гипотезаға негізделген тестілеу (Hypothesis-Driven Testing)

Гипотезаға негізделген тестілеу — эксперименттің құрылымдалған тәсілі, онда әрбір тест нақты өзгеріс пайдаланушы мінез-құлқына нақты, өлшенетін әсер етеді деп болжайтын айқын, жалғандығын дәлелдеуге болатын тұжырымнан басталады, әдетте мынадай форматта тұжырымдалады: біз X дәлелін байқағандықтан, Y-ті өзгерту белгіленген уақыт кезеңі ішінде M метрикасымен өлшенетін Z нәтижесіне әкеледі деп есептейміз. Бұл вариацияларды жалпы интуицияға немесе қарыз алынған салалық үздік тәжірибеге сүйеніп, сол сәтте тестіленіп жатқан нақты сайтқа немесе өнімге тән дәлелге негізделген айқын тұжырымдалған себепсіз сынайтын ad hoc тестілеуден күрт ерекшеленеді. Кейбір командалар әр гипотезаның қай пайдаланушы сегментіне қолданылатынын атауын одан әрі талап етеді, өйткені алғаш келген мобильді келушілерге көмектесетін өзгеріс өздері не істеу керегін дәл білетін қайтып келген десктоп тұтынушыларына ешқандай әсер етпеуі, тіпті теріс әсер етуі мүмкін. Бұл тәртіп маңызды, өйткені ол команданы тестті құруға және жүргізуге инженерлік және дизайн ресурстарын жұмсамас бұрын ұсынылған өзгерісті қолданыстағы дәлелдермен негіздеуге мәжбүрлейді, бұл эксперимент бағдарламасының жалпы жеңіс үлесін уақыт өте келе мәнді түрде жақсартады және сәттіліктердің де, сәтсіздіктердің де артындағы пайымды өнімнің басқа жеріндегі болашақ жұмыс үшін қайта қолдануға жарамды етеді. Алдыңғы деректерге негізделген гипотезаны, мысалы, пайдаланушылардың негізгі әрекетке шақыруды мүлде байқамайтынын көрсететін жылу картасын растайтын немесе жоққа шығаратын тест ұқсас заңдылықтарды көрсететін басқа беттерге жалпыланатын сабақ береді, ал тек байланыссыз шығармашылық идеяға негізделген тест, тіпті жеңіп шықса да, өнімнің басқа жерінде түсіндіру немесе қолдану шынымен қиын нәтиже береді. Іс жүзінде гипотезаға негізделген тестілеу бағдарламалары әдетте бір мезгілде бірнеше көзден жасалған гипотезалардың үздіксіз бэклогын жүргізеді, оның ішінде аналитика деректері, жылу карталары мен сессия жазбалары, пайдаланушы сұхбаттары, тұтынушыларды қолдау тақырыптары және сол санаттағы ұқсас бизнестердің бәсекелестік талдауы. Бұл бэклогқа ICE сияқты баға беру құрылымымен басымдық беріледі, ол әр гипотезаны ықтимал әсері, негізгі дәлелге сенімділігі және іске асыру жеңілдігі бойынша бағалайды. Басымдық берілгеннен кейін гипотеза нақты анықталған негізгі метрикасы, ең аз анықталатын әсері және алдын ала есептелген қажетті таңдама көлемі бар A/B тестке айналдырылады, содан кейін тест ерте тартымды, бірақ мезгілсіз аралық нәтиже негізінде тоқтатылмай, статистикалық маңыздылыққа, әдетте 95 пайыздық сенімділік деңгейіне жеткенше жүргізіледі. Жиі кездесетін қате пікір — гипотеза бар дәлелді күтілетін мінез-құлық нәтижесімен байланыстыратын негізделген болжам емес, вариант қалай көрінетінінің жай сипаттамасы, мысалы, біз түймені қызыл етеміз деген түсінік; дұрыс құрылған гипотеза әрдайым дизайн өзгерісі арнайы тестілеуге және растауға арналған пайдаланушы мінез-құлқы туралы негізгі сенімді көрсетеді. Тағы бір елеулі қауіп — жеңілген тестті жалпы процестің сәтсіздігі ретінде емес, өз алдына дұрыс және шынымен құнды оқу нәтижесі ретінде қарау керек, өйткені нақты пайдаланушы деректерімен жоққа шығарылған гипотеза бәрібір қате болжамды жояды және идеяны мүлде тестілемегеннен гөрі болашақ күш-жігерді өнімдірек қайта бағыттайды; бұл тәжірибелі CRO мамандары клиент ұйымдарына уақыт өте келе енгізуге қатты тырысатын маңызды мәдени айырмашылық. CRO консалтингі аясында гипотезаға негізделген тестілеу — клиенттердің барлық дерлік эксперимент бағдарламалары құрылымдалатын операциялық модель, өйткені ол байқалған мәселені ұсынылған шешіммен және өлшенген нәтижемен байланыстыратын қорғауға болатын, аудитке жарамды із қалдырады. Бұл із үздіксіз тестілеу бағдарламасына жалғасатын инвестицияны күмәншіл мүдделі тараптарға негіздеу үшін де, өнім бойынша тестілеудің дәйекті раундтарында көбірек гипотезалар тестіленіп, нақталып, расталып немесе нақты жоққа шығарылған сайын құндылығы мәнді түрде жинақталатын институционалдық білім базасын құру үшін де маңызды. Уақыт өте келе расталған және жоққа шығарылған гипотезалардың жинақталған жазбасы консалтинг компаниясының ең құнды активтерінің біріне айналады, өйткені ол жаңа эксперименттерді әр жолы бос парақтан бастамай, бұрыннан үйренілгеннің бәрін ескере отырып жобалауға мүмкіндік береді.

H әрпінен басталатын қосымша терминдер

Келесі жобаны келесісін құрайық.

Бізбен байланысу