Үлгі өлшемі

Үлгі өлшемі - эксперименттің әрбір тобына кіретін келушілер, сессиялар немесе пайдаланушылар саны және ол тест сенімді жауап бере алатындығын анықтайтын ең маңызды фактор болып табылады. Ол тест іске қосылмас бұрын төрт кірістен есептеледі: бақылаудың базалық түрлендіру коэффициенті, бизнес маңызды деп санайтын ең аз әсер мөлшері, қажетті статистикалық қуат және маңыздылық деңгейі. Осы кірістердің кез келгенін өзгертсеңіз, қажетті үлгі өлшемі көбінесе күрт өзгереді.

Бұл енгізулер арасындағы байланыс интуитивті емес, және көптеген тестілеу бағдарламалары осы жерде қателеседі. Кішкентай әсерді анықтау үлкен әсерді анықтауға қарағанда әлдеқайда көп трафикті қажет етеді және бұл талап әсер мөлшерінің кері квадратымен шамамен артады. Анықтағыңыз келетін әсерді екі есеге азайту сізге қажетті трафикті төрт есеге арттырады. 2 пайыздық конверсия деңгейімен 5 пайыздық салыстырмалы жақсаруды сенімді түрде анықтағысы келетін сайт әр нұсқаға ондаған мың келушіні қажет етеді; 20 пайыздық жақсаруды анықтауға тырысатын сол сайт оның аз ғана бөлігін қажет етеді. Сол сияқты, төмен бастапқы конверсия көрсеткіштері жоғары деңгейлерге қарағанда көбірек трафикті қажет етеді, сондықтан лидтерді генерациялау сайттары мен жоғары назар аударатын электрондық коммерция санаттары жоғары жиілікті бөлшек саудаға қарағанда баяу тестілеу бағдарламаларын іске қосады.

Үлгі өлшемін есептемей тест жүргізу екі сәтсіздік режимінің бірін тудырады. Әлсіз тест ешқашан қорытындыға жетпейді, апталап трафикті тұтынады және нәтижесіз деп есептелмейді немесе одан да жаманы, өзгерістің ештеңе жасамағанының дәлелі ретінде қабылданбайды. Тест ерте тоқтатылды, сәтті конверсиялар сериясы маңыздылық шегінен асып кеткенде, өзгеріс барлығына енгізілгенде көбінесе жоғалып кететін үлкен әсер туралы хабарлайды. Екі сәтсіздік те бірдей шығынға әкеледі: ұйым ішіндегі тестілеу бағдарламасының сенімділігі.

Үлгі көлеміне қойылатын талаптар сайттың нақты сынақтан өткізе алатын нәрселерін де шектейді. Трафигі шектеулі сайт шағын жетілдірулер портфолиосын жүргізе алмайды, себебі әрқайсысын шешу үшін бірнеше ай қажет болады. Бұл трафик деңгейіндегі тиісті стратегия - күтілетін үлкен әсерлері бар аз, батыл өзгерістерді сынау, көлемдері көп жерде воронканың жоғарғы жағын сынау және экспериментсіз не жеткізу керектігін шешу үшін сапалы зерттеулер мен эвристикалық талдауға көбірек сүйену. Шынымен де, бұл шектеуді мойындау математикалық тұрғыдан сәтті бола алмайтын сынақтар бағдарламасын жүргізуден әлдеқайда өнімді.

Практикалық есептеулер статистикалық бірлік пен бизнес бірлігі арасындағы айырмашылықты да ескеруі керек. Егер кездейсоқтық бірлігі келуші болса, бірақ метрика әрбір сессия үшін өлшенсе, арифметикалық есептеулер бұзылады және хабарланған сенімділік тым жоғары бағаланады. Екілік түрлендірудің орнына әрбір келушіге шаққандағы кірісті өлшейтін тесттер әлі де үлкен үлгілерді қажет етеді, себебі кіріс - үлкен тапсырыстардың ұзын құйрығы бар жоғары дисперсиялық метрика. Сегмент деңгейіндегі талдау мәселені одан әрі ушықтырады: бүкіл аудиторияға арналған тест мобильді жиынтық үшін жұмыс істемейді, ал жалпы сома үшін өлшемделген эксперименттен алынған сегмент нәтижелерін оқу саладағы жалған қорытындылардың ең көп таралған көздерінің бірі болып табылады.

Есептеуден екі практикалық сұрақ туындайды және оларға жиі қате жауап беріледі. Біріншісі - трафикті біркелкі бөлу керек пе. Кейде тоқсан пайыз бақылау және он пайыздық нұсқа сияқты біркелкі емес бөлу қауіпті өзгерістерге ұшырауды шектеу үшін ұсынылады, бірақ ол қажетті жұмыс уақытын айтарлықтай ұзартады, себебі салыстырудың дәлдігін кішігірім топ анықтайды. Тәуекелді шектеуге қоршауларды бақылаумен қысқа бастапқы пандус арқылы, содан кейін біркелкі бөлу арқылы қол жеткізуге болады. Екіншісі - бірден бірнеше сынақты жүргізу үшін не істеу керек. Сайттың байланыссыз бөліктерінде бір мезгілде жүргізілетін эксперименттер әдетте қолайлы және көптеген бағдарламалардың ақылға қонымды жылдамдыққа жетуінің жолы болып табылады, бірақ бір воронка сатысына әсер ететін екі өзгеріс сияқты өзара әрекеттесетін сынақтарды бірізділікпен немесе біріктірілген дизайн ретінде талдау қажет, себебі екеуін де бастан кешірген келушілерді екеуіне де жатқызуға болмайды.

Құрылымдық шеңберде түрлендіру жылдамдығын оңтайландыру бағдарламада үлгі көлемін жоспарлау іске қосу кезінде емес, басымдық беру кезінде жүзеге асырылады. Ұсынылған тестке алты апталық трафик қажет екенін білу оның басымдығын он күнде шешілетін идеяға қатысты өзгертеді және күтілетін әсер мен жауап беру уақыты арасындағы ымыра жол картасына енгізілетін негізгі элементтердің бірі болып табылады. Трафигі аз сайттар үшін, UX аудиті көбінесе эксперименттік жинақтан гөрі жақсы нәтиже береді, себебі ол ақауларды анықтайтындай ауыр, сондықтан оларды түзету статистикалық дәлелдеуді қажет етпейді.