Минималды анықталатын әсер (MDE)

Минималды анықталатын әсер, әдетте қысқартылған MDE, эксперимент сенімді түрде анықтауға арналған метрикадағы ең аз өзгеріс. Ол сынақ басталғанға дейін орнатылады және үлгі көлемін есептеуге тікелей кіріс болып табылады. 10 пайыздық MDE бар эксперимент сенімділік пен қуаттың белгіленген деңгейімен 10 пайыз немесе одан да көп жақсартуларды анықтау үшін жасалған; кішігірім шынайы жақсартулар көбінесе сол сынақпен анықталмайды, жеңіс емес, нәтижесіз нәтижелер ретінде көрінеді.

MDE көбінесе нұсқаның конверсияны қаншалықты жақсартатынын болжау ретінде қате түсініледі. Бұл болжам емес. Бұл сезімталдық параметрі, шкаланың өлшенетін ең аз өсімі бар мағынасында. Оны орнату әсердің пайда болу ықтималдығын арттырмайды; ол эксперименттің әсер бар болса, оны көру үшін жеткілікті ажыратымдылығы бар-жоғын анықтайды. Екеуін шатастыру сынақ аяқталғаннан кейін таныс жағымсыз әңгімеге әкеледі, онда команда MDE 15 пайызға орнатылғандықтан, нұсқа «жеңуі керек еді» деп дауласады, ал шын мәнінде MDE тек сынақ көре алатын нәрсені сипаттады.

MDE-ді орнатудың дұрыс жолы статистикалық емес, коммерциялық тұрғыдан. Мәселе, қандай жақсарту мөлшері өзгерісті құру, жеткізу және күтіп ұстау құнын, сондай-ақ оны өлшеуге жұмсалған трафиктің альтернативті құнын ақтайтынында. Көп көлемді тексеру кезінде 2 пайыздық салыстырмалы көтеру айтарлықтай жылдық көрсеткішке тұрарлық болуы мүмкін және сондықтан ұзақ сынақтан өткізуге тұрарлық. Трафик аз байланыс формасында 20 пайыздан төмен жақсартуды анықтау мүлдем тұрарлық болмауы мүмкін, себебі қосымша ықтимал тұтынушылардың абсолютті саны елеусіз. Бизнес құндылығынан кері жұмыс істеу сынақ жол картасын статистикалық ыңғайлылыққа емес, нәтижелерге байланыстырады.

Амбициялы MDE мен сайттың іс жүзіндегі трафигі арасында сөзсіз шиеленіс бар. Нәтиже көрсетуге қысым жасайтын топтар көбінесе оны дұрыс емес бағытта шешеді, үлгі өлшемін есептеу қолайлы күндер санын қайтарғанша MDE-ді тыныш көтереді. Бұл техникалық тұрғыдан жарамды, бірақ іс жүзінде пайдасыз эксперименттерді тудырады: олар тек тестілеусіз айқын болатындай үлкен әсерлерді ғана анықтай алады. Адал балама - кейбір сұрақтарға қазіргі трафик деңгейінде эксперимент арқылы жауап беру мүмкін емес екенін қабылдау және оларды пайдалануды тексеру, аналитикалық зерттеу немесе сараптамалық шолу сияқты басқа әдістерге бағыттау.

MDE нұсқаның дизайнын да қалыптастырады. Егер тестілеуді өткізуге тұрарлық болу үшін 15 пайыздық жақсартуды анықтау қажет болса, түйме көшірмесіне аздап өзгерту бұл шектен шығуы екіталай, ал командаға бетке айтарлықтай басқаша тәсілді сынақтан өткізу тиімдірек болады: қайта құрылымдалған құндылық ұсынысы, басқа форма ұзындығы, өзгертілген баға ұсынысы. Сондықтан трафигі шектеулі бағдарламалар викториналарды сынақтан өткізуге мүмкіндігі бар шексіз трафигі бар бағдарламаларға қарағанда қызықтырақ жұмыстар жасауға бейім.

Шатастырудың қайталанатын көзі - әсердің салыстырмалы немесе абсолютті түрде көрсетілуі, және айырмашылық маңызды емес. Екі пайыздық бастапқы конверсия коэффициентінде он пайыздық салыстырмалы жақсару 2.2 пайызға, яғни 0.2 пайыздық пунктке абсолютті өзгеріске көшуді білдіреді. Он пайыздық абсолютті жақсару он екі пайызға көшуді білдіреді, ал ешқандай нақты өзгеріс әкелмейді. Іріктеу өлшемін есептегіштер, тестілеу платформалары және мүдделі тараптар жиі екі шарт арасында ауысады, ал қате оқуға негізделген жоспар қорытынды жасай алмайтын немесе өте күшті экспериментті көрсетеді. Әрбір тест жоспарында шартты базалық және алынған абсолютті көрсеткішпен бірге нақты көрсету, нәтижелерді аналитика функциясынан тыс адамдармен талқылаған сайын қайта пайда болатын екіұштылықты жояды.

Іс жүзінде, MDE шешімдері жалғыз жұмыс істейтін аналитик емес, жол картасын жоспарлау кезінде ұжымдық түрде қабылданады. CRO қызметі Әдетте, әрбір жоспарланған эксперимент үшін негізгі көрсеткішті, MDE, алынған үлгі өлшемін және болжамды орындалу уақытын құжаттайды, осылайша мүдделі тараптар әрбір сұрақтың құнын оған кіріспес бұрын көре алады. Бірнеше мүлік немесе нарықта эксперименттер жүргізетін ұйымдар үшін бұл құжаттама сонымен қатар бірыңғай MDE конвенциясын түбегейлі әртүрлі трафик профильдері бар сайттарға қолданудың жиі кездесетін қателігін болдырмайды, бұл үлгі көбінесе ... кәсіпорын орталық стандарт трафигі оны қолдай алмайтын топтарға төмендетілетін бағдарламалар.