Тестов надник

Надникването в теста е практиката на многократна проверка на резултатите от експеримент, докато той все още се изпълнява, и спирането му веднага щом бъде преминат праг на значимост. Това е най-често срещаният начин, по който валидните статистически методи се превръщат в невалидни заключения, и почти винаги се прави с добри намерения от хора, които вярват, че просто наблюдават напредъка. Математиката на теста с фиксиран хоризонт предполага единичен анализ при предварително изчислен размер на извадката; всеки допълнителен поглед е още един шанс за случайни колебания да преминат границата и реалният процент на фалшиво положителни резултати се увеличава с всеки един.

Мащабът на изкривяването изненадва хората. Тест, предназначен да работи с 5% фалшиво положителни резултати, проверяван ежедневно в продължение на няколко седмици с правило за спиране от типа „значителни средства, направени“, може да доведе до реален процент на фалшиво положителни резултати няколко пъти по-висок. След това програмата натрупва портфолио от победи, значителен дял от които са шум, а общото въздействие върху бизнеса не съответства на сумата от отчетените ефекти. Тъй като всеки отделен тест изглеждаше правилно анализиран, причината за недостига рядко се идентифицира и обичайното заключение е, че оптимизацията просто не работи в тази компания.

Надникването в резултатите също така влияе върху размера на ефектите, които оцеляват. Тест, спрян в момента, в който се достигне значимост, се спира в момент, когато случайна вариация облагодетелства варианта, така че наблюдаваното покачване в този момент систематично надценява истинския ефект, дори когато ефектът е реален. Програмите, които спират рано, следователно отчитат по-големи печалби, отколкото постигат, което уврежда доверието с течение на времето по начин, от който е трудно да се възстанови, след като финансите са забелязали разликата.

Натискът за надникване е по-скоро структурен, отколкото личен. Тестващите платформи показват актуални стойности на значимостта на своите табла за управление. Заинтересованите страни ги проверяват. Вариант, показващ голям ранен потенциал, създава реален търговски натиск за незабавна доставка, а вариант, показващ ранен спад, създава натиск за спиране и намаляване на загубите. Да се ​​​​каже на хората да не търсят е неефективно; практическите решения са процедурни и технически. Фиксирайте размера на извадката и крайната дата писмено преди пускането на пазара. Използвайте последователни или байесови методи, които са предназначени за непрекъснато наблюдение, така че търсенето да е легитимно. Конфигурирайте таблата за управление, за да скриете значимостта, докато не бъде достигната планираната извадка. Запазете ранното спиране за истински аварийни ситуации, открити чрез показатели за предпазни мерки, с посочено лице, вземащо решение, и документирана обосновка.

Има важно разграничение между наблюдение и наблюдение. Наблюдението на процентите на грешки, производителността на страницата, съотношението на извадките и сериозните нарушения на предпазните мерки по време на тест е не само допустимо, но и необходимо, защото повреден или увреден вариант трябва да бъде спрян незабавно. Това, което поврежда анализа, е използването на основния бизнес показател като критерий за спиране извън предварително регистрирания план. Разделянето на оперативния мониторинг от анализа на резултатите, с различни табла за управление и различни разрешения, често е достатъчно, за да се реши проблемът на практика.

Когато заинтересована страна поиска да знае как се представя даден тест, преди той да приключи, директният отказ обикновено е контрапродуктивен и предоставянето на числото подкопава протокола. Работещата междинна позиция е да се докладва за оперативното състояние, а не за резултата: потвърждавайки, че тестът се изпълнява правилно, че трафикът се разделя според конфигурирането, че не е нарушена предпазна мярка и колко дни остават до планирания анализ. Това отговаря на легитимния проблем зад искането, който обикновено е свързан с риск, а не с любопитство, без да се разкрива число, по което ще се действа. Предварителното съгласуване на това споразумение, като част от протокола на експеримента, е много по-лесно, отколкото договарянето му по средата на тест, който изглежда печеливш, когато търговският натиск за незабавно изпращане е най-висок и аргументът за търпение е най-малкото добре дошъл.

Установяването на тази дисциплина е една от най-малко техническите и най-ценните интервенции, достъпни за една програма за оптимизация. В типичен случай CRO услуга Ангажираността, протоколът за анализ, правилата за спиране и правомощията за аварийно спиране се документират преди стартирането на първите тестове, а резултатите се публикуват с фиксирана честота, а не при поискване. Когато една организация се нуждае от непрекъсната видимост по легитимни търговски причини, решението е да се възприеме последователен дизайн, който я поддържа, вместо да се провеждат тестове с фиксиран хоризонт и да се надява никой да не погледне.