Статистическа мощност

Статистическата мощност е вероятността един експеримент да открие реален ефект с даден размер, ако този ефект действително съществува. Тест с 80 процента мощност, най-широко използваната конвенция, ще идентифицира правилно реално подобрение с определения размер четири от пет пъти и ще го пропусне в останалия един от пет пъти. Мощността е еквивалент на нивото на значимост: значимостта контролира колко често тестът вика „вълк“, мощността контролира колко често не забелязва вълка.

Мощността се определя предварително, заедно с нивото на значимост, базовия процент на конверсия и минималния откриваем ефект, и заедно те определят необходимия размер на извадката. Увеличаването на изискването за мощност от 80 на 90 процента увеличава значително необходимия трафик, поради което 80 процента се е превърнало в стандартна стойност при търговските тестове, въпреки че по-високите стандарти са често срещани в клиничните изследвания. Изборът отразява бизнес компромис между цената на пропускането на добра идея и цената на трафика, изразходван за търсенето ѝ.

Тестването с недостатъчна мощност е най-разпространеният и най-малко видим дефект в програмите за оптимизация. Тестовете, които се изпълняват за фиксиран календарен период, а не за изчислен размер на извадката, са с недостатъчна мощност по подразбиране, когато трафикът е по-малък от предполагаемия. Последицата е не само загуба на усилия, но и систематично подвеждащи заключения: една програма с недостатъчна мощност генерира поток от неубедителни резултати, които се записват като „без ефект“, което с течение на времето създава погрешно институционално убеждение, че цяла категория промени няма значение. Реалните възможности се изоставят, защото инструментът за измерване никога не е бил достатъчно чувствителен, за да ги види.

Съществува и второ, по-коварна последица. В експеримент с недостатъчна мощност, всеки резултат, който достигне значимост, трябва, аритметично, да показва голям наблюдаван ефект. Това задушава видимия размер на всяка победа, която програмата отчита, феномен, понякога наричан „проклятието на победителя“. Програма, която изпълнява тестове с недостатъчна мощност, следователно ще отчете портфолио от драматични победи, нито една от които не се възпроизвежда с отчетената величина, когато е внедрена, а разликата между прогнозираните и реализираните приходи е това, което в крайна сметка разрушава доверието в практиката.

Подобряването на мощността не винаги означава чакане за повече трафик. Изборът на метрика по-високо във фунията с по-висок базов процент увеличава мощността за същия брой посетители. Намаляването на дисперсията чрез използване на ковариатно-коригиран анализ или чрез ограничаване на теста до по-хомогенен сегмент от аудиторията може значително да съкрати времето за изпълнение. Тестването на по-смели промени с по-големи очаквани ефекти увеличава размера на ефекта, който тестът трябва да открие, и следователно намалява изискването за извадка. Всяко от тези решения е дизайнерско решение, взето преди стартирането, и всяко е по-продуктивно от удължаването на вече неубедителен тест с надеждата, че числата ще се обърнат.

Намаляването на дисперсията заслужава повече внимание, отколкото обикновено получава, защото подобрява чувствителността, без да изисква повече трафик. Най-добре установената техника използва данни отпреди експеримента за всеки посетител, като например поведението му в седмиците преди теста, като ковариация в анализа, премахвайки вариацията, която няма нищо общо с третирането. Когато значителна част от трафика са завръщащи се посетители с история, това може значително да намали необходимата извадка, което съкращава времето за изпълнение на цялата програма, вместо да подобри един единствен тест. Изборът на по-малко променлива метрика има подобен ефект: двоичното преобразуване е по-малко шумно от приходите на посетител, които са доминирани от малък брой големи поръчки, така че тест, базиран на конверсията и отчитащ приходите като вторична мярка, често достига до заключение много по-рано от такъв, базиран директно на приходите.

В консултантската практика, анализът на мощността е мястото, където пътната карта за тестване става честна относно това, което може да осигури. Преди... оптимизация на скоростта на реализация След стартиране на програмата, изчисляването на постижимата мощност при текущия трафик показва на клиента колко експеримента на тримесечие са реалистични и кои въпроси ще изискват изцяло различен метод. За сайтове, където аритметиката не поддържа непрекъснат ритъм на експериментиране, по-ефективният път обикновено е структурирано проучване и експертна оценка, предоставяни чрез UX одит, като експериментирането е запазено за малкия брой потоци с висок трафик и висока стойност, където числата работят.