Wartość P

Wartość p to prawdopodobieństwo zaobserwowania wyniku co najmniej tak skrajnego, jak zmierzony, przy założeniu, że testowana zmiana nie miała realnego wpływu. Jest to liczba leżąca u podstaw większości werdyktów istotności w eksperymentach konwersji: wartość p poniżej 0.05 jest konwencjonalnie traktowana jako dowód przeciwko założeniu braku wpływu, a wynik jest oznaczany jako istotny na poziomie 95%.

Definicja zawiera warunek, który w praktyce jest rutynowo pomijany, a jego pominięcie powoduje większość zamieszania wokół tej koncepcji. Wartość p równa 0.03 nie oznacza 3% prawdopodobieństwa, że ​​zmiana nie miała żadnego wpływu, ani 97% prawdopodobieństwa, że ​​wariant jest lepszy. Opisuje ona, jak zaskakujące byłyby dane w świecie, w którym zmiana nie miałaby żadnego wpływu. Przełożenie tego na prawdopodobieństwo dotyczące samej hipotezy wymaga dodatkowych informacji, a konkretnie tego, jak prawdopodobna była hipoteza przed testem, a właśnie tego metody bayesowskie pomijają jawne i frekwencyjne wartości p.

Ma to znaczenie komercyjne, ponieważ zmienia sposób ważenia wyników. Wartość p równa 0.04 dla dobrze uzasadnionej hipotezy opartej na obserwowanym zachowaniu użytkowników stanowi znacznie silniejszy dowód niż ta sama wartość p dla dowolnej zmiany testowanej pod wpływem impulsu, mimo że obie wartości są identyczne. Programy testujące duże ilości pomysłów niskiej jakości będą gromadzić istotne wyniki mniej więcej w tempie sugerowanym przez próg, czyli jeden na dwadzieścia, i będą miały trudności ze zrozumieniem, dlaczego ich łączny wpływ na biznes nie pokrywa się z sumą zgłoszonych sukcesów.

Sam próg 0.05 nie ma żadnych podstaw naukowych; jest to konwencja odziedziczona po praktyce statystycznej z początku XX wieku i w pełni przyjęta przez branżę optymalizacyjną. Traktowanie go jako wyraźnej linii zachęca do specyficznego rodzaju błędnego rozumowania, gdzie wartość p 0.049 oznacza zwycięstwo, a 0.051 porażkę, podczas gdy oba wyniki są praktycznie identyczne. Lepszą praktyką jest podawanie wartości p wraz z wielkością efektu i przedziałem ufności, tak aby decyzja odzwierciedlała pełny obraz, w tym koszt zmiany i konsekwencje popełnienia błędu.

Kilka powszechnych praktyk zawyża wartości p w sposób niewidoczny w raporcie końcowym. Wielokrotne sprawdzanie wyników i zatrzymywanie ich po przekroczeniu progu drastycznie zwiększa rzeczywisty wskaźnik wyników fałszywie dodatnich. Testowanie wielu metryk i raportowanie tej, która osiągnęła istotność statystyczną, działa tak samo. Podział na segmenty po sprawdzeniu sum to ten sam błąd, ale na większą skalę. Istnieją metody korekcji dla wielokrotnych porównań, a sekwencyjne projekty testowania do ciągłego monitorowania, ale najpewniejszą ochroną jest wstępnie zarejestrowany plan analizy, który naprawia główną metrykę, segmenty i regułę zatrzymania przed nadejściem jakichkolwiek danych.

Badanie rozkładu wartości p w historii programu to odkrywcza diagnoza, którą wykonuje niewiele zespołów. Gdyby eksperymenty były przeprowadzane i analizowane prawidłowo, a większość testowanych pomysłów nie miałaby realnego wpływu, wartości p w całym portfolio byłyby mniej więcej równomiernie rozłożone, przy czym około jedna na dwadzieścia spadałaby poniżej konwencjonalnego progu. Rozkład silnie skupiony tuż poniżej progu jest silnym wskaźnikiem reguł zatrzymania opartych na liczbach, a nie na planie, ponieważ testy zatrzymane w momencie przekroczenia linii kumulują się dokładnie na tej linii. Przeglądanie w ten sposób rocznych eksperymentów zajmuje kilka godzin i często wyjaśnia rozbieżność, która od dawna intryguje firmę, a mianowicie, dlaczego portfel zgłoszonych sukcesów nie wpłynął na wskaźniki, które kierownictwo faktycznie monitoruje.

W przypadku usług konsultingowych użyteczny wkład zazwyczaj nie polega na poprawnym obliczaniu wartości p, co każda platforma testowa robi automatycznie, lecz na zarządzaniu sposobem ich wykorzystania. Usługa CRO Zaangażowanie zazwyczaj ustanawia pisemny protokół analizy, definiuje wskaźniki podstawowe i drugorzędne dla każdego eksperymentu oraz raportuje wyniki w spójnym formacie, który obejmuje wielkość efektu i interwał, a nie pojedynczy werdykt. W większych organizacjach protokół ten staje się częścią sposobu, w jaki… Analityka danych funkcja ta certyfikuje wyniki przed ich opublikowaniem w sprawozdaniach zarządu, co zapobiega prezentowaniu portfela statystycznie niepewnych wygranych jako wiarygodnej prognozy przychodów.