P-érték

A p-érték annak a valószínűsége, hogy egy legalább annyira szélsőséges eredményt figyelünk meg, mint a mért eredmény, feltételezve, hogy a tesztelt változásnak nincs valódi hatása. Ez a szám az átváltási kísérletekben a legtöbb szignifikancia-dekléc alapjául szolgáló szám: a 0.05 alatti p-értéket hagyományosan a hatás hiányának feltételezése elleni bizonyítéknak tekintik, és az eredményt 95 százalékos szinten szignifikánsnak nevezik.

A definíció tartalmaz egy feltételes feltételt, amelyet a gyakorlatban rutinszerűen elhagynak, és ennek elhagyása okozza a fogalom körüli zavarok nagy részét. A 0.03-as p-érték nem jelenti azt, hogy 3 százalék az esélye annak, hogy a változásnak nincs hatása, és nem jelenti azt, hogy 97 százalék az esélye annak, hogy a variáns jobb. Azt írja le, hogy mennyire lennének meglepőek az adatok egy olyan világban, ahol a változás semmit sem változtat. Ennek a hipotézisre vonatkozó valószínűséggé való lefordítása további információkat igényel, konkrétan azt, hogy mennyire volt hihető a hipotézis a teszt előtt, ami pontosan az, amit a bayesi módszerek explicitté tesznek, a frequentista p-értékek pedig kihagynak.

Ez kereskedelmi szempontból azért fontos, mert megváltoztatja az eredmények súlyozásának módját. Egy jól megalapozott, a megfigyelt felhasználói viselkedésen alapuló hipotézis esetén a 0.04-es p-érték sokkal erősebb bizonyíték, mint ugyanaz a p-érték egy hirtelen felindulásból tesztelt tetszőleges változtatás esetén, még akkor is, ha a két szám azonos. Azok a programok, amelyek nagy mennyiségű, alacsony minőségű ötletet tesztelnek, nagyjából a küszöbérték által jelzett ütemben, pusztán a véletlen folytán egy a húszból, jelentős eredményeket fognak felhalmozni, majd nehezen fogják megérteni, hogy az összesített üzleti hatásuk miért nem egyezik meg a jelentett győzelmeik összegével.

Magának a 0.05-ös küszöbértéknek nincs tudományos alapja; ez egy, a huszadik század eleji statisztikai gyakorlatból örökölt konvenció, amelyet az optimalizálási ipar nagymértékben átvett. Éles vonalként való kezelése egyfajta rossz érvelést ösztönöz, ahol a 0.049-es p-érték nyereséget, a 0.051-es pedig kudarcot jelent, miközben a két eredmény gyakorlatilag azonos. Jobb gyakorlat az, ha a p-értéket a hatásméret és a konfidenciaintervallum mellett közöljük, és hagyjuk, hogy a döntés tükrözze a teljes képet, beleértve a változás költségét és a tévedés következményeit is.

Számos elterjedt gyakorlat olyan módon torzítja fel a p-értékeket, ami a végső jelentésben láthatatlan. Az eredmények ismételt ellenőrzése és a küszöbérték átlépésekor történő leállítás drámaian megnöveli a valós téves pozitív arányt. Több metrika tesztelése és a szignifikáns értéket elérő egy jelentése ugyanezt teszi. A szegmensekre vágás az összesítések megtekintése után ugyanaz a hiba, csak nagyobb léptékben. Léteznek korrekciós módszerek többszörös összehasonlításokra, és szekvenciális tesztelési tervek a folyamatos monitorozásra, de a legmegbízhatóbb védelem egy előre regisztrált elemzési terv, amely rögzíti az elsődleges metrikát, a szegmenseket és a leállítási szabályt, mielőtt bármilyen adat megérkezne.

A p-értékek eloszlásának vizsgálata egy program történetében egy sokatmondó diagnosztikai módszer, amelyet kevés csapat végez. Ha a kísérleteket helyesen végeznék és elemeznék, és ha a legtöbb tesztelt ötletnek nem lenne valódi hatása, akkor a portfólió p-értékei nagyjából egyenletesen oszlanának el, körülbelül minden huszadik ötlet esne a hagyományos küszöbérték alá. A küszöbérték alatt erősen csoportosuló eloszlás erősen jelzi a számok, nem pedig a terv által vezérelt szabályok leállítását, mivel a tesztek abban a pillanatban leálltak, amikor átléptek egy vonalat, és pontosan ennél a vonalnál halmozódtak fel. Egy évnyi múltbeli kísérlet ilyen módon történő áttekintése néhány órába kerül, és gyakran megmagyaráz egy olyan ellentmondást, amely sokkal régebb óta foglalkoztat egy vállalkozást, nevezetesen, hogy a jelentett sikerek portfóliója miért nem változtatta meg azokat a mutatókat, amelyeket a vezetés valójában figyel.

Egy tanácsadó cég számára a hasznos hozzájárulás általában kevésbé a p-értékek helyes kiszámításáról szól – amit minden tesztelési platform automatikusan elvégez –, és inkább a felhasználásuk módjának szabályozásáról. CRO szolgáltatás A megbízás általában írásos elemzési protokollt határoz meg, kísérletenként meghatározza az elsődleges és másodlagos mutatókat, és az eredményeket egységes formátumban jelenti, amely magában foglalja a hatás mértékét és intervallumát, nem pedig egyetlen ítéletet. Nagyobb szervezetekben ez a protokoll a vizsgálat részévé válik. adatelemzés A funkció hitelesíti az eredményeket, mielőtt azokat az igazgatósági jelentésekben közzétennék, ami megakadályozza, hogy a statisztikailag törékeny sikerekből álló portfóliót megbízható bevételi előrejelzésként mutassák be.