Statistische significantie

Statistische significantie is de maatstaf die wordt gebruikt om te bepalen of een waargenomen verschil tussen twee groepen in een experiment groot genoeg is om te voorkomen dat het door puur toeval is ontstaan. In de context van conversieoptimalisatie beantwoordt het een specifieke vraag: als de controlegroep en de variantgroep daadwerkelijk identieke effecten op het bezoekersgedrag zouden hebben, hoe vaak zou een experiment van deze omvang dan een verschil opleveren dat minstens zo groot is als het gemeten verschil? Wanneer die kans onder een vooraf overeengekomen drempelwaarde ligt, meestal 5 procent, wordt het resultaat beschreven als statistisch significant met een betrouwbaarheidsniveau van 95 procent.

Het concept is belangrijk omdat conversiegegevens inherent ruis bevatten. Twee identieke versies van dezelfde pagina, getoond aan twee willekeurig verdeelde helften van hetzelfde verkeer, zullen vrijwel nooit exact hetzelfde conversiepercentage opleveren. Dagelijkse schommelingen, de mix van verkeersbronnen, verschillen tussen apparaten en pure willekeur creëren ogenschijnlijke verschillen die niets betekenen. Zonder een significantiedrempel implementeren teams wijzigingen op basis van ruis, waardoor het totale effect van een testprogramma nul of zelfs negatief wordt, terwijl iedereen die erbij betrokken is ervan overtuigd is dat het werkt.

Significantie wordt gedefinieerd vóórdat een test begint, niet erna. De standaardprocedure is om het significantieniveau, de gewenste statistische power en de minimale effectgrootte die de moeite waard is om te detecteren vast te stellen, vervolgens de benodigde steekproefomvang te berekenen en de test met die steekproefomvang uit te voeren. Het herhaaldelijk controleren van resultaten en stoppen zodra een drempelwaarde wordt overschreden, verhoogt het aantal vals-positieve resultaten aanzienlijk, omdat elke extra controle een nieuwe kans biedt voor willekeurige variatie om de grens te overschrijden. Testplatforms die een realtime significantiecijfer rapporteren, maken deze fout gemakkelijk te maken. Daarom hanteren gedisciplineerde programma's de vooraf geregistreerde stopregel als bindend.

Een hardnekkige misvatting is dat een significant resultaat bewijst dat een variant beter is, en dat een niet-significant resultaat bewijst dat de twee versies gelijkwaardig zijn. Geen van beide is waar. Significantie beschrijft de mate waarin de data overeenkomen met de hypothese dat er geen verschil is; het zegt niets over de omvang of de zakelijke relevantie van een effect. Een test met zeer veel verkeer kan een statistisch significante verbetering van een fractie van een procentpunt aantonen, wat de ontwikkelingskosten voor de implementatie niet waard is. Omgekeerd betekent een niet-significant resultaat bij een test met onvoldoende statistische power simpelweg dat het experiment niet gevoelig genoeg was om een ​​effect te detecteren dat wel degelijk bestaat. Het rapporteren van het betrouwbaarheidsinterval naast het oordeel geeft een veel nuttiger beeld dan een binair label.

In consultancywerk ontstaat betekenis op het punt waar analytische nauwkeurigheid en commercieel inzicht samenkomen. CRO-service Bij het bepalen van de betrokkenheid van klanten moet het statistische ideaal worden afgewogen tegen de realiteit dat de meeste websites geen onbeperkt verkeer hebben en dat een bedrijf niet drie maanden kan wachten op zekerheid over elk idee. De praktische oplossing is om strikte drempels te hanteren voor risicovolle, moeilijk terug te draaien wijzigingen zoals prijsstelling, afrekenproces of navigatiearchitectuur, en om snellere beslissingen met minder zekerheid te accepteren voor risicoarme tekst- en lay-outwijzigingen waarbij de kosten van een fout klein en omkeerbaar zijn. Deze afweging is een strategische beslissing in plaats van een statistische, en wordt doorgaans vastgesteld tijdens de planningsfase van een project. conversiepercentage optimalisatie programma in combinatie met de definitie van primaire en vangrail-meetwaarden.

Een nuttige oefening voor elk team dat nieuw is in dit vakgebied, is het uitvoeren van een A/A-test voordat de conclusies van het platform blindelings worden gevolgd. Het verdelen van verkeer over twee identieke versies zou per definitie geen wezenlijk verschil mogen opleveren, en het observeren van de rapportage van de tool gedurende twee of drie weken is leerzaam. Teams merken regelmatig dat hun platform op een bepaald moment tijdens de test een significante winnaar aanwijst tussen twee identieke pagina's. Dit is precies wat herhaaldelijk controleren van een nulresultaat voorspelt, en het zien gebeuren met hun eigen verkeer is overtuigender dan welke uitleg van de onderliggende statistieken dan ook. De oefening brengt ook instrumentatieproblemen aan het licht, zoals ongelijke verkeersverdeling, tracking die verschillend werkt voor verschillende varianten en botverkeer dat niet consistent wordt gefilterd. Al deze problemen zouden anders elk volgend experiment verstoren zonder dat ze zichtbaar blijven.

Teams die zich op dit gebied ontwikkelen, stoppen met de vraag of een resultaat significant is en beginnen zich af te vragen welke beslissing door het bewijs wordt ondersteund. Ze documenteren effectgroottes en -intervallen, ze houden bij hoe vaak eerdere significante successen standhielden bij herhaalde metingen, en ze beschouwen elk experiment als een input voor een groeiende hoeveelheid kennis over hun klanten in plaats van een eenmalig oordeel dat nooit meer wordt herzien.