De fleste A/B-tests fejler, før en eneste besøgende ser dem. Ikke fordi hypotesen var svag, eller designet var dårligt, men fordi ingen fandt ud af, om testen overhovedet kunne producere et svar.
Mønsteret er velkendt. Et team sender en variant, holder øje med dashboardet, og efter ti dage ser de udfordreren stige 6% med en p-værdi på 0.14. Nogen siger "den er positiv, lad os give det en uge mere." Endnu en uge går. Nu er den steget 4%, p = 0.09. Testen bliver kaldt en "retningsbestemt sejr" og sendt, eller den bliver afvist som ufyldestgørende. Uanset hvad, producerede tre ugers trafik ingen viden - og det resultat blev fuldt ud bestemt før lanceringen af fire tal, som ingen tjekkede.
Denne artikel handler om de fire tal.
De fire indgange
Stikprøvestørrelse er ikke en vurdering. Den falder ud fra fire parametre, og ethvert seriøst eksperimentprogram fastsætter dem før lanceringen snarere end efter.
| Input | Hvad det betyder | Typisk værdi |
|---|---|---|
| Baseline konverteringsrate | Den aktuelle hastighed for den metrik, du tester, målt på den præcise side og målgruppe, som testen kører på. | Uanset hvad dine data siger |
| Minimum detekterbar effekt (MDE) | Den mindste ændring, du ønsker, at testen skal kunne finde | 5–20 % relativt, afhængigt af trafik |
| Signifikansniveau (α) | Din tolerance over for at erklære en vinder, der ikke er reel | 0.05 |
| Statistisk styrke (1−β) | Din sandsynlighed for at opdage en effekt, der is ægte | 0.80 |
Giv en lommeregner de fire, og den returnerer det nødvendige antal besøgende pr. variant. Vores gratis A/B-testberegner gør præcis dette, og det tager cirka tredive sekunder – hvilket er pointen. Grunden til, at holdene springer dette trin over, er ikke, at det er svært. Det er, at svaret ofte er uvelkomment.
MDE er det input, alle får forkert
Minimum detekterbar effekt er den parameter, der forårsager mest skade, fordi navnet antyder noget, den ikke er.
MDE er ikke den stigning, du forventer. Det er ikke en forudsigelse, et mål eller en prognose. Det er en grænse for detekterbarhed: den mindste sande effekt, som din test har en 80% chance for at fange. Sæt MDE til 5%, og du siger "hvis den reelle forbedring er mindre end 5%, accepterer jeg, at denne test sandsynligvis vil misse den."
To konsekvenser følger, og begge har betydning.
En test kan kun besvare det spørgsmål, du har dimensioneret den til. Hvis du dimensionerer til en 20% MDE, og den sande effekt er 7%, vil testen højst sandsynligt returnere "ingen signifikant forskel". Det er ikke bevis for, at varianten ikke gør noget. Det er bevis for, at din test ikke kunne se effekter af den størrelse – en helt anden udtalelse, og en som teams rutinemæssigt fejloversætter til "vi testede det, det virkede ikke".
Relativ og absolut MDE er ikke udskiftelige. En basislinje på 2.5% med en 10% relative MDE betyder at detektere en bevægelse til 2.75 % — en absolutte en forskel på 0.25 procentpoint. Indtast 10 i et lommeregnerfelt, hvor du forventer absolutte procentpoint, og du har lige bedt om at registrere en bevægelse fra 2.5 % til 12.5 %, og værktøjet vil muntert fortælle dig, at 400 besøgende vil gøre det. Tjek, hvilken konvention din lommeregner bruger. Denne ene forvirring ugyldiggør flere testplaner end nogen anden fejl, vi ser.
Et fungerende eksempel
En e-handelsklient ønsker at teste et nyt layout for en produktdetaljeside. Den grundlæggende konvertering på den side er 2.5 %. De ønsker at registrere en relativ forbedring på 10 % – en stigning til 2.75 %.
Ved α = 0.05 og 80% effekt er kravet omtrent 64,000 besøgende pr. varianteller omkring 128,000 i alt.
Den side får 40,000 besøgende om måneden. Så testen skal bruge lidt over tre måneder på at nå den stikprøvestørrelse, den var designet til.
Det er dette tal, der ændrer samtalen. Ikke fordi tre måneder er umuligt, men fordi det nu er en beslutning, der træffes åbent – før lanceringen, hvor kompromiserne er synlige – snarere end en langsom skuffelse opdaget på dag 21.
Skift nu ét input. Behold den samme baseline, men størrelsen er 20% relativ stigning i stedet for 10%:
| MDE (relativ) | Absolut forskel | Besøgende pr. variant | Tid på 40/måned |
|---|---|---|---|
| 5% | 0.125 s | ~ 256,000 | ~ 13 måneder |
| 10% | 0.25 s | ~ 64,000 | ~ 3.2 måneder |
| 20% | 0.5 s | ~ 16,800 | ~ 25 dage |
| 30% | 0.75 s | ~ 7,700 | ~ 12 dage |
Halvering af MDE firedobler omtrent stikprøven. Denne sammenhæng er ikke en særhed ved disse tal – stikprøvestørrelsen skaleres med den inverse kvadratur af effektstørrelsen. Det er den absolut mest nyttige ting at internalisere ved eksperimentdesign, fordi den fortæller dig, hvor gearingen er: Det er langt billigere at gøre ændringen større end at tiltrække mere trafik.
En genert variant, der flytter en knap to pixels, kræver en stikprøvestørrelse, som ingen mellemstor hjemmeside kan tilbyde. En variant, der omstrukturerer siden, har en chance. Det er derfor, forsigtige testprogrammer går i stå – ikke fordi ideerne er forkerte, men fordi de er for små til at måle.
Hvor trafikken rent faktisk er
Den anden løftestang, der gemmer sig i aritmetikken, er basisraten. Kravene til stikprøvestørrelse falder kraftigt, når basislinjen stiger.
Tag den samme 10% relative MDE, men kør den på forsendelsestrinnet i kassen, hvor 40% af modtagelserne fortsætter til betaling:
- Basisværdi 2.5% → ~64,000 pr. variant
- Basisværdi 40% → ~2,400 pr. variant
Samme MDE, samme selvtillid, samme styrke. 26 gange mindre trafik.
Den side ser selvfølgelig langt færre besøgende end PDP'en. Men kravet falder hurtigere end trafikken, hvilket er grunden til, at deep-funnel-tests ofte er de eneste tests, som et websted med mid-trafik rent faktisk kan gennemføre. Hvis din konvertering på tværs af webstedet er 2%, er test af hjemmesiden en forpligtelse på et år, og test af checkout-siden tager fjorten dage.
Den praktiske vejledning: Når lommeregneren returnerer et umuligt tal, skal du, inden du udvider MDE'en, kontrollere, om der er et trin længere nede i tragten, hvor den samme hypotese kan testes mod en højere baseline.
Hvad går der egentlig galt, når man springer det over
Der er to fejltilstande her, og den anden er meget mindre kendt end den første.
Du går glip af reelle forbedringer. En test med lav styrke returnerer "ingen signifikant forskel" for en ændring, der reelt virker. Holdet konkluderer, at ideen var dårlig, og opgiver en retning, der ville have betalt sig. Dette er den fiasko, alle kender til, og det er den billigste af de to.
Dine vindere er oppustede. Det er denne, der stille og roligt forvansker et programs tal. I en test med lav styrke er den eneste måde, hvorpå et resultat kan overskride signifikansgrænsen, hvis der opstår tilfældig støj, der presser det langt nok – hvilket betyder, at de effekter, du do erklærer signifikante, er systematisk større end sandheden. Jo lavere potens, desto værre er overdrivelsen.
Så et program med lav styrke overser ikke bare ting. Det producerer en testlog fuld af vindere med overvurderede stigninger, som derefter ganges med trafik for at forudsige en omsætning, der aldrig realiseres. Seks måneder senere spørger nogen, hvorfor summen af sejrene ikke vises i toplinjen. Dette er normalt svaret.
Du kan ikke løse dette i analysen. Det skal forhindres i designfasen.
Pr. variant, ikke i alt
Lommeregnerens output er kravet for hver arm af testen. To varianter betyder dobbelt så mange. Dette lyder indlysende og bliver konstant misforstået, normalt i den optimistiske retning.
Flere varianter forværrer problemet dobbelt. En A/B/C/D-test kræver fire gange stikprøven af figuren med én arm, og Tre samtidige sammenligninger med kontrolgruppen øger chancen for mindst én falsk positiv værdi til et godt stykke ud over dine nominelle 5%. Hvis man korrigerer for det, øges kravet igen.
For de fleste websteder er den praktiske regel: medmindre du har trafik tilovers, så kør to arme. En firevejstest på en side, der knap nok kan klare en tovejstest, er ikke fire gange så meget læring. Den er nul gange så meget læring, leveret langsommere.
Varighed er en separat begrænsning
Det er nødvendigt at nå din stikprøvestørrelse. Det er ikke tilstrækkeligt.
En test, der når sit tal på fire dage, har analyseret fire dages adfærd. Trafik på hverdage og i weekender konverterer forskelligt. Lønningsdagscyklusser betyder noget i e-handel. Betalte kampagner, der lanceres midt i testen, ændrer målgruppesammensætningen under dig. Nye designs skaber også en nyhedseffekt, der aftager – tidligt engagement med et ukendt layout er ikke et stabilt estimat af steady-state performance.
Kør i mindst én hel uge, og helst to, uanset hvad beregningen af stikprøvestørrelsen tillader. Den begrænsning, der er længst – stikprøvestørrelse eller konjunkturcyklus – er den, der gælder. Og sæt slutdatoen på forhånd i stedet for at tjekke hver morgen og stoppe, når tallene ser gode ud, hvilket er en separat og meget effektiv måde at fremstille falske vindere på.
Når tallet er umuligt
Nogle gange er det ærlige svar, at testen ikke kan køres. Det er nyttige oplysninger, og der er fem rimelige svar.
Test en større ændring. Det kvadratiske forhold gør dette til den mest effektive løsning med en bred margin. Redesign flowet i stedet for knappen.
Skift til en metrik med et højere baseline. Test mod tilføj til kurv eller betaling i stedet for køb. Effektstørrelsen måles mod en større base, og stikprøvekravet kollapser. Accepter, at du måler en proxy, og valider linket til omsætning separat.
Test længere nede i tragten, som ovenfor.
Gruppér lignende sider. Hvis man kører én test på tværs af alle kategorisider i stedet for en enkelt kategori, multipliceres den tilgængelige trafik, forudsat at siderne er adfærdsmæssigt ensartede nok til, at pooling er forsvarligt.
Stop med at teste og begynd at undersøge. Hvis et websted ikke kan drive et eksperiment, er A/B-test det forkerte instrument til det. Brugervenlighedstest, sessionsoptagelser og heuristisk gennemgang vil finde de ødelagte ting hurtigere og billigere. Kvantitativ validering kommer senere, når ændringerne er store nok til at være målbare. Der er ingen skam i dette - at køre underdimensionerede tests for at føle sig grundige er værre end ikke at køre dem.
Tjekliste før flyvning
Før enhver test starter:
- [ ] Baseline målt på den faktiske side og målgruppe, som testen kører på, ikke på hele webstedet
- [ ] MDE har eksplicit, skriftligt, angivet med relative eller absolutte specifikationer
- [ ] Stikprøvestørrelse beregnet pr. variant og ganget med antallet af arme
- [ ] Nødvendig varighed sammenlignet med tilgængelig trafik — og svaret accepteret før lancering
- [ ] Slutdato fastsat på forhånd
- [ ] Minimum én fuld konjunkturcyklus, uanset hvad matematikken siger
- [ ] Randomiseringsenhed matcher analyseenhed (tildeling på besøgsniveau, målinger på besøgsniveau)
- [ ] Trafikfordeling verificeret i de første timer — en 50/50-test, der giver 53/47, betyder et instrumentproblem, og resultaterne er ubrugelige, indtil det er fundet.
Kør tallene, før du bygger varianten
Hele beregningen tager et halvt minut, og den ændrer det, du bygger. Teams, der dimensionerer deres tests, designer først mere dristige varianter, fordi de kan se, hvad de mere tilbageholdende varianter ville koste.
Indtast din basale konverteringsrate, den effekt, du ønsker at kunne registrere, og dine indstillinger for tillid og effekt. Hvis det tal, der kommer tilbage, er større end din trafik, er det alligevel ikke en grund til at lancere – det er testen, der fortæller dig, at du skal ændre planen.
Ofte stillede spørgsmål
Hvor mange besøgende skal jeg bruge til en A/B-test? Der er ikke noget universelt tal. Det afhænger af din baseline konverteringsrate, den mindste effekt, du ønsker at registrere, og dine valgte signifikans- og styrkeniveauer. En side, der konverterer ved 2.5%, behøver cirka 64,000 besøgende pr. variant for at registrere en relativ forbedring på 10%; et checkout-trin, der konverterer ved 40%, behøver cirka 2,400 for den samme relative effekt.
Hvad er en god minimum detekterbar effekt? Den laveste, din trafik kan understøtte inden for en rimelig tidsramme. Start med din tilgængelige trafik og en målvarighed på to til fire uger, og find derefter den MDE, der passer, baglæns. Hvis den MDE er større, end den ændring, du tester, sandsynligvis kan producere, skal du redesigne testen.
Kan jeg stoppe en test tidligt, hvis den tydeligvis vinder? Ikke med en standard test med fast horisont. Gentagen kontrol og stop ved det første signifikante resultat puster din falsk positive rate op til langt over 5%. Hvis du har brug for muligheden for at stoppe tidligt, skal du bruge en metode, der er bygget til det – sekventiel testning eller et Bayesiansk framework – og beslutte det før lanceringen, ikke undervejs.
Hvad hvis min test når signifikans, før stikprøvestørrelsen er nået? Behandl det med mistænksomhed og fortsæt med at løbe til den planlagte ende. Tidlig betydning i et vindue med lav effekt er præcis det mønster, der producerer oppustede, ikke-reproducerbare vindere.
Er 80% strøm nok? Det er den konventionelle standard, og det er et rimeligt udgangspunkt, men det betyder at acceptere en 20% chance for at gå glip af en reel effekt. For beslutninger med høj indsats – et redesign af kassen, en prisændring – er 90% magt den ekstra prøve værd. For billige, reversible ændringer er 80% fint.
Er du ikke sikker på, at dit testprogram giver reelle svar?
Hvis din testlog er fuld af små gevinster, der aldrig dukker op i den øverste linje, ligger problemet normalt før analysen. Vi gennemgår eksperimentelle programmer og fortæller dig tydeligt, hvor designet fejler.
