SwitasKontakt oss

Multivariat testing

Multivariat testing (MVT) er en eksperimentmetode som brukes til å avdekke hvordan flere sideelementer påvirker hverandre, ved å teste flere varianter av to eller flere komponenter på samme side samtidig og måle den samlede effekten på en målmetrikk som konverteringsrate. Der en vanlig A/B-test sammenligner én hel sidevariant mot en annen, kan en multivariat test variere overskriften på to måter og hovedbildet på tre måter samtidig, noe som gir seks ulike kombinasjoner som vises til forskjellige trafikksegmenter. Resultatet viser ikke bare hvilken kombinasjon som presterer best totalt, men også hvert enkelt elements bidrag og om elementene påvirker hverandre, altså at effekten av én komponent avhenger av hvilken versjon av en annen komponent den kombineres med. Denne tilnærmingen er verdifull når et team trenger å forstå hvilke konkrete elementer på en side som driver resultatene, i stedet for bare å bekrefte at én helhetlig redesign slår en annen. En redesignet landingsside som testes som én enkelt A/B-variant kan for eksempel vinne, men uten multivariat testing er det umulig å vite om forbedringen skyldtes den nye overskriften, det flyttede skjemaet eller de oppdaterte bildene, informasjon som er viktig når læringen skal brukes på andre sider. Multivariat testing er mest nyttig for sider med mye trafikk, siden det statistiske kravet for å oppdage meningsfulle forskjeller på tvers av mange kombinasjoner, ofte kalt celler, vokser kraftig for hver ekstra variabel. Et fullt faktorielt design med to variabler à tre varianter krever ni celler, og hver celle trenger tilstrekkelig utvalgsstørrelse, ofte hundrevis eller tusenvis av konverteringer per celle, for å oppnå pålitelig statistisk signifikans. På grunn av dette trafikkravet forbeholdes MVT vanligvis sider som allerede har betydelig volum, for eksempel en nettbutikks forside eller en produktside med høy kjøpsintensjon, og er mindre praktisk for sider med lite trafikk, som en nisjepreget B2B-landingsside, der en rekke enkle A/B-tester etter hverandre vanligvis gir handlingsrettede konklusjoner raskere. Testplattformer tilbyr ofte to statistiske tilnærminger til multivariat testing: fullt faktorielt, som tester alle mulige kombinasjoner for maksimal innsikt, og fraksjonelt faktorielt eller Taguchi-metoder, som tester et redusert utvalg kombinasjoner for å nå konklusjoner raskere på bekostning av noe data om samspill. En vanlig misforståelse er å anse multivariat testing som en raskere måte å kjøre flere A/B-tester samtidig på. I realiteten krever det betydelig mer trafikk og lengre testperiode for å nå samme statistiske sikkerhet som en enkelt A/B-test, fordi trafikken fordeles på mange flere varianter. En underdimensjonert multivariat test, der nødvendig utvalgsstørrelse per celle ikke ble nådd før resultatene ble tolket, er en av de vanligste årsakene til feilslutninger i konverteringsoptimalisering, sammen med å stoppe en test for tidlig på bakgrunn av ledende resultater i første uke i stedet for hele den planlagte testperioden, ofte satt til to til fire uker for å ta hensyn til ukentlige sesongvariasjoner. I en CRO-konsulentpraksis posisjoneres multivariat testing vanligvis som et avansert verktøy som brukes etter at enklere A/B-tester allerede har validert den generelle retningen på en hypotese, forbeholdt situasjoner der en kunde har tilstrekkelig trafikk og ønsker detaljert innsikt i hvilke sideelementer som bør prioriteres i fremtidig designarbeid. Konsulenter kombinerer vanligvis MVT-resultater med kvalitativ research, som varmekart eller brukerintervjuer, for å forklare ikke bare hvilken kombinasjon som vant tallmessig, men hvorfor brukerne reagerte på den, slik at ett enkelt eksperiment blir til et gjenbrukbart designprinsipp som kan påvirke sider utover den som opprinnelig ble testet. Et konkret eksempel: et team for en produktside i en nettbutikk vil teste to overskriftsvarianter og to bildestiler samtidig. En fullt faktoriell multivariat test gir fire kombinasjoner, og hvis siden konverterer med en baseline på 5 prosent og teamet vil kunne oppdage en relativ forbedring på 10 prosent i en gitt celle på en pålitelig måte, kan nødvendig utvalgsstørrelse per celle fort bli flere tusen besøkende, noe som betyr at siden trenger titusenvis av besøkende totalt før testen er ferdig. Hvis siden i stedet bare fikk noen få tusen besøkende i måneden, ville den samme testen ta mange måneder å nå signifikans, og da ville to A/B-tester etter hverandre, først for overskriften og deretter for bildet, vanligvis gi et trygt og handlingsrettet svar langt tidligere.

Flere begreper som begynner på M

La oss bygge den neste.

Kontakt oss