Multivariat test (MVT) er en eksperimentmetode, der bruges til at afgøre, hvordan flere sideelementer påvirker hinanden, ved samtidigt at teste flere variationer af to eller flere komponenter på samme side og måle den samlede effekt på en målmetrik som konverteringsraten. Hvor en almindelig A/B-test sammenligner én fuld sidevariant med en anden, kan en multivariat test fx variere overskriften på to måder og hovedbilledet på tre måder på samme tid, hvilket giver seks forskellige kombinationer, der vises for forskellige segmenter af trafikken. Resultatet viser ikke blot, hvilken kombination der klarer sig bedst samlet set, men afslører også det enkelte elements bidrag, og om elementerne interagerer, det vil sige om effekten af én komponent afhænger af, hvilken version af en anden komponent den kombineres med.
Tilgangen er værdifuld, når et team har brug for at forstå, hvilke konkrete elementer på en side der driver performance, i stedet for blot at bekræfte, at ét samlet redesign slår et andet. En redesignet landingsside, der testes som én A/B-variant, kan fx vinde, men uden multivariat test er der ingen måde at vide, om forbedringen skyldes den nye overskrift, den flyttede formular eller de opdaterede billeder, hvilket er information, der har betydning, når indsigterne skal bruges på andre sider. Multivariate tests er mest nyttige på sider med meget trafik, da det statistiske krav for at kunne påvise meningsfulde forskelle på tværs af mange kombinationer, ofte kaldet celler, vokser markant for hver ekstra variabel. Et fuldt faktorielt design med to variabler og tre variationer af hver kræver ni celler, og hver celle skal have en tilstrækkelig stikprøvestørrelse, ofte hundredvis eller tusindvis af konverteringer pr. celle, for at nå pålidelig statistisk signifikans.
På grund af dette trafikkrav er MVT typisk forbeholdt sider, der allerede har et betydeligt volumen, som en webshops forside eller en produktside med høj købsintention, og er mindre praktisk på sider med lavere trafik, fx en niche-B2B-landingsside, hvor en række sekventielle, enkle A/B-tests som regel når frem til handlingsrettede konklusioner hurtigere. Testplatforme tilbyder almindeligvis to statistiske tilgange til multivariat testing: fuldt faktorielt design, som tester alle mulige kombinationer for maksimal indsigt, og fraktioneret faktorielt design eller Taguchi-metoder, som tester en reduceret delmængde af kombinationerne for at nå konklusioner hurtigere på bekostning af noget af interaktionsdataene.
En hyppig misforståelse er at betragte multivariat testing som blot en hurtigere måde at køre flere A/B-tests på samme tid. I virkeligheden kræver den markant mere trafik og en længere testperiode for at opnå samme statistiske sikkerhed som en enkelt A/B-test, fordi trafikken fordeles på langt flere varianter. At køre en underdimensioneret multivariat test, hvor den nødvendige stikprøvestørrelse pr. celle ikke var nået, før resultaterne blev tolket, er en af de mest almindelige årsager til fejlslutninger i konverteringsoptimering, sammen med at stoppe en test for tidligt på baggrund af førende resultater i uge ét frem for den fulde planlagte testperiode, som ofte sættes til to til fire uger for at tage højde for ugentlig sæsonvariation.
I en CRO-rådgivningspraksis positioneres multivariat testing generelt som et avanceret værktøj, der bruges, efter at enklere A/B-tests allerede har valideret hypotesens overordnede retning, og som er forbeholdt situationer, hvor en kunde har tilstrækkelig trafik og ønsker detaljeret indsigt i, hvilke konkrete sideelementer der bør prioriteres i det fremtidige designarbejde. Rådgivere kombinerer typisk MVT-resultater med kvalitativ research, fx heatmaps eller brugerinterviews, for at forklare ikke blot, hvilken kombination der vandt rent talmæssigt, men også hvorfor brugerne reagerede på den, så ét enkelt eksperiment bliver til et genanvendeligt designprincip, der kan informere andre sider end den oprindeligt testede.
Tag et konkret eksempel: Et team for en produktside i en webshop vil teste to overskriftsvarianter og to billedstile på samme tid. En fuld faktoriel multivariat test giver fire kombinationer, og hvis siden konverterer med en baseline på 5 procent, og teamet pålideligt vil kunne påvise en relativ forbedring på 10 procent i en given celle, kan den nødvendige stikprøvestørrelse pr. celle nemt nå op på flere tusinde besøgende, hvilket betyder, at siden skal have titusindvis af besøgende i alt, før testen kan afsluttes. Hvis siden i stedet kun havde et par tusind besøgende om måneden, ville den samme test tage mange måneder at nå signifikans, og på det tidspunkt ville to sekventielle A/B-tests, først med isolering af overskriften og derefter af billedet, typisk give et sikkert, handlingsrettet svar langt tidligere.
