Multivariate Testing

Multivariattestning (MVT) är en experimentmetod som används för att avgöra hur flera sidelement interagerar med varandra genom att samtidigt testa flera varianter av två eller flera komponenter på samma sida och mäta den kombinerade effekten på ett målvärde, såsom konverteringsfrekvens. Medan ett standard A/B-test jämför en helsidesvariant med en annan, kan ett multivariattest variera rubriken på två sätt och huvudbilden på tre sätt samtidigt, vilket producerar sex distinkta kombinationer som visas för olika trafiksegment. Resultatet identifierar inte bara vilken kombination som presterar bäst totalt sett utan avslöjar också det individuella bidraget från varje element och om element interagerar, vilket innebär att effekten av en komponent beror på vilken version av en annan komponent den är parad med.

Denna metod är värdefull när ett team behöver förstå vilka specifika element på en sida som driver prestanda snarare än att bara bekräfta att en holistisk omdesign överträffar en annan. Till exempel kan en omdesignad landningssida som testats som en enda A/B-variant vinna, men utan multivariat testning finns det inget sätt att veta om förbättringen kom från den nya rubriken, det omplacerade formuläret eller de uppdaterade bilderna, information som är viktig när man tillämpar lärdomar på andra sidor. Multivariat testning är mest användbar för sidor med hög trafik, eftersom det statistiska kravet på att upptäcka meningsfulla skillnader mellan många kombinationer, ofta kallade celler, växer avsevärt med varje ytterligare variabel; en fullständig faktordesign med två variabler med tre varianter vardera kräver nio celler, och varje cell behöver en tillräcklig urvalsstorlek, vanligtvis hundratals eller tusentals konverteringar per cell, för att uppnå tillförlitlig statistisk signifikans.

På grund av detta trafikkrav är multivariat testning (MVT) vanligtvis reserverad för sidor som redan får betydande volym, till exempel en e-handelshemsida eller en produktsida med hög intresse, och är mindre praktisk för sidor med låg trafik, som en nischad B2B-landningssida, där en sekventiell serie enkla A/B-tester vanligtvis når handlingsbara slutsatser snabbare. Testplattformar erbjuder vanligtvis två statistiska metoder för multivariat testning: fullständig faktortestning, som testar alla möjliga kombinationer för maximal insikt, och fraktionerad faktortestning eller Taguchi-metoder, som testar en reducerad delmängd av kombinationer för att nå slutsatser snabbare på bekostnad av en del interaktionsdata.

Ett vanligt missförstånd är att multivariattestning helt enkelt betraktas som ett snabbare sätt att köra flera A/B-test samtidigt. I verkligheten krävs det betydligt mer trafik och en längre testtid för att uppnå samma statistiska säkerhet som ett enda A/B-test, eftersom trafiken delas upp över många fler varianter. Att köra ett multivariattest med låg prestanda, ett där den erforderliga urvalsstorleken per cell inte uppnåddes innan resultaten tolkades, är en av de vanligaste orsakerna till felaktiga slutsatser i konverteringsoptimeringsarbete, tillsammans med att ett test stoppas i förtid baserat på resultaten från vecka ett snarare än den fullständiga planerade testtiden, ofta satt till två till fyra veckor för att ta hänsyn till veckosäsongsvariationer.

Inom en CRO Inom konsultverksamhet positioneras multivariattestning generellt som ett avancerat verktyg som används efter att enklare A/B-tester redan har validerat den allmänna inriktningen för en hypotes, reserverat för situationer där en klient har tillräckligt med trafik och vill ha detaljerad insikt i vilka specifika sidelement som ska prioriteras i framtida designarbete. Konsulter parar vanligtvis ihop multivariattestresultat med kvalitativ forskning, såsom värmekartor eller användarintervjuer, för att förklara inte bara vilken kombination som vann numeriskt utan också varför användare svarade på den, och förvandla ett enda experiment till en återanvändbar designprincip som kan ge information om sidor utöver den som ursprungligen testades.

Tänk dig ett konkret exempel: ett team för e-handelsproduktsidor vill testa två rubrikvarianter och två produktbildstilar samtidigt. Ett fullständigt faktoriellt multivariattest producerar fyra kombinationer, och om sidan konverterar vid en baslinje på 5 procent och teamet vill på ett tillförlitligt sätt upptäcka en relativ förbättring på 10 procent i en given cell, kan den erforderliga urvalsstorleken per cell lätt nå flera tusen besökare, vilket innebär att sidan skulle behöva tiotusentals besökare totalt innan testet avslutas. Om sidan istället bara fick några tusen besökare i månaden, skulle samma test ta många månader för att nå signifikans, och då skulle två sekventiella A/B-tester, där man först isolerar rubriken och sedan bilden, vanligtvis ge ett säkert och handlingsbart svar mycket snabbare.