SwitasKontakta oss

Multivariat testning

Multivariat testning (MVT) är en experimentmetod som används för att avgöra hur flera sidelement samverkar med varandra, genom att samtidigt testa flera variationer av två eller fler komponenter på samma sida och mäta den kombinerade effekten på ett målmått som konverteringsgrad. Där ett vanligt A/B-test jämför en hel sidvariant mot en annan kan ett multivariat test variera rubriken på två sätt och huvudbilden på tre sätt samtidigt, vilket ger sex olika kombinationer som visas för olika delar av trafiken. Resultatet visar inte bara vilken kombination som presterar bäst totalt, utan också varje elements enskilda bidrag och om elementen interagerar, det vill säga om effekten av en komponent beror på vilken version av en annan komponent den paras ihop med. Metoden är värdefull när ett team behöver förstå vilka specifika element på en sida som driver prestandan, i stället för att bara bekräfta att en helhetsomdesign slår en annan. En omdesignad landningssida som testas som en enda A/B-variant kan till exempel vinna, men utan multivariat testning går det inte att veta om förbättringen kom från den nya rubriken, det omplacerade formuläret eller de uppdaterade bilderna, information som är viktig när lärdomarna ska tillämpas på andra sidor. Multivariat testning är mest användbart för sidor med mycket trafik, eftersom det statistiska kravet för att upptäcka meningsfulla skillnader mellan många kombinationer, ofta kallade celler, växer kraftigt med varje ytterligare variabel. En fullständig faktoriell design med två variabler och tre variationer vardera kräver nio celler, och varje cell behöver ett tillräckligt stort urval, vanligtvis hundratals eller tusentals konverteringar per cell, för att nå tillförlitlig statistisk signifikans. På grund av detta trafikkrav är MVT vanligtvis förbehållet sidor som redan har stora volymer, till exempel startsidan i en e-handel eller en produktsida med hög köpintention, och är mindre praktiskt för sidor med lägre trafik, som en nischad B2B-landningssida, där en sekventiell serie enkla A/B-test oftast ger användbara slutsatser snabbare. Testplattformar erbjuder vanligtvis två statistiska angreppssätt för multivariat testning: fullständig faktoriell design, som testar varje möjlig kombination för maximal insikt, samt fraktionell faktoriell design eller Taguchi-metoder, som testar en reducerad delmängd av kombinationerna för att nå slutsatser snabbare på bekostnad av en del interaktionsdata. Ett vanligt missförstånd är att se multivariat testning som ett snabbare sätt att köra flera A/B-test samtidigt. I verkligheten kräver det väsentligt mer trafik och en längre testperiod för att nå samma statistiska säkerhet som ett enskilt A/B-test, eftersom trafiken delas upp på många fler varianter. Att köra ett underdimensionerat multivariat test, där det nödvändiga urvalet per cell inte uppnåtts innan resultaten tolkats, är en av de vanligaste orsakerna till felaktiga slutsatser inom konverteringsoptimering, tillsammans med att avbryta ett test i förtid utifrån ledande resultat under första veckan i stället för den fulla planerade testperioden, som ofta sätts till två till fyra veckor för att ta hänsyn till säsongsvariation över veckan. Inom en CRO-konsultverksamhet positioneras multivariat testning vanligtvis som ett avancerat verktyg som används efter att enklare A/B-test redan har validerat den övergripande riktningen på en hypotes, och är förbehållet situationer där kunden har tillräckligt med trafik och vill ha detaljerad insikt om vilka specifika sidelement som ska prioriteras i framtida designarbete. Konsulter kombinerar vanligtvis MVT-resultat med kvalitativ research, som värmekartor eller användarintervjuer, för att förklara inte bara vilken kombination som vann numeriskt utan också varför användarna reagerade på den, och förvandlar på så sätt ett enskilt experiment till en återanvändbar designprincip som kan vägleda sidor utöver den som ursprungligen testades. Ta ett konkret exempel: ett team för en produktsida i en e-handel vill testa två rubrikvarianter och två bildstilar samtidigt. Ett fullständigt faktoriellt multivariat test ger fyra kombinationer, och om sidan konverterar med en baslinje på 5 procent och teamet vill kunna upptäcka en relativ förbättring på 10 procent i en given cell på ett tillförlitligt sätt, kan det nödvändiga urvalet per cell lätt uppgå till flera tusen besökare, vilket innebär att sidan skulle behöva tiotusentals besökare totalt innan testet kan avslutas. Om sidan i stället bara hade några tusen besökare i månaden skulle samma test ta många månader att nå signifikans, och då ger det oftast ett tryggt och användbart svar långt snabbare att köra två sekventiella A/B-test, först för att isolera rubriken och sedan bilden.

Fler termer som börjar på M

Låt oss bygga det nästa.

Kontakta oss