Multivariate Testing

Multivariate testen (MVT) is een experimentele methode om te bepalen hoe meerdere pagina-elementen op elkaar inwerken. Dit gebeurt door gelijktijdig verschillende varianten van twee of meer componenten op dezelfde pagina te testen en het gecombineerde effect op een doelmetriek, zoals de conversieratio, te meten. Waar een standaard A/B-test één volledige paginavariant vergelijkt met een andere, kan een multivariate test bijvoorbeeld de koptekst op twee manieren en de hero-afbeelding op drie manieren variëren. Dit levert zes verschillende combinaties op die aan verschillende verkeerssegmenten worden getoond. De resultaten laten niet alleen zien welke combinatie over het algemeen het beste presteert, maar onthullen ook de individuele bijdrage van elk element en of elementen op elkaar inwerken. Dit betekent dat het effect van een component afhangt van de versie van een andere component waarmee deze wordt gecombineerd.

Deze aanpak is waardevol wanneer een team wil begrijpen welke specifieke elementen van een pagina de prestaties beïnvloeden, in plaats van simpelweg te bevestigen dat één holistisch herontwerp beter presteert dan een ander. Een herontworpen landingspagina die bijvoorbeeld als een enkele A/B-variant is getest, kan winnen, maar zonder multivariate testen is er geen manier om te weten of de verbetering te danken is aan de nieuwe koptekst, het verplaatste formulier of de bijgewerkte afbeeldingen. Deze informatie is echter cruciaal bij het toepassen van de opgedane kennis op andere pagina's. Multivariate testen zijn vooral nuttig voor pagina's met veel verkeer, omdat de statistische vereisten om betekenisvolle verschillen te detecteren tussen vele combinaties, vaak cellen genoemd, aanzienlijk toenemen met elke extra variabele. Een volledig factorieel ontwerp met twee variabelen in elk drie varianten vereist negen cellen, en elke cel heeft een voldoende grote steekproefomvang nodig, vaak honderden of duizenden conversies per cel, om betrouwbare statistische significantie te bereiken.

Vanwege deze verkeersvereiste wordt MVT doorgaans gereserveerd voor pagina's die al een aanzienlijk volume genereren, zoals een e-commerce homepage of een productpagina met een hoge intentie, en is het minder praktisch voor pagina's met minder verkeer, zoals een niche B2B-landingspagina, waar een reeks eenvoudige A/B-tests doorgaans sneller bruikbare conclusies oplevert. Testplatforms bieden doorgaans twee statistische benaderingen voor multivariate testen: volledige factoriële testen, waarbij elke mogelijke combinatie wordt getest voor maximaal inzicht, en fractionele factoriële testen of Taguchi-methoden, waarbij een gereduceerde subset van combinaties wordt getest om sneller tot conclusies te komen, ten koste van enkele interactiegegevens.

Een veelvoorkomend misverstand is dat multivariate testen simpelweg worden gezien als een snellere manier om meerdere A/B-tests tegelijk uit te voeren. In werkelijkheid is er aanzienlijk meer verkeer en een langere testduur nodig om dezelfde statistische betrouwbaarheid te bereiken als met een enkele A/B-test, omdat het verkeer over veel meer varianten wordt verdeeld. Het uitvoeren van een multivariate test met onvoldoende statistische power, waarbij de vereiste steekproefomvang per cel niet is bereikt voordat de resultaten werden geïnterpreteerd, is een van de meest voorkomende oorzaken van onjuiste conclusies bij conversieoptimalisatie. Een andere veelvoorkomende oorzaak is het voortijdig stoppen van een test op basis van de beste resultaten van de eerste week in plaats van de volledige geplande testduur, die vaak twee tot vier weken bedraagt ​​om rekening te houden met seizoensinvloeden.

Binnen een CRO In de consultancywereld wordt multivariate testen (MVT) doorgaans gezien als een geavanceerd instrument dat wordt ingezet nadat eenvoudigere A/B-testen de algemene richting van een hypothese al hebben bevestigd. Het is gereserveerd voor situaties waarin een klant voldoende verkeer heeft en gedetailleerd inzicht wil in welke specifieke pagina-elementen prioriteit moeten krijgen in toekomstig ontwerpwerk. Consultants combineren de resultaten van MVT meestal met kwalitatief onderzoek, zoals heatmaps of gebruikersinterviews, om niet alleen te verklaren welke combinatie numeriek het beste presteerde, maar ook waarom gebruikers daarop reageerden. Zo wordt een enkel experiment omgezet in een herbruikbaar ontwerpprincipe dat ook van toepassing kan zijn op andere pagina's dan de pagina die oorspronkelijk is getest.

Neem een ​​concreet voorbeeld: een team dat werkt aan een productpagina in een webshop wil twee varianten van de titel en twee stijlen van productafbeeldingen tegelijk testen. Een multivariate factoriële test levert vier combinaties op. Als de pagina een basisconversiepercentage van 5 procent heeft en het team een ​​relatieve verbetering van 10 procent in een bepaalde cel betrouwbaar wil detecteren, kan de benodigde steekproefomvang per cel gemakkelijk oplopen tot enkele duizenden bezoekers. Dit betekent dat de pagina tienduizenden bezoekers in totaal nodig heeft voordat de test is afgerond. Als de pagina daarentegen slechts enkele duizenden bezoekers per maand ontvangt, duurt dezelfde test vele maanden voordat er een significant verschil is. In dat geval levert het uitvoeren van twee opeenvolgende A/B-tests, waarbij eerst de titel en vervolgens de afbeelding worden geïsoleerd, doorgaans veel sneller een betrouwbaar en bruikbaar resultaat op.