Multivariate testing (MVT) is een experimenteermethode om te bepalen hoe meerdere pagina-elementen op elkaar inwerken, door gelijktijdig meerdere varianten van twee of meer onderdelen op dezelfde pagina te testen en het gecombineerde effect op een doelmetriek, zoals de conversieratio, te meten. Waar een standaard A/B-test één complete paginavariant met een andere vergelijkt, kan een multivariate test bijvoorbeeld de kop op twee manieren en de hoofdafbeelding op drie manieren tegelijk variëren, wat zes afzonderlijke combinaties oplevert die aan verschillende delen van het verkeer worden getoond. De uitkomst laat niet alleen zien welke combinatie in totaal het beste presteert, maar ook de individuele bijdrage van elk element en of elementen elkaar beïnvloeden, wat betekent dat het effect van het ene onderdeel afhangt van de versie van een ander onderdeel waarmee het wordt gecombineerd.
Deze aanpak is waardevol wanneer een team wil begrijpen welke specifieke elementen van een pagina de prestaties aandrijven, in plaats van alleen te bevestigen dat de ene totale herontwerp beter presteert dan de andere. Een opnieuw ontworpen landingspagina die als enkele A/B-variant wordt getest, kan bijvoorbeeld winnen, maar zonder multivariate testing is niet te achterhalen of de verbetering komt door de nieuwe kop, het verplaatste formulier of de vernieuwde beeldtaal, informatie die van belang is bij het toepassen van inzichten op andere pagina's. Multivariate testing is het nuttigst voor pagina's met veel verkeer, omdat de statistische eis om betekenisvolle verschillen over veel combinaties, vaak cellen genoemd, te detecteren aanzienlijk toeneemt met elke extra variabele. Een volledig factorieel ontwerp met twee variabelen met elk drie varianten vereist negen cellen, en elke cel heeft een voldoende grote steekproef nodig, vaak honderden of duizenden conversies per cel, om betrouwbare statistische significantie te bereiken.
Vanwege deze verkeerseis is MVT doorgaans voorbehouden aan pagina's die al veel verkeer ontvangen, zoals de homepage van een webshop of een productpagina met sterke koopintentie, en minder praktisch voor pagina's met weinig verkeer, zoals een nichegerichte B2B-landingspagina, waar een opeenvolgende reeks eenvoudige A/B-tests meestal sneller tot bruikbare conclusies leidt. Testplatforms bieden doorgaans twee statistische benaderingen voor multivariate testing: volledig factorieel, waarbij elke mogelijke combinatie wordt getest voor maximaal inzicht, en fractioneel factorieel of Taguchi-methoden, waarbij een beperkte selectie van combinaties wordt getest om sneller tot conclusies te komen ten koste van een deel van de interactiedata.
Een veelvoorkomend misverstand is dat multivariate testing simpelweg een snellere manier zou zijn om meerdere A/B-tests tegelijk uit te voeren. In werkelijkheid is er aanzienlijk meer verkeer en een langere testduur nodig om dezelfde statistische betrouwbaarheid te bereiken als bij één A/B-test, omdat het verkeer over veel meer varianten wordt verdeeld. Een multivariate test met onvoldoende power, waarbij de vereiste steekproefgrootte per cel niet werd gehaald voordat de resultaten werden geïnterpreteerd, is een van de meest voorkomende oorzaken van foute conclusies in conversie-optimalisatie, naast het voortijdig stoppen van een test op basis van vroege resultaten uit week één in plaats van de volledige geplande testduur, die vaak op twee tot vier weken wordt gesteld om rekening te houden met weekpatronen.
Binnen een CRO-adviespraktijk wordt multivariate testing doorgaans gepositioneerd als een geavanceerd instrument dat wordt ingezet nadat eenvoudiger A/B-tests de algemene richting van een hypothese hebben gevalideerd, voor situaties waarin een klant over voldoende verkeer beschikt en gedetailleerd inzicht wil in welke pagina-elementen prioriteit verdienen in toekomstig ontwerpwerk. Adviseurs combineren MVT-resultaten doorgaans met kwalitatief onderzoek, zoals heatmaps of gebruikersinterviews, om niet alleen te verklaren welke combinatie numeriek won, maar ook waarom gebruikers erop reageerden. Zo wordt één experiment een herbruikbaar ontwerpprincipe dat ook pagina's buiten de oorspronkelijk geteste pagina kan sturen.
Een concreet voorbeeld: het team van een productpagina in een webshop wil twee kopvarianten en twee stijlen productafbeeldingen tegelijk testen. Een volledig factoriële multivariate test levert vier combinaties op. Als de pagina een basisconversie van 5 procent heeft en het team in elke cel betrouwbaar een relatieve verbetering van 10 procent wil kunnen detecteren, kan de benodigde steekproef per cel gemakkelijk uitkomen op enkele duizenden bezoekers, wat betekent dat de pagina tienduizenden bezoekers in totaal nodig heeft voordat de test is afgerond. Ontvangt de pagina slechts enkele duizenden bezoekers per maand, dan duurt dezelfde test vele maanden voordat significantie wordt bereikt. Op dat moment levert het uitvoeren van twee opeenvolgende A/B-tests, eerst voor de kop en daarna voor de afbeelding, doorgaans veel eerder een betrouwbaar, bruikbaar antwoord op.
Meer termen die beginnen met M
Marktomvang bepalen (Market Sizing)Marketingautomatisering (marketing automation)Marketing mix modeling (MMM)Marketing qualified lead (MQL)Maturiteitsmodel (Maturity Model)Mediakit (media kit)Mediaplanning (media planning)Mentaal model (mental model)MerchandisingMicro-conversiesMicrocopyMinimaal detecteerbaar effect (MDE)
