Monimuuttujatestaus (MVT, multivariate testing) on kokeilumenetelmä, jolla selvitetään, miten useat sivun elementit vaikuttavat toisiinsa. Menetelmässä testataan samanaikaisesti usean vähintään kahden komponentin muunnelmia samalla sivulla ja mitataan yhteisvaikutusta tavoitemittariin, kuten konversioprosenttiin. Siinä missä tavallinen A/B-testi vertaa yhtä kokonaista sivuvarianttia toiseen, monimuuttujatestissä voidaan vaihdella otsikkoa kahdella tavalla ja pääkuvaa kolmella tavalla yhtä aikaa, jolloin syntyy kuusi erilaista yhdistelmää, jotka näytetään eri osille liikennettä. Tulos ei ainoastaan kerro, mikä yhdistelmä toimii parhaiten kokonaisuutena, vaan paljastaa myös kunkin elementin yksittäisen vaikutuksen ja sen, onko elementtien välillä yhteisvaikutuksia, eli riippuuko yhden komponentin vaikutus siitä, minkä toisen komponentin version kanssa se esitetään.
Lähestymistapa on arvokas, kun tiimin on ymmärrettävä, mitkä sivun yksittäiset elementit ajavat tulosta, eikä riitä pelkkä toteamus siitä, että yksi kokonaisvaltainen uudistus voittaa toisen. Esimerkiksi uudistettu laskeutumissivu voi voittaa yhtenä A/B-variantina, mutta ilman monimuuttujatestausta ei voi tietää, johtuiko parannus uudesta otsikosta, siirretystä lomakkeesta vai päivitetyistä kuvista. Tällä tiedolla on merkitystä, kun oppeja sovelletaan muihin sivuihin. Monimuuttujatestaus on hyödyllisintä runsaan liikenteen sivuilla, koska merkitsevien erojen havaitsemisen tilastollinen vaatimus useiden yhdistelmien, eli solujen (cell), välillä kasvaa voimakkaasti jokaisen lisämuuttujan myötä. Täydellinen faktorikoe (full factorial) kahdella muuttujalla ja kolmella muunnelmalla kummallakin vaatii yhdeksän solua, ja jokaisessa solussa tarvitaan riittävä otoskoko, usein satoja tai tuhansia konversioita solua kohti, jotta tilastollinen merkitsevyys saavutetaan luotettavasti.
Tämän liikennevaatimuksen vuoksi MVT varataan yleensä sivuille, jotka saavat jo huomattavan määrän liikennettä, kuten verkkokaupan etusivulle tai vahvan ostoaikeen tuotesivulle. Pienemmän liikenteen sivuilla, kuten kapean kohderyhmän B2B-laskeutumissivulla, se on epäkäytännöllisempi, ja peräkkäisten yksinkertaisten A/B-testien sarja johtaa yleensä toimintakelpoisiin johtopäätöksiin nopeammin. Testausalustat tarjoavat yleensä kaksi tilastollista lähestymistapaa monimuuttujatestaukseen: täydellinen faktorikoe, joka testaa jokaisen mahdollisen yhdistelmän ja antaa eniten tietoa, sekä osittainen faktorikoe tai Taguchi-menetelmät, jotka testaavat vain osan yhdistelmistä ja saavuttavat johtopäätökset nopeammin, mutta menettävät osan yhteisvaikutustiedoista.
Yleinen väärinkäsitys on pitää monimuuttujatestausta vain nopeampana tapana ajaa useita A/B-testejä kerralla. Todellisuudessa se vaatii merkittävästi enemmän liikennettä ja pidemmän testiajan saman tilastollisen luottamuksen saavuttamiseen kuin yksittäinen A/B-testi, koska liikenne jaetaan paljon useampaan varianttiin. Riittämättömällä otoksella toteutettu monimuuttujatesti, jossa solukohtaista vaadittua otoskokoa ei saavutettu ennen tulosten tulkintaa, on yksi yleisimmistä virheellisten johtopäätösten syistä konversio-optimoinnissa. Samaan joukkoon kuuluu testin ennenaikainen lopettaminen ensimmäisen viikon johtavien tulosten perusteella koko suunnitellun testiajan sijaan. Suunniteltu kesto on usein kahdesta neljään viikkoa, jotta viikoittainen kausivaihtelu tulee huomioitua.
CRO-konsultoinnissa monimuuttujatestaus sijoitetaan yleensä edistyneeksi työkaluksi, jota käytetään sen jälkeen, kun yksinkertaisemmat A/B-testit ovat jo vahvistaneet hypoteesin yleisen suunnan. Sitä käytetään tilanteissa, joissa asiakkaalla on riittävästi liikennettä ja hän haluaa yksityiskohtaista tietoa siitä, mitkä sivun elementit kannattaa priorisoida tulevassa suunnittelutyössä. Konsultit yhdistävät MVT-tulokset tyypillisesti laadulliseen tutkimukseen, kuten lämpökarttoihin tai käyttäjähaastatteluihin, jotta voidaan selittää paitsi mikä yhdistelmä voitti numeerisesti, myös miksi käyttäjät reagoivat siihen niin. Näin yksittäisestä kokeesta tulee uudelleenkäytettävä suunnitteluperiaate, joka palvelee myös alkuperäisen testisivun ulkopuolisia sivuja.
Tarkastellaan konkreettista esimerkkiä: verkkokaupan tuotesivun tiimi haluaa testata kahta otsikkovarianttia ja kahta tuotekuvatyyliä samanaikaisesti. Täydellinen faktorikoe tuottaa neljä yhdistelmää, ja jos sivun lähtötason konversio on 5 prosenttia ja tiimi haluaa luotettavasti havaita 10 prosentin suhteellisen parannuksen missä tahansa solussa, vaadittu otoskoko solua kohti voi helposti nousta useisiin tuhansiin kävijöihin. Tällöin sivu tarvitsisi kymmeniä tuhansia kävijöitä yhteensä ennen testin päättymistä. Jos sivulla kävisi vain muutama tuhat kävijää kuukaudessa, sama testi kestäisi monta kuukautta merkitsevyyden saavuttamiseen. Silloin kahden peräkkäisen A/B-testin ajaminen, ensin otsikon ja sitten kuvan eristäminen, tuottaisi tyypillisesti varman ja toimintakelpoisen vastauksen paljon aiemmin.
Lisää kirjaimella M alkavia termejä
Markkinakoon arviointiMarkkinoinnin automaatio (marketing automation)Markkinointimixin mallinnus (marketing mix modeling, MMM)Markkinoinnin kvalifioima liidi (MQL)KypsyysmalliMediapaketti (Media Kit)Mediasuunnittelu (Media Planning)Mentaalimalli (Mental Model)Merchandising (tuotteiden esillepano)MikrokonversiotMikrotekstit (Microcopy)Pienin havaittava vaikutus (MDE)
