Inkrementaalisuustestaus

Inkrementaalitestaus mittaa markkinointitoimen aiheuttamaa lisäliiketoimintatulosta erotuksena siihen pelkästään liittyvästä tuloksesta. Menetelmä on kokeellinen: satunnaisesti valittu ryhmä estetään näkyvyydestä, ja näkyneiden ja estämättömien ryhmien tulosten välinen ero on inkrementaalinen vaikutus. Kaikki muu, mukaan lukien alustan raportoimat konversiot ja attribuutiomallit, kuvaa näkyvyyden ja tuloksen välistä korrelaatiota pikemminkin kuin syy-seuraussuhdetta.

Sen ratkaisema ongelma on se, että attribuutio yliarvioi systemaattisesti toiminnan, joka kohdistuu ihmisiin, jotka jo aikoivat konvertoida. Brändätty hakusanamainonta on tästä tavanomainen esimerkki: se raportoi vahvasta suorituskyvystä, koska brändinimeä etsivillä ihmisillä on vahva aikomus ostaa, mutta osa näistä klikkauksista olisi tullut orgaanisen tuloksen kautta ilman kustannuksia. Sama logiikka pätee uudelleenkohdistamiseen, olemassa olevista asiakkaista rakennettujen yleisöjen etsimiseen ja kaikkiin kanaviin, jotka löytävät ihmisiä lähellä ostopäätöstä. Raportoitu mainosmenojen tuotto voi olla erinomainen, kun taas lisätuotto on lähellä nollaa.

Käytössä on useita malleja riippuen siitä, mitä voidaan satunnaistaa. Maantieteelliset rajoitukset jakavat markkinat vastaaviin alueisiin, jolloin toimintaa on joissakin ja toisissa ei, mikä sopii kanaville, joita ei voida kohdentaa yksilötasolla. Yleisötason rajoitukset pitävät sisällään satunnaisen prosenttiosuuden kohdennettavasta yleisöstä, mikä sopii sähköpostille, uudelleenkohdistamiselle ja alustoille, jotka tukevat estolistoja. Alustakonversioiden nousua koskevat tutkimukset satunnaistavat huutokauppatasolla, vaikka ne ovatkin riippuvaisia ​​alustasta oman tutkimuksensa suorittamisessa ja raportoinnissa. Switchback-mallit vaihtelevat näkyvyyttä ajan kuluessa yhden markkinan sisällä, mikä sopii aktiviteetteihin, joita ei voida jakaa yleisön mukaan.

Suunnittelun yksityiskohdat ratkaisevat, onko tulos luotettava. Kontaminaatio, jossa vastustajaryhmään päästään joka tapauksessa toisen kanavan kautta tai alueiden välisen heijastusvaikutuksen kautta, vääristää mittausta kohti nollaa. Riittämätön skaala tuottaa niin leveitä välejä, että testi ei pysty erottamaan merkittävää vaikutusta ei-vaikutuksesta, ja inkrementaalisuustestit yleensä vaativat enemmän volyymia kuin tiimit odottavat, koska mitattavat vaikutukset ovat pienempiä kuin korrelaatioluvut viittaavat. Mittausikkunan on oltava riittävän pitkä viivästyneen konversion havaitsemiseksi, ja lyhyen ikkunan testit aliarvioivat systemaattisesti vaikutuksia harkittuihin ostoihin.

Organisointiin liittyvä vaikeus on suurempi kuin metodologinen. Inkrementaalitestit osoittavat usein, että erinomaisen raportoidun suorituskyvyn omaavat kanavat tuottavat paljon vähemmän kuin uskotaan, mikä uhkaa budjetteja, agentuurisuhteita ja investoinnin perustelun rakentaneen henkilön sisäistä mainetta. Sitoutuminen testiin ennen tuloksen näkemistä, etukäteen sopiminen siitä, minkä päätöksen kukin tulos aiheuttaa, ja analyysin suorittaminen ihmisten kanssa, joilla ei ole mitään intressiä vastaukseen, estävät löydöksen pois neuvottelemisen jälkikäteen.

Testisuunnittelussa tulisi myös ottaa huomioon, että lisäys vaihtelee yleisön ja kontekstin mukaan sen sijaan, että se olisi kanavan yksittäinen ominaisuus. Mainonta, joka on pitkälti tarpeetonta olemassa oleville asiakkaille, jotka palaisivat joka tapauksessa, voi olla aidosti lisäystä potentiaalisille asiakkaille, jotka eivät ole koskaan kohdanneet brändiä, ja yksi yhdistetty tulos peittää molemmat. Jos volyymi sallii, pidätystestin suorittaminen määritellyissä segmenteissä tuottaa paljon toiminnallisempia tuloksia kuin kanavatason keskiarvo, koska tuloksena oleva päätös ei yleensä ole kanavan lopettaminen, vaan se, mille yleisöille sen sisällä jatketaan maksamista. Tästä syystä myös yhden ajanjakson tulokset tulisi määrittää uudelleen säännöllisesti, koska lisäys muuttuu bränditietoisuuden, kilpailun ja yleisön kyllästymisen muuttuessa.

Koska tulokset määräävät suoraan, mihin budjetin tulisi kohdistaa, tämä työ kuuluu mittaamisen ja suunnittelun yhtymäkohtaan. Kokeellisen suunnittelun ja analyysin hoitaa yleensä data-analytiikka, suoritus markkinointipalvelutja uudelleenkohdentamispäätökset kasvun hallinta, koska testin arvo toteutuu vasta, kun kulutus todella muuttuu vastauksena testin löydöksiin.