Inkrementalitetstestning

Inkrementalitetstest måler det yderligere forretningsresultat forårsaget af en marketingaktivitet, i modsætning til det resultat, der blot er forbundet med den. Metoden er eksperimentel: en tilfældigt udvalgt gruppe holdes tilbage fra eksponering, og forskellen i resultater mellem den eksponerede og tilbageholdte gruppe er den inkrementelle effekt. Alt andet, inklusive platformrapporterede konverteringer og attributionsmodeller, beskriver korrelation mellem eksponering og resultat snarere end årsagssammenhæng.

Problemet, det løser, er, at attribution systematisk overkrediterer aktivitet rettet mod folk, der allerede ville konvertere. Branded søgeannoncering er standardillustrationen: den rapporterer stærk performance, fordi folk, der søger efter et brandnavn, har en høj intention, men en del af disse klik ville være kommet gennem det organiske resultat uden omkostninger. Den samme logik gælder for retargeting, for prospektive målgrupper opbygget fra eksisterende kunder og for enhver kanal, der finder folk tæt på et køb. Rapporteret afkast af annonceudgifter kan være fremragende, mens det inkrementelle afkast er tæt på nul.

Der anvendes adskillige designs afhængigt af, hvad der kan randomiseres. Geografiske holdouts opdeler markeder i matchede regioner, hvor aktivitet kører i nogle og ikke i andre, hvilket passer til kanaler, der ikke kan målrettes på individuelt niveau. Holdouts på målgruppeniveau tilbageholder en tilfældig procentdel af en adresserbar målgruppe, hvilket passer til e-mail, retargeting og platforme, der understøtter undertrykkelseslister. Undersøgelser af platformkonverteringsstigning randomiserer på auktionsniveau, selvom de er afhængige af, at platformen kører og rapporterer sin egen undersøgelse. Switchback-designs veksler eksponering over tid inden for ét marked, hvilket passer til aktiviteter, der ikke kan opdeles efter målgruppe.

Designdetaljer afgør, om resultatet er troværdigt. Kontaminering, hvor den gruppe, der holder ud, nås alligevel gennem en anden kanal eller gennem spillover mellem regioner, skæver målingen mod nul. Utilstrækkelig skala producerer intervaller, der er så brede, at testen ikke kan skelne en væsentlig effekt fra ingen, og inkrementalitetstests kræver generelt mere volumen, end teams forventer, fordi de effekter, der måles, er mindre, end korrelationstallene antyder. Målevinduet skal være langt nok til at fange forsinket konvertering, og tests med korte vinduer undervurderer systematisk effekter på overvejede køb.

Den organisatoriske vanskelighed er større end den metodologiske. Inkrementalitetstests viser ofte, at kanaler med fremragende rapporteret præstation bidrager langt mindre end antaget, hvilket truer budgetter, bureaurelationer og det interne omdømme hos den, der byggede argumentet for udgiften. Det, der forhindrer, at resultatet forhandles væk bagefter, er at forpligte sig til testen, før man ser resultatet, at aftale på forhånd, hvilken beslutning hvert resultat vil udløse, og at køre analysen med folk, der ikke har nogen interesse i svaret.

Testdesign bør også tage højde for, at inkrementalitet varierer afhængigt af målgruppe og kontekst snarere end at være en enkelt egenskab ved en kanal. Reklame, der i vid udstrækning er overflødig for eksisterende kunder, der alligevel ville vende tilbage, kan være reelt inkrementel for potentielle kunder, der aldrig har stødt på brandet, og et enkelt blandet resultat skjuler begge dele. Hvor volumen tillader det, producerer det at køre "holdout" inden for definerede segmenter langt mere handlingsrettede resultater end et gennemsnit på kanalniveau, fordi den resulterende beslutning normalt ikke er, om man skal stoppe en kanal, men hvilke målgrupper inden for den man skal fortsætte med at betale for. Det er også derfor, at resultater fra én periode bør genetableres med jævne mellemrum, da inkrementalitet ændrer sig, når brand awareness, konkurrenceaktivitet og målgruppemætning ændrer sig.

Da resultaterne direkte bestemmer, hvor budgettet skal placeres, hører dette arbejde hjemme i krydsfeltet mellem måling og planlægning. Det eksperimentelle design og analyse håndteres normalt af dataanalyse, udførelsen af marketing tjenester, og omfordelingsbeslutningerne fra vækststyring, da testens værdi først realiseres, når forbruget rent faktisk bevæger sig som reaktion på det, den fandt.