Incrementaliteitstesten meten het extra bedrijfsresultaat dat een marketingactiviteit oplevert, in tegenstelling tot het resultaat dat er slechts mee samenhangt. De methode is experimenteel: een willekeurig geselecteerde groep wordt niet aan de activiteit blootgesteld, en het verschil in resultaten tussen de blootgestelde en de niet-blootgestelde groep is het incrementele effect. Al het andere, inclusief door het platform gerapporteerde conversies en attributiemodellen, beschrijft de correlatie tussen blootstelling en resultaat in plaats van causaliteit.
Het probleem dat hiermee wordt opgelost, is dat attributie systematisch te veel waarde toekent aan activiteiten gericht op mensen die toch al van plan waren te converteren. Merkgerichte zoekadvertenties zijn hiervan het standaardvoorbeeld: ze rapporteren sterke prestaties omdat mensen die naar een merknaam zoeken een hoge intentie hebben, maar een deel van die klikken zou sowieso via de organische zoekresultaten zijn binnengekomen, zonder kosten. Dezelfde logica geldt voor retargeting, voor prospectie op basis van bestaande klanten en voor elk kanaal dat mensen bereikt die dicht bij een aankoop staan. Het gerapporteerde rendement op advertentie-uitgaven kan uitstekend zijn, terwijl het incrementele rendement bijna nul is.
Er worden verschillende ontwerpen gebruikt, afhankelijk van wat er willekeurig kan worden bepaald. Bij geografische holdouts worden markten opgedeeld in overeenkomende regio's, waarbij activiteiten in sommige wel en in andere niet plaatsvinden. Dit is geschikt voor kanalen die niet op individueel niveau kunnen worden gericht. Bij holdouts op doelgroepniveau wordt een willekeurig percentage van een adresseerbare doelgroep buitengesloten. Dit is geschikt voor e-mailmarketing, retargeting en platforms die onderdrukkingslijsten ondersteunen. Bij platformconversieonderzoeken wordt er willekeurig gerandomiseerd op veilingniveau, hoewel het platform zelf de analyse moet uitvoeren en rapporteren. Bij switchback-ontwerpen wordt de blootstelling in de loop van de tijd binnen één markt afgewisseld. Dit is geschikt voor activiteiten die niet per doelgroep kunnen worden opgesplitst.
Ontwerpdetails bepalen of het resultaat betrouwbaar is. Contaminatie, waarbij de testgroep via een ander kanaal of door overloop tussen regio's toch wordt bereikt, vertekent de meting richting nul. Een onvoldoende schaal leidt tot zulke brede intervallen dat de test geen onderscheid kan maken tussen een substantieel effect en geen effect, en incrementaliteitstests vereisen over het algemeen meer volume dan teams verwachten, omdat de gemeten effecten kleiner zijn dan de correlatiecijfers suggereren. Het meetvenster moet lang genoeg zijn om vertraagde conversie vast te leggen, en tests met een kort venster onderschatten systematisch de effecten op overwogen aankopen.
De organisatorische moeilijkheid is groter dan de methodologische. Tests naar incrementaliteit tonen vaak aan dat kanalen met uitstekende gerapporteerde prestaties veel minder bijdragen dan gedacht, wat budgetten, relaties met instanties en de interne reputatie van degene die de uitgaven heeft onderbouwd, in gevaar brengt. Door de test uit te voeren voordat de resultaten bekend zijn, vooraf af te spreken welke beslissing elke uitkomst zal teweegbrengen en de analyse uit te voeren met mensen die geen belang hebben bij de uitkomst, wordt voorkomen dat de bevindingen achteraf worden teruggedraaid.
Bij het ontwerpen van tests moet ook rekening worden gehouden met het feit dat de meerwaarde varieert per doelgroep en context, in plaats van een eenduidige eigenschap van een kanaal te zijn. Reclame die grotendeels overbodig is voor bestaande klanten die toch wel terugkeren, kan wel degelijk meerwaarde bieden aan potentiële klanten die nog nooit met het merk in aanraking zijn gekomen. Een enkel, gecombineerd resultaat verhult beide aspecten. Waar het volume het toelaat, levert het uitvoeren van de test binnen gedefinieerde segmenten veel bruikbare inzichten op dan een gemiddelde op kanaalniveau. De uiteindelijke beslissing is immers meestal niet of een kanaal moet worden stopgezet, maar voor welke doelgroepen binnen dat kanaal moet worden blijven betaald. Dit is ook de reden waarom de resultaten van een bepaalde periode periodiek opnieuw moeten worden vastgesteld, aangezien de meerwaarde verandert naarmate de merkbekendheid, de concurrentie en de doelgroepverzadiging veranderen.
Omdat de resultaten direct bepalen waar het budget naartoe moet, hoort dit werk thuis op het snijvlak van meting en planning. Het experimenteel ontwerp en de analyse worden normaal gesproken uitgevoerd door Data analyticsde executie door Marketing dienstenen de herverdelingsbeslissingen door groei managementDe waarde van de test wordt immers pas duidelijk wanneer de uitgaven daadwerkelijk veranderen als reactie op de bevindingen.