Inkrementalitätstests

Inkrementalitätstests messen den zusätzlichen Geschäftserfolg einer Marketingmaßnahme, im Gegensatz zum lediglich damit verbundenen Ergebnis. Die Methode ist experimentell: Eine zufällig ausgewählte Gruppe wird von der Maßnahme ausgeschlossen, und die Differenz der Ergebnisse zwischen der exponierten und der nicht exponierten Gruppe entspricht dem inkrementellen Effekt. Alle anderen Methoden, einschließlich plattformseitig gemeldeter Konversionen und Attributionsmodelle, beschreiben lediglich die Korrelation zwischen Maßnahme und Ergebnis, nicht aber die Kausalität.

Das Problem, das damit gelöst wird, besteht darin, dass die Attributionsmethode Aktivitäten, die auf ohnehin zur Conversion führende Nutzer abzielen, systematisch überbewertet. Marken-Suchmaschinenwerbung ist hierfür ein typisches Beispiel: Sie weist hohe Performance auf, weil Nutzer, die nach einem Markennamen suchen, eine hohe Kaufabsicht haben. Ein Teil dieser Klicks wäre jedoch auch kostenlos über die organischen Suchergebnisse erfolgt. Dieselbe Logik gilt für Retargeting, für die Ansprache von Neukunden aus bestehenden Kunden und für jeden Kanal, der potenzielle Kunden kurz vor dem Kaufabschluss erreicht. Der ausgewiesene Return on Ad Spend (ROAS) kann exzellent sein, während der inkrementelle Return on Ad Spend (CRWS) gegen null tendiert.

Je nachdem, was randomisiert werden kann, kommen verschiedene Designs zum Einsatz. Geografische Filterung teilt Märkte in vergleichbare Regionen auf und führt in einigen Regionen Aktivitäten durch, in anderen jedoch nicht. Dies eignet sich für Kanäle, die nicht individuell angesprochen werden können. Zielgruppenbasierte Filterung hält einen zufälligen Prozentsatz der Zielgruppe zurück. Dies ist geeignet für E-Mail-Marketing, Retargeting und Plattformen, die Sperrlisten unterstützen. Studien zur Conversion-Steigerung auf Plattformebene randomisieren auf Auktionsebene, sind jedoch darauf angewiesen, dass die Plattform die Analyse durchführt und auswertet. Switchback-Designs variieren die Werbewirkung innerhalb eines Marktes im Zeitverlauf. Dies eignet sich für Aktivitäten, die nicht nach Zielgruppen aufgeteilt werden können.

Die Details des Studiendesigns entscheiden über die Zuverlässigkeit der Ergebnisse. Kontamination, bei der die Kontrollgruppe über einen anderen Kanal oder durch regionale Überschneidungen erreicht wird, verfälscht die Messung und führt zu einem Nullwert. Ein zu geringer Umfang erzeugt so breite Intervalle, dass der Test einen signifikanten Effekt nicht von keinem unterscheiden kann. Inkrementalitätstests benötigen in der Regel ein größeres Datenvolumen als erwartet, da die gemessenen Effekte geringer sind als die Korrelationszahlen vermuten lassen. Das Messfenster muss lang genug sein, um verzögerte Konversionen zu erfassen, und Tests mit kurzem Messfenster unterschätzen systematisch die Auswirkungen auf geplante Käufe.

Die organisatorische Schwierigkeit ist größer als die methodische. Inkrementalitätstests zeigen häufig, dass Kanäle mit ausgezeichneter Leistung deutlich weniger beitragen als angenommen. Dies gefährdet Budgets, Agenturbeziehungen und den internen Ruf derjenigen, die die Ausgaben begründet haben. Die Durchführung des Tests vor Bekanntgabe des Ergebnisses, die vorherige Vereinbarung der Konsequenzen jedes Ergebnisses und die Einbeziehung von Personen, die kein Interesse am Ergebnis haben, verhindern, dass die Ergebnisse im Nachhinein verhandelt werden.

Das Testdesign sollte berücksichtigen, dass die inkrementelle Wirkung je nach Zielgruppe und Kontext variiert und nicht kanalspezifisch ist. Werbung, die für Bestandskunden, die ohnehin wiederkommen würden, weitgehend überflüssig ist, kann für potenzielle Neukunden, die die Marke noch nicht kennen, durchaus inkrementell wirken. Ein einzelnes, zusammengefasstes Ergebnis verschleiert beides. Sofern das Testvolumen es zulässt, liefert die Durchführung des Holdout-Tests in definierten Segmenten deutlich aussagekräftigere Erkenntnisse als ein kanalweiter Durchschnittswert. Denn die Entscheidung betrifft in der Regel nicht die Einstellung eines Kanals, sondern die Frage, für welche Zielgruppen innerhalb dieses Kanals weiterhin bezahlt werden soll. Aus diesem Grund sollten die Ergebnisse eines Zeitraums regelmäßig überprüft werden, da sich die inkrementelle Wirkung mit der Markenbekanntheit, der Wettbewerbsaktivität und der Zielgruppensättigung verändert.

Da die Ergebnisse direkt über die Budgetverteilung entscheiden, gehört diese Arbeit an die Schnittstelle von Messung und Planung. Versuchsplanung und -analyse werden üblicherweise von … durchgeführt. Datenanalyse, die Hinrichtung durch Marketing-Dienstleistungenund die Umverteilungsentscheidungen von WachstumsmanagementDenn der Wert des Tests kommt erst dann zum Tragen, wenn sich die Ausgaben tatsächlich als Reaktion auf die Ergebnisse verändern.