Fire design for testing av en endring du ikke kan dele opp etter bruker, og når hver av dem villeder deg

Fire design for testing av en endring du ikke kan dele opp etter bruker, og når hver av dem villeder deg

Noen av endringene med de største inntektskonsekvensene kan ikke deles opp etter bruker. En terskel for gratis frakt, en prisliste, en budtjenestemiks, en radioflyvning, en endring i hvem som betaler for returer: de gjelder for alle eller ingen. Team hopper vanligvis enten over måling eller kjører en før-og-etter-analyse og kaller forskjellen en økning.

Begge er dyre. I en publisert casestudie av et geoeksperiment satte standardforholdsestimatoren den inkrementelle avkastningen på annonseutgifter i et 95 %-intervall på [-1.26, 5.69]; en trimmet estimator på de samme dataene returnerte [0.25, 1.74] (Chen og Au, 2019En av disse inneholder null og forteller deg ingenting.

Denne veiledningen er for vekst-, CRO- og analyseledere som må sette et tall på en endring de ikke kan randomisere per bruker. Til slutt vil du kunne velge mellom fire design, vite hva hver av dem trenger før den fungerer, og vite hvilket som vil villede deg der etterspørselen konsentreres i én by.

De fire designene i én setning hver

Randomisert paret geoeksperiment (geo holdout). Del geografiske enheter inn i behandling og kontroll etter å ha matchet dem på respons før perioden, og sammenlign deretter armene. Vaver og Koehler (2011) Ranger geografiske områder etter deres metrikk før testen, del listen inn i grupper av størrelse M, og velg tilfeldig ett geografiområde per gruppe for behandling.

Tilbakekobling (tidsdeling). Implementer endringen i hele virksomheten, slå den av og på i blokker, og behandle blokkene som tilfeldige enheter. Bojinov, Simchi-Levi og Zhao (2023) utlede optimale design under antagelser om hvor lenge en effekt varer etter et bytte, pluss en datadrevet måte å estimere overføringslengden.

Syntetisk kontroll. Bygg en vektet kombinasjon av ubehandlede markeder som sporer det behandlede markedets oppførsel før perioden, og les deretter gapet etter lansering. Dette er Abadie, Diamond og Hainmueller (2010), og motoren inni Metas GeoLift.

Avbrutt tidsserie. Modeller hva serien ville ha gjort og les av forskjellen, uten kontrollgruppe. Den bayesianske strukturelle tidsserieversjonen er Brodersen et al. (2015)Det er den svakeste av de fire, og den som oftest brukes ved et uhell: «sammenlign med forrige måned» er denne designen uten modelleringen.

Sammenlign dem på åtte kriterier

CriterionGeografisk holdoutSwitchbackSyntetisk kontrollAvbrutt tidsserie
Enheter som trengsMange sammenlignbare geografiske områder (kildeeksempel: 210 amerikanske DMA-er)Én bedrift, mange tidsblokker1–5 behandlede markeder pluss en giverpool (GeoLift: 40 byer)Én serie
Data før periodenEn pseudo-testlengde før menstruasjon (14 dager i eksemplet)Nok historikk til å estimere overføringGeoLifts eksempel bruker 90 dager med daglige dataLang, stabil historie
Overlever et nasjonalt sjokkJa, den treffer begge armeneNei, et støt inne i en blokk blir effektenMest hvis givere deler detNei
Tolererer ett dominerende markedDårligJa, geografi er irrelevantJa, det er den viktigste bruksmåtenJa
Risiko for ringvirkningerEkte: grenseoverskridende handel, nasjonale medierIngen geografisk, høy tidsmessigEkte, samme som geografisk holdoutIkke aktuelt
Realistisk minimum detekterbar effektMellom enkeltsifret antall med nok geografiske områderLiten, hvis effekten er raskGeoLifts standard strømnett starter på 5 %Vanligvis tosifret
Tid for brukbar leseopplevelseUker pluss responsforsinkelseDager til ukerukerUker, aldri avgjørende
Det den ikke kan fortelle degAtferd per bruker; den sporer ingen enkeltpersonerSaktebyggende effekter som repetisjonsfrekvensOm passformen er riktig snarere enn nærOm noe annet har endret seg også

Når hver enkelt vinner

  • Geografisk holdout Når endringen kan målrettes geografisk, har du noen dusin sammenlignbare enheter, og du trenger et forsvarlig tall for et budsjettargument. Det er den eneste av de fire med reell randomisering, så den eneste som beskytter deg mot skjevheter du ikke har tenkt på.
  • Switchback når endringen er global av natur (en prisregel, en søkealgoritme, en kurerallokering) og effekten er rask. Den mislykkes når effekten tar lengre tid å vises enn blokklengden din.
  • Syntetisk kontroll når du bare får endret ett eller to markeder, vanligvis fordi en lansering eller en regulering tvinger frem delingen. Det er observasjonelt: du hevder at giverpoolen ville ha sporet det behandlede markedet, ikke demonstrerer det.
  • Avbrutt tidsserie bare når ingen sammenligningsenhet finnes noe sted, rapportert som et estimat med en eksplisitt liste over hva annet som beveget seg.

Hvis endringen rulles ut til forskjellige markeder til forskjellige tider, befinner du deg i et forskjøvet differanse-i-differanse-territorium, hvor den naive toveis regresjonen med faste effekter er skjev. Bruk estimatorene i Callaway og Sant'Anna (2021).

Hvorfor den regionale markedsstrukturen bryter standard geografisk oppdeling

Geografiske design forutsetter at etterspørselen er spredt over mange enheter av omtrent samme størrelse. I Tyrkia er det ikke tilfellet. Handelsdepartementets rapport om e-handel i 2025 anslår et totalvolum på 4.57 billioner TL fordelt på 5.94 milliarder transaksjoner, og for kampanjeperioden i november 2025 rapporterer markedsplasser Istanbul med 31 % av volumet etter kjøpers lokasjon og 67 % etter selgers lokasjon (TC Ticaret Bakanligi). Merk begrensningene: én kampanjemåned, kun markedsplasser. Det er riktig størrelsesorden, ikke en konstant.

Det tallet avgjør designet ditt. Med 81 provinser, men omtrent en tredjedel av etterspørselen i én, gir en tilfeldig provinsfordeling et resultat som i hovedsak bestemmes av hvilken gren Istanbul havnet i. Tre svar:

  • Ekskluder den dominerende enheten fra randomisering og analyser det separat. Si det; resultatet generaliserer deretter til resten av landet, ikke hele boken.
  • Del det opp i underenheter (distrikter, budsoner), så det bidrar med flere enheter. Fungerer bare hvis plattformen og analysene både kan målrette og rapportere på det aktuelle området.
  • Rull opp provinser inn i de statistiske regionene rapporteringen din allerede bruker: Tyrkias IBBS Duzey 2, eller NØTTER-2 for EU-markeder. Færre balanserte enheter slår mange ujevne enheter.

Det samme gjelder der etterspørselen er konsentrert i én storby. Et design lånt fra amerikanske DMA-eksempler vil ikke overføres.

Et praktisert eksempel: å flytte grensen for gratis frakt

  1. Skriv avgjørelsen først. «Hvis bidragsbidraget per økt ikke faller med mer enn 2 %, ruller vi det ut.» Et design som ikke kan oppdage 2 % er feil design, og det vet du nå før du bygger det.
  2. Tell enhetene dine. Etter å ha ekskludert Istanbul og slått sammen provinser under en volumgrense, anta at det gjenstår 24 brukbare regioner. For få til en paret geotest med en 2 %-effekt. Det er svaret, ikke et tilbakeslag.
  3. Bryterdesign. En terskel er en prisregel, så switchback passer: veksle den ukentlig på hele nettstedet over åtte blokker, og estimer overføringen fra hvor lang tid det tar for handlekurvstørrelsen å stabilisere seg etter hvert bytte.
  4. Navngi autovernet. Ordrefrekvens og gjennomsnittlig handlekurvverdi vil bevege seg i motsatt retning. Velg den primære målingen før lansering, ikke etter.
  5. Sjekk timeplanen for forvirringer. Hvis en kampanjeuke havner inni en blokk, er den blokken forurenset. Dropp den i stedet for å modellere rundt den.
  6. Sjekk rørleggerarbeidet først. Bekreft med en endags pilotundersøkelse at plattformen og analysene både retter seg mot og rapporterer på det valgte kornet, og forleng målevinduet utover endringen med responsforsinkelsen.

[INTERNE DATA NØDVENDIG: Switas' egen fordeling av ordrevolum per provins for en representativ e-handelsklient, slik at «24 brukbare regioner» kan erstattes med et reelt antall og volumgrense.]

Hvor dette brytes ned

Ingen av disse designene måler en effekt per bruker. De måler hva som skjedde med et marked eller en tidsblokk. Hvis spørsmålet er «hvilket segment svarte», kan ikke et geodesign svare på det, og ingen bør lese et segment delt opp av ett.

Slutningen om tilbakekobling avhenger av antagelsen om overføring, og kildeartikkelen er eksplisitt om at feil spesifisering av overføringsrekkefølge forringer resultatet. Hvis du ikke kan estimere det fra historien, gjetter du.

Syntetisk kontroll har ingen randomisering, så validiteten hviler utelukkende på tilpasning før perioden, og god tilpasning er nødvendig snarere enn tilstrekkelig. GeoLifts dokumentasjon bemerker at den skalerte L2-ubalansemetrikken ikke er sammenlignbar på tvers av forskjellige KPI-er eller antall perioder, så et betryggende tall i én studie betyr ingenting i en annen. Den samme dokumentasjonen oppgir at GeoLift «ikke er et metaprodukt. Kun for forskningsformål».

Alle geografiske design forutsetter nøyaktig geografisk målretting og begrenset grenseoverskridende bevegelse. Grenseoverskridende shopping, VPN-bruk og nasjonal kringkasting bryter med dette, og det finnes ingen ren korreksjon: avgrens lekkasjen og si ifra. Denne veiledningen dekker ikke A/B-testing på brukernivå eller interferens mellom samtidige tester.

FAQ

Hvor mange geografiske enheter trenger jeg for en geo-holdout-test?

Det finnes ingen publisert minimumsverdi, og primærkildene unngår bevisst å oppgi en. Vaver og Koehler anbefaler å simulere den forventede konfidensintervallbredden for ditt faktiske kandidatgeografiske sett og testfraksjon. I praksis er svaret vanligvis «mer enn du har», og det er derfor switchback og syntetisk kontroll finnes.

Kan jeg bare sammenligne denne måneden med forrige måned?

Det er en avbrutt tidsserie der modelleringen er utelatt: den tilskriver alle sesongmessige, konkurransemessige og makromessige bevegelser i vinduet til endringen din. Hvis det er alt du har, bruk en strukturell tidsseriemodell, rapporter et intervall i stedet for et punkt, og list opp hva annet som beveget seg.

Hjelper det egentlig å stratifisere geografiske områder før randomisering?

Ja, målbart. Vaver og Koehler rapporterer at gruppering av geografiske områder etter størrelse før tildeling reduserte konfidensintervallet for avkastning på annonseutgifter med 10 % eller mer mot ubegrenset randomisering. Det er nesten gratis, så gjør det.

Hvorfor skulle en trimmet estimator slå den åpenbare?

Geografisk data er mer overfladisk når man bare har noen få dusin enheter, slik at ett dårlig matchet par kan dominere estimatet. I Trimmed Match-simuleringene med 50 par og lognormale geografiske områder var rotmiddelkvadratfeilen 1.96 for den trimmede estimatoren mot 20.09 for standardforholdsestimatoren, og styrke 60 % mot 16 %.

Hvor lang bør en switchback-blokk være?

Lenge nok til at effekten har stabilisert seg før blokken slutter, slik at den settes av overføringslengde snarere enn bekvemmelighet. Estimer overføringen ut fra hvor lang tid det tar for metrikken å stabilisere seg etter et historisk bytte, og lag deretter blokker som er lengre enn det. Ukentlige blokker er en vanlig start i detaljhandelen fordi de også absorberer ukedagseffekter.

Hvordan håndterer jeg en by som er en tredjedel av etterspørselen min?

Bestem deg før du randomiserer: ekskluder det og utnyt konklusjonen til resten av landet, del det inn i distrikts- eller kurersoneenheter hvis stacken din støtter det markedet, eller bruk syntetisk kontroll med den byen som det behandlede markedet. Alle tre er forsvarlige. Å randomisere 81 provinser som om de var likeverdige er ikke.

Kjør dette på din neste utestbare endring

Arbeid din neste utestbare endring gjennom de åtte kriteriene ovenfor og se hvilket design som overlever. Hvis svaret er «ingen, med enhetene vi har», er det verdt å vite før du bruker en quarter på det. Vår CRO og eksperimenteringsteam utformer disse testene for e-handel, reiseliv og helsekunder i Tyrkia og regionen, inkludert tilfeller der randomisering på brukernivå ikke er mulig.

[INTERNE DATA SOM SKAL TAKE AWAY: ett anonymisert Switas geo- eller switchback-engasjement, med valgt design og avgjørelsen som ble avsluttet.]

Kilder


Inci Dindar
Written by

Inci Dindar

Med bakgrunn innen programvareutvikling ledet hun design-, UX- og produktteam innen fintech, media, e-handel og reiseliv. De siste tre årene har hun jobbet på heltid som konsulent innen UX og design – blant annet som ekstern UX-konsulent for et globalt ledelseskonsulentfirma som hjelper merkevarer og oppstartsbedrifter med revisjoner, konverteringsoptimalisering og designprosesser.


Relaterte artikler

Switas sett på

Magnify: Skalering av influencer-markedsføring med Engin Yurtdakul

Sjekk ut vår casestudie om Microsoft Clarity

Vi fremhevet Microsoft Clarity som et produkt bygget med praktiske brukseksempler fra den virkelige verden i tankene, av ekte produktfolk som forstår utfordringene selskaper som Switas står overfor. Funksjoner som «raseriøse klikk» og JavaScript-feilsporing viste seg å være uvurderlige for å identifisere brukerfrustrasjoner og tekniske problemer, noe som muliggjorde målrettede forbedringer som direkte påvirket brukeropplevelsen og konverteringsfrekvensen.