La maggior parte dei test A/B nell'e-commerce vengono dichiarati sulla metrica che si è mossa. È così che un team lancia una variante che ha aumentato il tasso di conversione del 4% e ha perso denaro. La soluzione avviene prima del lancio: si sceglie una metrica primaria, si annota il suo limite e il suo effetto minimo rilevabile e si considera tutto il resto come un limite. La scelta della metrica non è estetica. Il team di sperimentazione di Microsoft ha misurato il ricavo per utente come la metrica più distorta e ha dimostrato che limitandola si riduceva il numero minimo di utenti per braccio da circa 114,000 a 9,700 affinché il test rimanesse statisticamente ben comportato.Kohavi e altri, KDD 2014Questa guida confronta le cinque metriche su cui i team discutono effettivamente e ti fornisce i calcoli necessari per scegliere quella più adatta.
I cinque candidati e cosa misura realmente ciascuno di essi
Tasso di conversione degli utenti. La quota di utenti nel gruppo che ha effettuato almeno un ordine. Binario, limitato, a bassa varianza. Non tiene conto della dimensione del carrello, quindi premia qualsiasi cosa che contribuisca ad aumentare gli ordini a basso costo.
Ricavo per utente (RPU). Ricavi del ramo densi del numero di utenti del ramo, zeri inclusi. Il ramo più vicino all'attività e più vulnerabile a un singolo ordine di dimensioni enormi.
Ricavo massimo per utente. La stessa metrica con i ricavi di ciascun utente troncati a un limite massimo scelto prima del lancio. Si sacrifica una piccola distorsione in cambio di una grande riduzione della varianza.
Valore medio dell'ordine (AOV). Ricavo diviso per ordini. Mai una metrica primaria in un test randomizzato sugli utenti: il suo denominatore è un risultato del test, quindi una variante che ottiene più ordini di piccolo importo mostra un calo del valore medio dell'ordine (AOV) pur generando maggiori profitti.
Ricavo per sessione. Un altro rapporto il cui denominatore non è l'unità di randomizzazione. Randomizza gli utenti, analizza le sessioni e un test t ingenuo calcola la varianza in modo errato: è necessario il metodo delta o uno stimatore consapevole del cluster (Deng, Knoblich e Lu, KDD 2018).
Confrontali in base a sei criteri
| Criterio | CVR utente | RPU | RPU limitato | VOO | Ricavo per sessione |
|---|---|---|---|---|---|
| Il denominatore è l'unità di randomizzazione | Si | Si | Si | Nodo | Nodo |
| Traffico pieno | Prevedibile | Dipende dall'inclinazione | Basso | Basso | Medio |
| Sensibile alle dimensioni del cestino | Nodo | Si | In parte | Si | Si |
| Sopravvive a un ordine enorme | Si | Nodo | Si | Nodo | Nodo |
| Difendibile dal punto di vista finanziario | Nodo | Si | Quasi | Nodo | Quasi |
| La sicurezza come parametro primario | Si | Con taglie | Si | Mai | Solo con il metodo delta |
Scopri se il ricavo per utente ti costa effettivamente traffico
Si dice che per generare ricavi sia sempre necessario un traffico di gran lunga superiore al tasso di conversione. Questa non è una regola, ma la conseguenza di un singolo dato: il coefficiente di variazione (CV) dei ricavi per utente, ovvero la sua deviazione standard divisa per la media, calcolata su tutti gli utenti, inclusi i non acquirenti.
Per una potenza dell'80% e un test bilaterale del 5%, sono necessari utenti per braccio per rilevare lo stesso parente L'effetto è approssimativamente 16·p(1−p)/(p·r)² per un tasso binario e 16·CV²/r² per una metrica continua. Uguagliandoli, il punto di incrocio è CV = √((1−p)/p):
| Il tuo tasso di conversione utente | CV del ricavo per utente al di sotto del quale l'RPU non necessita di traffico aggiuntivo |
|---|---|
| 1.0% | 9.9 |
| 2.0% | 7.0 |
| 2.4% | 6.4 |
| 3.0% | 5.7 |
| 5.0% | 4.4 |
Esempio pratico, con cifre illustrative anziché dati del cliente. Un negozio converte il 2.4% degli utenti, il ricavo medio per utente è di 24 unità di valuta e 90 giorni di ordini danno una deviazione standard di 240, quindi il CV è 10. Rilevare un incremento relativo del 10% richiede circa 65,000 utenti per braccio sul tasso di conversione e circa 160,000 sull'RPU grezzo. Limita la metrica al 99° percentile del valore dell'ordine e il CV in genere rientra nell'intervallo da 4 a 6; con un CV di 6 il requisito è di circa 58,000, ora più economico rispetto al tasso di conversione.
Una procedura in quattro fasi
- Denomina la decisione, non il parametro di valutazione. Scrivi la frase "se questa soluzione funziona, la implementeremo su tutto il traffico e ci aspettiamo X". La metrica è qualsiasi elemento che renda verificabile tale frase.
- Eliminare i rapporti il cui denominatore può variare durante il test. AOV viene immediatamente inserito nell'elenco delle misure di sicurezza. Il ricavo per sessione rimane valido solo se il tuo strumento gestisce la varianza in base al cluster.
- Calcola il CV e leggi la tabella. Al di sotto della soglia, utilizza l'RPU. Al di sopra di essa, limita e utilizza l'RPU limitato. Se il valore è ancora superiore, ripiega sul tasso di conversione utente e inserisci l'RPU nell'elenco di controllo.
- Bloccare il limite massimo, l'MDE e il runtime in fase di scrittura prima che un singolo utente venga esposto. Un limite imposto dopo aver analizzato i dati non è un limite, ma un risultato.
Come impostare il limite
Calcola il 99° percentile dei ricavi per utente in un intervallo di tempo almeno pari alla durata del test pianificato, che copra la stessa stagionalità, e registralo nel documento di test. Riporta i ricavi per utente con limite massimo come risultato principale e i ricavi per utente senza limite massimo a fianco. Se i due valori differiscono, significa che la differenza è dovuta a un numero limitato di ordini di importo molto elevato: un dato da approfondire, non un risultato da pubblicare.
Cosa cambia in un mercato ad alta inflazione?
In Turchia l'inflazione dei prezzi al consumo è aumentata del 31.51% su base annua e dell'1.84% su base mensile nell'agosto 2026.Presidenza della Strategia e del Bilancio, 4 settembre 2026, sui dati TÜİKSpesso i team qui presumono che ciò invalidi le metriche di test basate sui ricavi. Non è così, e la correzione è importante:
- Ciò non inficia il confronto. Entrambi i rami subiscono le stesse variazioni di prezzo contemporaneamente. Il controllo simultaneo è proprio ciò che ti protegge.
- Questo invalida la tua strategia aziendale. Converti l'incremento in percentuale e applicalo a un piano di ricavi futuri. Non moltiplicare mai una differenza assoluta di cambio di quattro settimane per 13.
- Questo rappresenta un punto di svolta rispetto ai parametri storici. Il coefficiente di variazione (CV) calcolato sugli ordini dell'anno scorso non è adatto per dimensionare il test odierno. Ricalcolalo su una finestra temporale recente.
- Interagisce con il tuo cappello. Un limite massimo fisso per la valuta, stabilito a gennaio, diventa molto più stringente a dicembre. Il percentile viene quindi ricalcolato ogni trimestre.
La stessa logica si applica a qualsiasi mercato con prezzi in rapida evoluzione o una valuta volatile.
Guardrail: ciò che controlli ma non dichiari mai
Un guardrail può porre il veto a una vittoria, ma non può crearne una. Dichiara su una metrica primaria e mantieni breve questo elenco, perché ogni metrica aggiuntiva su cui agiresti aumenta il tuo tasso di falsi positivi (Kohavi, Deng e Vermeer, KDD 2022). Un set di impostazioni predefinite utilizzabile:
- Ricavi illimitati per utente, come verifica della realtà sul limite
- Ordini per utente, per prendere un ascensore che è solo divisore di cestini
- Tasso di resi o cancellazioni su una finestra temporale di latenza, perché una modifica al processo di pagamento che fa passare ordini errati sembra una vittoria per due settimane
- Dati essenziali del sito Web sul modello modificato
- Rapporto di campionamento, controllato quotidianamente; una discrepanza invalida tutto quanto sopra.
Dove questo si interrompe
Questa procedura presuppone la randomizzazione a livello utente, un test alla volta sulla superficie interessata e un acquisto che si completa entro la finestra di misurazione. Non fornisce alcun risultato utile quando:
- Il ciclo di acquisto è più lungo del periodo di prova. I viaggi e gli acquisti al dettaglio di alto valore vengono prenotati settimane dopo la sessione. Utilizza un indicatore anticipatore con una relazione validata con il fatturato e accetta che, di fatto, stai testando l'indicatore stesso.
- Il traffico è al di sotto della soglia a qualsiasi limite. Con circa 10,000 utenti per braccio a settimana, un lavoro di usabilità moderato e un audit UX forniranno maggiori informazioni rispetto a un test con una potenza statistica insufficiente.
- La modifica riguarda un sottogruppo. Una metrica misurata su tutti gli utenti diluisce un effetto circoscritto, ad esempio, a coloro che pagano a rate. È preferibile preregistrare il segmento come popolazione di riferimento piuttosto che segmentarlo in seguito.
- I ricavi vengono contabilizzati in modo diverso da ciò che il tag attiva. Se i ricavi degli acquisti GA4 e la tabella degli ordini non corrispondono, correggi prima questo problema.
- Il metodo di conteggio delle conversioni che utilizzi non è quello che pensi. GA4 conta un evento chiave una volta per evento o una volta per sessione a seconda di come è stato creato, quindi lo stesso comportamento produce cinque conversioni o una (Guida di Google Analytics).
La tabella CV è uno strumento di triage per la scelta tra le metriche, non un sostituto del calcolo della potenza statistica. Dimensiona il test in base alla metrica scelta, utilizzando la tua stima della varianza.
Domande frequenti
Contrassegnato per lo schema FAQPage.
Posso utilizzare due parametri principali se entrambi sono necessari per vincere?
È possibile, e rende il test più conservativo anziché meno. Richiedere che entrambi i risultati siano significativi riduce la potenza del test, quindi è meglio optare per quello più difficile. Ciò che non è possibile fare è dichiarare in base a quale dei due abbia vinto.
L'imposizione di un tetto massimo alle entrate falsa i risultati?
Sì, deliberatamente. Una metrica con un limite massimo misura il fatturato tipico degli ordini anziché il fatturato totale. Tale distorsione è il prezzo da pagare per una varianza utilizzabile ed è accettabile perché si applica in modo identico a entrambi i casi. Riportate anche il dato senza limite massimo, in modo che l'operazione rimanga visibile.
A quale percentile dovrebbe essere fissato il limite massimo?
Il 99° percentile del ricavo per utente è un valore predefinito ragionevole. Se il CV è ancora al di sopra di questa soglia, prova con il 97.5. Al di sotto del 95° percentile circa, si inizia a scartare i carrelli della spesa di grandi dimensioni, piuttosto che i valori anomali.
Perché il valore medio degli ordini è un indicatore primario così inadeguato?
Perché il test modifica il numero di ordini esistenti. Una variante che converte i clienti più indecisi e con un valore medio del carrello più basso aumenta le entrate e riduce allo stesso tempo il valore medio dell'ordine (AOV). L'AOV è un indicatore diagnostico per interpretare una variazione delle entrate, non l'elemento su cui si basa la decisione.
Posso cambiare la metrica principale dopo l'avvio del test?
No. Scegliere la metrica dopo aver visto i dati è lo stesso errore che interrompere il test dopo aver visto i dati, e aumenta i falsi positivi allo stesso modo. Se la metrica scelta si rivela errata, registralo, termina l'esecuzione e considera il risultato come esplorativo.
Come si gestiscono più valute?
Converti ogni ordine in un'unica valuta di reporting a un tasso fisso, bloccato all'inizio del test, e non al tasso giornaliero. Un tasso variabile introduce una varianza che non ha nulla a che vedere con la tua variante e colpisce in modo diseguale le diverse opzioni di pagamento quando la composizione del traffico è differente.
Cosa succederebbe se il tasso di conversione aumentasse e il ricavo massimo per utente diminuisse?
Questo è il risultato più informativo di questa guida. La variante si aggiudica più ordini di valore inferiore. La decisione di spedire dipende dal margine e dalla fidelizzazione del cliente, quindi è meglio considerarla una decisione aziendale piuttosto che risolverla statisticamente.
Esegui questo test
Raccogli 90 giorni di entrate per utente, calcola il coefficiente di variazione e confrontalo con la tabella sopra prima di scrivere il tuo prossimo brief di test. Se preferisci avere definizioni di metriche, limiti e vincoli impostati una volta e applicati in modo coerente a tutto il programma di sperimentazione, questo è ciò che il nostro servizio di ottimizzazione del tasso di conversione fa.
fonti
- Ron Kohavi, Alex Deng, Roger Longbotham, Ya Xu. Sette regole pratiche per chi sperimenta con i siti webKDD 2014.
- Alex Deng, Ulf Knoblich, Jiannan Lu. Applicazione del metodo Delta nell'analisi metrica: una guida pratica con idee innovative.KDD 2018.
- Ron Kohavi, Alex Deng, Lukas Vermeer. Test A/B: falsi miti e incomprensioni comuni negli esperimenti controllati onlineKDD 2022.
- Presidenza della Strategia e del Bilancio, Repubblica di Turchia. Andamento dei prezzi al consumo e alla produzione nell'agosto 2026, 4 settembre 2026, riportando i dati TÜİK di una variazione dell'indice dei prezzi al consumo (CPI) pari all'1.84% su base mensile e al 31.51% su base annua.
- Guida di Google Analytics. Modificare il metodo di conteggio degli eventi chiave.
