SwitasContattaci

Comprendere metriche e terminologia dei test A/B

Çağdaş Polat · · 5 min di lettura

Il test A/B è un metodo fondamentale per ottimizzare siti web e applicazioni: consente alle aziende di confrontare due versioni di una pagina web o di un'app per stabilire quale offra risultati migliori. Comprendere le metriche e la terminologia chiave dei test A/B è essenziale per interpretare i risultati in modo corretto. In questo articolo esamineremo le principali metriche e la terminologia dei test A/B, tra cui p-value, intervallo di confidenza, test a una coda e a due code, z-score, potenza osservata, variante, gruppo di controllo, ricavi incrementali, tasso di conversione e calcolo bayesiano.

Principali metriche e terminologia dei test A/B

1. Variante

La variante è una delle versioni sottoposte a test in un test A/B. In genere la versione esistente viene chiamata controllo e la nuova versione variante.

Esempio: in un test A/B su una landing page, la versione A (la pagina attuale) è il controllo e la versione B (il nuovo design) è la variante.

2. Gruppo di controllo

Il gruppo di controllo è il gruppo di utenti esposto alla versione originale (controllo) in un test A/B. Funge da riferimento di base per confrontare le prestazioni della variante.

Esempio: se 10.000 utenti visitano un sito web, 5.000 potrebbero vedere la pagina di controllo (gruppo di controllo) e 5.000 la pagina variante.

 

Incremental-revenue.png
Fonte: https://getrecast.com/incrementality/

 

3. Ricavi incrementali

I ricavi incrementali sono i ricavi aggiuntivi generati dalle modifiche apportate durante un test A/B. Aiutano a valutare l'impatto finanziario del test.

Esempio: se la pagina variante aumenta il valore medio dell'ordine di 5 $ e vengono effettuati 1.000 acquisti in più, i ricavi incrementali sono pari a 5.000 $.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Tasso di conversione

Il tasso di conversione è la percentuale di utenti che completano un'azione desiderata, come effettuare un acquisto o iscriversi a una newsletter, sul totale dei visitatori.

Esempio: se 100 visitatori su 1.000 effettuano un acquisto, il tasso di conversione è del 10%.

5. P-value

Il p-value misura la probabilità che la differenza osservata tra due varianti sia dovuta al caso. Un p-value più basso (in genere inferiore a 0,05) indica che la differenza osservata è statisticamente significativa.

Esempio: supponiamo che un test A/B confronti due versioni di una landing page. La versione A ha un tasso di conversione del 5% e la versione B del 7%. Se il p-value è 0,03, c'è una probabilità del 3% che la differenza osservata sia dovuta al caso, il che indica una differenza significativa tra le due versioni.

 

confidence-interval-formula.jpg

 

6. Intervallo di confidenza

L'intervallo di confidenza indica un intervallo entro cui si prevede che ricada la reale dimensione dell'effetto, con un certo livello di confidenza (di solito il 95%). Aiuta a valutare l'affidabilità dei risultati del test.

Esempio: nello stesso test A/B, l'intervallo di confidenza al 95% per la differenza nei tassi di conversione potrebbe essere [1%, 3%]. Ciò significa che si è sicuri al 95% che la reale differenza nei tassi di conversione sia compresa tra l'1% e il 3%.

7. Test a una coda e a due code

Un test a una coda valuta la direzione dell'effetto (ad esempio, se la versione B è migliore della versione A), mentre un test a due code valuta se esista una qualsiasi differenza, in una direzione o nell'altra.

Esempio di test a una coda: verifica se il tasso di conversione della versione B è superiore a quello della versione A.
Esempio di test a due code: verifica se esista una qualsiasi differenza tra i tassi di conversione della versione A e della versione B, indipendentemente dalla direzione.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-score

Lo z-score misura di quante deviazioni standard un elemento si discosti dalla media. Nei test A/B viene utilizzato per determinare la significatività della differenza osservata tra due varianti. Livelli di confidenza comuni e relativi valori di z-score equivalenti:

  • Intervallo di confidenza 95%
    • Z-score a due code: 1,96
    • Z-score a una coda: 1,65
  • Intervallo di confidenza 99%
    • Z-score a due code: 2,58
    • Z-score a una coda: 2,33
  • Intervallo di confidenza 90%
    • Z-score a due code: 1,64
    • Z-score a una coda: 1,28

Esempio: se lo z-score per la differenza nei tassi di conversione tra la versione A e la versione B è 2,5, la differenza dista 2,5 deviazioni standard dalla media, il che suggerisce una differenza statisticamente significativa.

9. Potenza osservata

La potenza osservata è la probabilità che il test respinga correttamente l'ipotesi nulla quando esiste un effetto reale. Una potenza osservata più alta indica una maggiore probabilità di rilevare una differenza reale.

Esempio: in un test A/B con una potenza osservata di 0,8 (80%), c'è una probabilità dell'80% di rilevare una differenza reale tra le varianti, se esiste.

 

bayesian-formula.png
Fonte: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Calcolo bayesiano

Il calcolo bayesiano consiste nell'utilizzare il teorema di Bayes per aggiornare la stima della probabilità di un'ipotesi man mano che si acquisiscono ulteriori evidenze. Nei test A/B offre un quadro probabilistico per prendere decisioni basate sui dati.

Esempio: con i metodi bayesiani è possibile determinare la probabilità che una variante sia migliore del controllo, dati i dati osservati, anziché affidarsi esclusivamente ai tradizionali p-value.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Fonte: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Statistica frequentista

La statistica frequentista è un approccio tradizionale ai test di ipotesi che si concentra sulla frequenza o sulla proporzione dei dati. Si basa su insiemi di dati fissi e non incorpora conoscenze pregresse né distribuzioni di probabilità.

Esempio: in un approccio frequentista ai test A/B si utilizzerebbero p-value e intervalli di confidenza per determinare la significatività dei risultati del test, senza incorporare probabilità a priori.

Esempi pratici

Esempio 1: test A/B di una campagna email

Un'azienda vuole testare due oggetti email per vedere quale generi tassi di apertura più elevati.

  • Oggetto A: tasso di apertura del 25%
  • Oggetto B: tasso di apertura del 28%
  • P-value: 0,02 (indica una differenza significativa)
  • Intervallo di confidenza: [2%, 5%] (confidenza al 95% che la reale differenza nei tassi di apertura sia compresa tra il 2% e il 5%)
  • Z-score: 2,33 (indica una differenza statisticamente significativa)
  • Potenza osservata: 0,85 (85% di probabilità di rilevare una differenza reale)
Esempio 2: test A/B di una landing page di un sito web

Un sito e-commerce testa due design di landing page per stabilire quale generi più acquisti.

  • Design A: tasso di conversione del 4%
  • Design B: tasso di conversione del 5%
  • P-value: 0,045 (indica una differenza significativa)
  • Intervallo di confidenza: [0,5%, 1,5%] (confidenza al 95% che la reale differenza nei tassi di conversione sia compresa tra lo 0,5% e l'1,5%)
  • Z-score: 2,01 (indica una differenza statisticamente significativa)
  • Potenza osservata: 0,78 (78% di probabilità di rilevare una differenza reale)

Il test A/B è uno strumento potente per ottimizzare le esperienze digitali e comprenderne metriche e terminologia chiave è fondamentale per un'interpretazione accurata. Switas sa come condurre test A/B efficaci, consentendo alle aziende di prendere decisioni basate sui dati per migliorare le proprie prestazioni, e fornisce insight affidabili e concreti che favoriscono crescita e successo.

Articoli correlati

Tutti gli articoli →

Costruiamo il prossimo.

Contattaci