Il test A/B è un metodo di sperimentazione controllata utilizzato per confrontare due o più versioni di una pagina web, di una schermata di un'app, di un'e-mail o di un altro asset digitale, al fine di stabilire quale offra le prestazioni migliori rispetto a un obiettivo definito, come il click-through rate, il tasso di iscrizione o il ricavo per visitatore. Nella sua forma più semplice, il traffico viene suddiviso in modo casuale tra una versione di controllo (A) e una variante (B), e i dati ottenuti vengono sottoposti ad analisi statistica per decidere se la differenza di performance osservata sia un effetto reale o soltanto il risultato di una variazione casuale. La tecnica deriva direttamente dalla metodologia degli studi clinici randomizzati controllati utilizzata nella ricerca medica e nelle scienze agrarie, ed è per questo che chi lavora con i test parla spesso di significatività statistica, intervalli di confidenza e calcolo della dimensione del campione quando progetta un esperimento.
Il test A/B è importante perché sostituisce le opinioni soggettive e il dibattito interno con evidenze empiriche su come si comportano realmente i visitatori. I team di design e di marketing non sono spesso d'accordo su quale titolo, colore del pulsante, layout o struttura dei prezzi convertirà meglio, e l'intuizione è una guida notoriamente poco affidabile: gli studi condotti su siti e-commerce e SaaS hanno mostrato più volte che le modifiche da cui ci si aspetta un miglioramento del tasso di conversione non lo producono, o addirittura lo peggiorano, in circa l'80-90 percento dei test eseguiti. Esponendo un'ipotesi a un pubblico reale e misurandone direttamente il risultato, il test A/B consente alle organizzazioni di validare o scartare le idee prima di impegnare tempo di sviluppo, budget di marketing o rischio per il brand in un rilascio completo.
Eseguire un test A/B valido richiede molto più che dividere il traffico e confrontare il numero di conversioni. Gli analisti calcolano in anticipo la dimensione minima del campione, in base al tasso di conversione di partenza, al minimo effetto rilevabile che interessa al business e alla potenza statistica desiderata (di norma l'80 percento) e al livello di significatività (di norma il 95 percento, ovvero un p-value inferiore a 0,05). I test vengono in genere condotti per almeno uno o due cicli di business completi, spesso da 14 a 30 giorni, per tenere conto degli effetti legati al giorno della settimana ed evitare di interromperli prematuramente a causa di una fluttuazione casuale, un errore noto come peeking. Strumenti come VWO, Optimizely e AB Tasty gestiscono la randomizzazione, il tracciamento e i calcoli statistici, ma interpretare i risultati richiede comunque la comprensione di concetti come il sample ratio mismatch e gli effetti di novità.
Un equivoco diffuso è che un risultato statisticamente significativo ottenuto da un singolo test sia una verità permanente e universale. In realtà i risultati sono specifici del segmento di traffico, del periodo e del contesto in cui il test è stato eseguito, e possono perdere validità o invertirsi al cambiare del pubblico, delle stagioni o delle condizioni competitive. Un altro errore frequente è testare troppe variabili contemporaneamente senza un traffico adeguato, il che produce test con potenza insufficiente che riportano falsi positivi oppure non raggiungono mai la significatività. Il test multivariato, che esamina contemporaneamente le combinazioni di più elementi, richiede un traffico sensibilmente maggiore rispetto a un semplice test A/B a due varianti e non è una scorciatoia per aggirare i requisiti sulla dimensione del campione.
All'interno di un incarico di consulenza CRO o UX, il test A/B è il meccanismo che trasforma la ricerca qualitativa, come interviste agli utenti, heatmap e registrazioni delle sessioni, in decisioni validate e con un impatto concreto sul fatturato. Un programma di test ben condotto segue in genere un processo strutturato: individuare un punto di attrito attraverso dati e ricerca, formulare un'ipotesi specifica sul perché esista e su come risolverlo, assegnarle una priorità rispetto alle altre idee con un framework di scoring, eseguire l'esperimento fino alla validità statistica e documentare quanto appreso, indipendentemente dal fatto che la variante abbia vinto o perso. Nel tempo, questo crea una roadmap basata sull'evidenza che riduce il rischio di costosi redesign e costruisce una conoscenza istituzionale su ciò che guida davvero il comportamento dei clienti su un determinato sito.
Altri termini che iniziano con A
Metriche AARRR (Pirate Metrics)Above the Fold (area visibile senza scorrimento)Criteri di accettazione (Acceptance Criteria)Accessibilità (conformità WCAG)Audit di accessibilità (Accessibility Audit)Affiliate marketingAffordanceSviluppo Agile (Agile Development)Atomic DesignModelli di attribuzioneAttribution WindowValore medio dell'ordine (AOV)
