Effetto minimo rilevabile (MDE)

L'effetto minimo rilevabile, solitamente abbreviato in MDE, è la più piccola variazione in una metrica che un esperimento è progettato per rilevare in modo affidabile. Viene definito prima dell'inizio del test ed è un input diretto per il calcolo della dimensione del campione. Un esperimento con un MDE del 10% è progettato per rilevare miglioramenti pari o superiori al 10% con il livello di confidenza e potenza specificati; miglioramenti reali di minore entità spesso non vengono rilevati da tale test, apparendo come risultati inconcludenti anziché come successi.

Spesso l'MDE (Minimum Detectable Effect, valore minimo misurabile) viene frainteso come una previsione di quanto una variante migliorerà la conversione. Non è una previsione, bensì un parametro di sensibilità, nello stesso senso in cui una scala ha un incremento minimo misurabile. Impostarlo non rende un effetto più o meno probabile che si verifichi; determina se l'esperimento ha una risoluzione sufficiente per rilevare l'effetto, qualora presente. Confondere i due concetti porta alla solita spiacevole discussione al termine di un test, in cui un team sostiene che la variante "avrebbe dovuto vincere" perché l'MDE era stato impostato al 15%, quando in realtà l'MDE descriveva solo ciò che il test era in grado di rilevare.

Il modo corretto per definire l'MDE (Minimum Detectable Effect, ovvero la soglia minima di rilevamento) è da un punto di vista commerciale, non statistico. La questione è quale entità di miglioramento giustificherebbe il costo di sviluppo, implementazione e manutenzione della modifica, oltre al costo opportunità del traffico speso per misurarla. Su una pagina di pagamento ad alto volume, un incremento relativo del 2% potrebbe valere una cifra annua considerevole e quindi giustificare un test di lunga durata. Su un modulo di contatto a basso traffico, un miglioramento inferiore al 20% potrebbe non valere la pena di essere rilevato, perché il numero assoluto di lead aggiuntivi è trascurabile. Lavorare a ritroso dal valore aziendale mantiene la roadmap dei test ancorata ai risultati piuttosto che alla convenienza statistica.

Esiste un'inevitabile tensione tra un MDE (Minimum Detectable Experiment, esperimento di durata minima) ambizioso e il traffico effettivo di un sito. I team, sotto pressione per ottenere risultati, spesso risolvono questo problema nella direzione sbagliata, aumentando silenziosamente l'MDE fino a quando il calcolo della dimensione del campione non restituisce un numero di giorni accettabile. Questo produce esperimenti tecnicamente validi ma praticamente inutili: sono in grado di rilevare solo effetti talmente rilevanti da essere evidenti anche senza test. L'alternativa onesta è accettare che alcune domande non possono essere risolte tramite la sperimentazione con l'attuale livello di traffico e indirizzarle verso altri metodi, come test di usabilità, analisi dei dati o revisione da parte di esperti.

L'MDE influenza anche la progettazione della variante stessa. Se un test deve rilevare un miglioramento del 15% per essere considerato valido, è improbabile che una sottile modifica al testo di un pulsante raggiunga tale obiettivo, e il team farebbe meglio a testare un approccio sostanzialmente diverso alla pagina: una proposta di valore ristrutturata, una diversa lunghezza del modulo, una presentazione dei prezzi modificata. Questo è il motivo per cui i programmi con traffico limitato tendono a produrre risultati più interessanti rispetto a quelli con traffico illimitato, che possono permettersi di testare dettagli insignificanti.

Una fonte ricorrente di confusione riguarda la distinzione tra l'espressione relativa e quella assoluta dell'effetto, e la differenza non è trascurabile. Partendo da un tasso di conversione di base del due percento, un miglioramento relativo del dieci percento significa passare al 2.2 percento, una variazione assoluta di 0.2 punti percentuali. Un miglioramento assoluto del dieci percento significherebbe passare al dodici percento, un risultato che non si ottiene realisticamente. I calcolatori della dimensione del campione, le piattaforme di test e gli stakeholder spesso passano da una convenzione all'altra senza specificarlo, e un piano basato su un'interpretazione errata finirà per specificare un esperimento che non può essere concluso o uno eccessivamente potente. Indicare esplicitamente la convenzione in ogni piano di test, insieme al valore di base e al conseguente valore assoluto, elimina un'ambiguità che altrimenti si ripresenta ogni volta che i risultati vengono discussi con persone esterne alla funzione di analisi.

In pratica, le decisioni MDE vengono prese collettivamente durante la pianificazione della roadmap piuttosto che da un analista che lavora da solo. Servizio CRO Il coinvolgimento in genere documenta, per ogni esperimento pianificato, il tasso di base, l'MDE, la dimensione del campione risultante e il tempo di esecuzione stimato, in modo che le parti interessate possano vedere il costo di ogni domanda prima di impegnarsi. Per le organizzazioni che eseguono esperimenti su diverse proprietà o mercati, questa documentazione previene anche l'errore comune di applicare una singola convenzione MDE a siti con profili di traffico radicalmente diversi, uno schema spesso visto in impresa programmi in cui uno standard centrale viene imposto a team il cui traffico non è in grado di supportarlo.