Minimaal detecteerbaar effect (MDE)

Het minimaal detecteerbare effect, meestal afgekort tot MDE, is de kleinste verandering in een meetwaarde die een experiment betrouwbaar kan detecteren. Het wordt vastgesteld voordat een test begint en is een directe input voor de berekening van de steekproefomvang. Een experiment met een MDE van 10 procent is ontworpen om verbeteringen van 10 procent of meer te detecteren met het gespecificeerde betrouwbaarheids- en onderscheidingsvermogenniveau; kleinere, daadwerkelijke verbeteringen zullen vaak niet worden gedetecteerd door die test en worden weergegeven als onduidelijke resultaten in plaats van als successen.

MDE wordt vaak verkeerd begrepen als een voorspelling van hoeveel een variant de conversie zal verbeteren. Het is geen voorspelling. Het is een gevoeligheidsinstelling, in dezelfde zin als een schaal een kleinste meetbare stapgrootte heeft. Het instellen ervan maakt een effect niet waarschijnlijker of minder waarschijnlijk; het bepaalt of het experiment voldoende resolutie heeft om het effect te zien, indien aanwezig. Het verwarren van de twee leidt tot een bekend, onprettig gesprek na afloop van een test, waarbij een team beweert dat de variant "had moeten winnen" omdat de MDE op 15 procent was ingesteld, terwijl de MDE in feite alleen maar beschreef wat de test kon waarnemen.

De juiste manier om MDE (Minimum Data Effect) vast te stellen is vanuit een commercieel, niet een statistisch perspectief. De vraag is welke verbetering de kosten rechtvaardigt van het bouwen, verzenden en onderhouden van de wijziging, plus de opportuniteitskosten van het verkeer dat wordt besteed aan het meten ervan. Bij een drukbezochte afrekenpagina kan een relatieve stijging van 2 procent een aanzienlijk jaarlijks bedrag opleveren en daarom een ​​langdurige test rechtvaardigen. Bij een contactformulier met weinig verkeer is een verbetering van minder dan 20 procent mogelijk helemaal niet de moeite waard om te detecteren, omdat het absolute aantal extra leads verwaarloosbaar is. Door vanuit de zakelijke waarde te redeneren, blijft het testplan gericht op resultaten in plaats van op statistisch gemak.

Er bestaat een onvermijdelijke spanning tussen een ambitieuze MDE (Minimum Data Effect) en het daadwerkelijke verkeer op een website. Teams die onder druk staan ​​om resultaten te laten zien, lossen dit vaak in de verkeerde richting op door de MDE stilletjes te verhogen totdat de steekproefomvang een comfortabel aantal dagen oplevert. Dit leidt tot experimenten die technisch gezien valide, maar praktisch nutteloos zijn: ze kunnen alleen effecten detecteren die zo groot zijn dat ze zonder testen al duidelijk zouden zijn geweest. Het eerlijke alternatief is te accepteren dat sommige vragen niet beantwoord kunnen worden door experimenten met het huidige verkeersniveau, en deze te richten op andere methoden, zoals gebruiksvriendelijkheidstesten, analyseonderzoek of beoordeling door experts.

MDE beïnvloedt ook het ontwerp van de variant zelf. Als een test een verbetering van 15 procent moet aantonen om de moeite waard te zijn, is een subtiele wijziging in de knoptekst waarschijnlijk niet voldoende. Het team kan dan beter een wezenlijk andere aanpak voor de pagina testen: een herziene waardepropositie, een andere formulierlengte, een andere prijspresentatie. Dit is de reden waarom programma's met beperkt verkeer vaak interessanter werk opleveren dan programma's met onbeperkt verkeer, die zich kunnen veroorloven om trivia te testen.

Een terugkerende bron van verwarring is de vraag of het effect in relatieve of absolute termen wordt uitgedrukt, en het verschil is niet onbelangrijk. Bij een basisconversiepercentage van twee procent betekent een relatieve verbetering van tien procent een stijging naar 2.2 procent, een absolute verandering van 0.2 procentpunt. Een absolute verbetering van tien procent zou een stijging naar twaalf procent betekenen, wat in de praktijk niet haalbaar is. Rekenprogramma's voor steekproefgroottes, testplatforms en belanghebbenden wisselen vaak tussen de twee conventies zonder dit expliciet te vermelden. Een plan dat gebaseerd is op een verkeerde interpretatie zal ofwel een experiment specificeren dat niet kan worden afgerond, ofwel een experiment dat veel te krachtig is. Door de conventie expliciet te vermelden in elk testplan, samen met de basislijn en het resulterende absolute cijfer, wordt een onduidelijkheid weggenomen die anders steeds weer opduikt wanneer de resultaten worden besproken met mensen buiten de analyseafdeling.

In de praktijk worden MDE-beslissingen collectief genomen tijdens de roadmap-planning, in plaats van door een analist die alleen werkt. CRO-service Voor elk gepland experiment worden doorgaans de basissnelheid, de MDE (Minimum Data Effect), de resulterende steekproefomvang en de geschatte looptijd vastgelegd, zodat belanghebbenden de kosten van elke vraag kunnen inzien voordat ze zich eraan verbinden. Voor organisaties die experimenten uitvoeren op meerdere locaties of markten, voorkomt deze documentatie ook de veelvoorkomende fout om één enkele MDE-conventie toe te passen op sites met radicaal verschillende verkeersprofielen, een patroon dat vaak wordt gezien in onderneming Programma's waarbij een centrale standaard wordt opgelegd aan teams waarvan het verkeer die standaard niet ondersteunt.