Minimalny wykrywalny efekt (MDE)

Minimalny wykrywalny efekt, zwykle w skrócie MDE, to najmniejsza zmiana metryki, którą eksperyment ma wiarygodnie wykrywać. Jest on ustalany przed rozpoczęciem testu i stanowi bezpośredni wkład do obliczenia liczebności próby. Eksperyment z MDE na poziomie 10% jest skonstruowany tak, aby wychwycić poprawę o 10% lub większą przy określonym poziomie ufności i mocy; mniejsze, rzeczywiste zmiany często pozostają niewykryte przez ten test, co skutkuje niejednoznacznymi wynikami, a nie zwycięstwami.

MDE jest często błędnie rozumiane jako przewidywanie, o ile wariant poprawi konwersję. Nie jest to prognoza. Jest to ustawienie czułości, w tym samym sensie, w jakim skala ma najmniejszy mierzalny przyrost. Ustawienie go nie zwiększa ani nie zmniejsza prawdopodobieństwa wystąpienia efektu; określa ono, czy eksperyment ma wystarczającą rozdzielczość, aby zaobserwować efekt, jeśli on występuje. Mylenie tych dwóch pojęć prowadzi do znanej z poprzednich testów, w której zespół argumentuje, że wariant „powinien był wygrać”, ponieważ MDE zostało ustawione na 15 procent, podczas gdy w rzeczywistości MDE opisywało tylko to, co test mógł zaobserwować.

Prawidłowy sposób ustalania MDE to podejście komercyjne, a nie statystyczne. Pytanie brzmi, jaki rozmiar poprawy uzasadniałby koszty wprowadzenia, wdrożenia i utrzymania zmiany, a także koszt alternatywny ruchu przeznaczonego na jej pomiar. W przypadku dużej liczby zamówień, względny wzrost o 2% może być warty znacznej kwoty rocznej, a zatem uzasadnia przeprowadzenie długiego testu. W przypadku formularza kontaktowego o niskim ruchu, poprawa poniżej 20% może w ogóle nie być warta wykrycia, ponieważ bezwzględna liczba dodatkowych leadów jest znikoma. Działanie wstecz, odnosząc się do wartości biznesowej, sprawia, że ​​plan testowania opiera się na rezultatach, a nie na statystycznej wygodzie.

Istnieje nieuniknione napięcie między ambitnym MDE a rzeczywistym ruchem na stronie. Zespoły pod presją przedstawienia wyników często rozwiązują problem w niewłaściwym kierunku, po cichu podnosząc MDE, aż obliczenia liczebności próby zwrócą komfortową liczbę dni. W ten sposób powstają eksperymenty, które są technicznie poprawne, ale praktycznie bezużyteczne: są one w stanie wykryć jedynie tak duże efekty, że byłyby oczywiste bez testowania. Uczciwą alternatywą jest zaakceptowanie, że na niektóre pytania nie da się odpowiedzieć eksperymentalnie przy obecnym poziomie ruchu, i skierowanie ich do innych metod, takich jak testy użyteczności, analizy analityczne czy recenzje eksperckie.

MDE kształtuje również projekt samego wariantu. Jeśli test musi wykryć 15-procentową poprawę, aby był warty przeprowadzenia, subtelna zmiana w tekście przycisku raczej nie pozwoli na przekroczenie tego progu, a zespołowi lepiej służy testowanie zupełnie innego podejścia do strony: przebudowanej propozycji wartości, innej długości formularza, zmienionej prezentacji cen. Dlatego programy z ograniczonym ruchem zazwyczaj generują ciekawsze wyniki niż programy z nieograniczonym ruchem, które mogą sobie pozwolić na testowanie ciekawostek.

Powtarzającym się źródłem nieporozumień jest to, czy efekt jest wyrażony w wartościach względnych, czy bezwzględnych, a różnica nie jest trywialna. Przy bazowym współczynniku konwersji na poziomie dwóch procent, dziesięcioprocentowa względna poprawa oznacza przejście do 2.2 procent, czyli bezwzględną zmianę o 0.2 punktu procentowego. Dziesięcioprocentowa bezwzględna poprawa oznaczałaby przejście do dwunastu procent, czego nie powoduje żadna realistyczna zmiana. Kalkulatory liczebności próby, platformy testowe i interesariusze często przełączają się między tymi dwiema konwencjami bez informowania o tym, a plan oparty na błędnym odczycie albo określi eksperyment, którego nie da się wyciągnąć, albo taki, który jest zdecydowanie przesadnie rozbudowany. Wyraźne określenie konwencji w każdym planie testów, wraz z wartością bazową i wynikającą z niej wartością bezwzględną, usuwa niejednoznaczność, która w przeciwnym razie pojawia się ponownie za każdym razem, gdy wyniki są omawiane z osobami spoza działu analitycznego.

W praktyce decyzje dotyczące MDE podejmowane są zbiorowo podczas planowania planu działania, a nie przez analityka pracującego w pojedynkę. Usługa CRO Zaangażowanie zazwyczaj dokumentuje, dla każdego planowanego eksperymentu, wskaźnik bazowy, MDE, wynikową wielkość próby i szacowany czas realizacji, aby interesariusze mogli zobaczyć koszt każdego pytania przed jego podjęciem. W przypadku organizacji przeprowadzających eksperymenty na kilku nieruchomościach lub rynkach, dokumentacja ta zapobiega również częstemu błędowi polegającemu na stosowaniu jednej konwencji MDE do witryn o radykalnie różnych profilach ruchu, co często obserwuje się w… przedsiębiorstwo programy, w których centralny standard jest przekazywany zespołom, których ruch sieciowy nie jest w stanie go obsłużyć.