Większość testów A/B kończy się niepowodzeniem, zanim zobaczy je choć jeden użytkownik. Nie dlatego, że hipoteza była słaba lub projekt był zły, ale dlatego, że nikt nie ustalił, czy test w ogóle może dać odpowiedź.
Ten schemat jest znajomy. Zespół wprowadza wariant, obserwuje pulpit nawigacyjny i po dziesięciu dniach widzi, że konkurent wzrósł o 6% z wartością p równą 0.14. Ktoś mówi: „Trend jest pozytywny, dajmy mu jeszcze tydzień”. Mija kolejny tydzień. Teraz wzrost wynosi 4%, p = 0.09. Test zostaje uznany za „wygranę kierunkową” i wprowadzony do użytku albo zostaje odrzucony jako niejednoznaczny. Tak czy inaczej, trzy tygodnie ruchu nie przyniosły żadnych informacji – a wynik ten został w pełni ustalony przed premierą na podstawie czterech liczb, których nikt nie sprawdził.
Ten artykuł dotyczy tych czterech liczb.
Cztery wejścia
Wielkość próby nie jest kwestią osądu. Wypada ona z czterech parametrów, a każdy poważny program eksperymentalny ustala je przed startem, a nie po nim.
| Wkład | Co to znaczy | Typowa wartość |
|---|---|---|
| Podstawowy współczynnik konwersji | Aktualny wskaźnik metryki, którą testujesz, mierzony na konkretnej stronie i dla konkretnej grupy odbiorców, na której będzie przeprowadzany test | Cokolwiek mówią Twoje dane |
| Minimalny wykrywalny efekt (MDE) | Najmniejsza zmiana, jaką test ma być w stanie wykryć | 5–20% w zależności od natężenia ruchu |
| Poziom istotności (α) | Twoja tolerancja dla ogłaszania zwycięzcy, który nie jest prawdziwy | 0.05 |
| Moc statystyczna (1−β) | Twoje prawdopodobieństwo wykrycia efektu, który is real | 0.80 |
Podaj kalkulatorowi te cztery, a zwróci on wymaganą liczbę odwiedzających na wariant. Nasz darmowy kalkulator testów A/B Robi dokładnie to samo i zajmuje około trzydziestu sekund – i o to właśnie chodzi. Powodem, dla którego zespoły pomijają ten krok, nie jest to, że jest trudny. Chodzi o to, że odpowiedź często jest niechciana.
MDE to dane wejściowe, które wszyscy źle interpretują
Najmniejszy wykrywalny efekt to parametr powodujący największe szkody, ponieważ jego nazwa sugeruje, że tak nie jest.
MDE to jest nie wzrost, którego się spodziewasz. To nie jest predykcja, cel ani prognoza. To dolny próg wykrywalności: najmniejszy rzeczywisty efekt, który Twój test ma 80% szans na wykrycie. Ustaw MDE na 5%, a mówisz: „jeśli rzeczywista poprawa jest mniejsza niż 5%, akceptuję, że ten test prawdopodobnie jej nie wykryje”.
Wynikają z tego dwie konsekwencje, z których każda ma znaczenie.
Test może odpowiedzieć tylko na pytanie, do którego go zaplanowałeś. Jeśli skalujesz MDE na 20%, a rzeczywisty efekt wynosi 7%, test najprawdopodobniej zwróci wynik „brak istotnej różnicy”. Nie jest to dowód na to, że wariant nic nie robi. Jest to dowód na to, że test nie mógł wykryć efektów o takiej skali – to zupełnie inne stwierdzenie, które zespoły rutynowo błędnie tłumaczą jako „przetestowaliśmy, nie zadziałało”.
Względne i absolutne MDE nie są zamienne. Poziom bazowy 2.5% z 10% względny MDE oznacza wykrycie ruchu do 2.75% — bezwzględny Różnica 0.25 punktu procentowego. Wprowadź 10 w polu kalkulatora, oczekując bezwzględnych punktów procentowych, a właśnie poprosiłeś o wykrycie zmiany z 2.5% do 12.5%, a narzędzie radośnie odpowie, że wystarczy 400 odwiedzających. Sprawdź, jakiej konwencji używa Twój kalkulator. To pojedyncze nieporozumienie unieważnia więcej planów testowych niż jakikolwiek inny błąd, który widzimy.
Przykładowy układ
Klient e-commerce chce przetestować nowy układ strony ze szczegółami produktu. Bazowy wskaźnik konwersji na tej stronie wynosi 2.5%. Chce wykryć względną poprawę o 10% — wzrost do 2.75%.
Przy α = 0.05 i mocy 80% zapotrzebowanie wynosi w przybliżeniu 100 000 odwiedzających na wariantlub około 128 000 w sumie.
Ta strona odwiedzana jest przez 40 000 osób miesięcznie. Zatem test potrzebuje nieco ponad trzech miesięcy, aby osiągnąć rozmiar próby, dla którego został zaprojektowany.
To właśnie ta liczba zmienia bieg wydarzeń. Nie dlatego, że trzy miesiące są niemożliwe, ale dlatego, że teraz jest to decyzja podjęta otwarcie – przed premierą, z widocznymi kompromisami – a nie powolne rozczarowanie ujawnione 21. dnia.
Teraz zmień jedno wejście. Zachowaj tę samą linię bazową, ale zwiększ ją do 20% względnego wzrostu zamiast 10%:
| MDE (względny) | Absolutna różnica | Liczba odwiedzających według wariantu | Czas 40 tys./miesiąc |
|---|---|---|---|
| 5% | 0.125 s | ~ 256,000 | ~13 miesięcy |
| 10% | 0.25 s | ~ 64,000 | ~3.2 miesięcy |
| 20% | 0.5 s | ~ 16,800 | ~ 25 dni |
| 30% | 0.75 s | ~ 7,700 | ~ 12 dni |
Zmniejszenie MDE o połowę mniej więcej czterokrotnie zwiększa wielkość próby. Ta zależność nie jest kaprysem tych liczb – wielkość próby skaluje się z odwrotnością kwadratu wielkości efektu. To najbardziej użyteczna rzecz do przyswojenia w kontekście projektowania eksperymentów, ponieważ wskazuje, gdzie znajduje się dźwignia: wprowadzenie większej zmiany jest o wiele tańsze niż przyciągnięcie większego ruchu.
Nieśmiała odmiana, która przesuwa przycisk o dwa piksele, wymaga rozmiaru próbki, którego żadna strona średniej wielkości nie jest w stanie dostarczyć. Wariant, który restrukturyzuje stronę, ma szansę. Dlatego ostrożne programy testowe utknęły w martwym punkcie — nie dlatego, że pomysły są błędne, ale dlatego, że są zbyt małe, aby je zmierzyć.
Gdzie faktycznie jest ruch
Drugą dźwignią ukrytą w arytmetyce jest wskaźnik bazowy. Wymagania dotyczące liczebności próby gwałtownie spadają wraz ze wzrostem wskaźnika bazowego.
Użyj tego samego względnego MDE wynoszącego 10%, ale przeprowadź go na etapie wysyłki podczas realizacji transakcji, gdzie 40% przybyć jest nadal przedmiotem płatności:
- Poziom bazowy 2.5% → ~64,000 na wariant
- Poziom bazowy 40% → ~2,400 na wariant
Ten sam MDE, ta sama pewność, ta sama moc. Dwadzieścia sześć razy mniejszy ruch.
Oczywiście ta strona odwiedza znacznie mniej osób niż PDP. Jednak zapotrzebowanie spada szybciej niż ruch, dlatego testy deepfunnel są często jedynymi testami, które strona o średnim ruchu może faktycznie przeprowadzić. Jeśli konwersja w całej witrynie wynosi 2%, testowanie strony głównej to zobowiązanie na rok, a testowanie strony finalizacji zamówienia – na dwa tygodnie.
Wskazówka praktyczna: gdy kalkulator zwraca niemożliwą liczbę, przed poszerzeniem MDE sprawdź, czy istnieje kolejny krok w leju, w którym tę samą hipotezę można przetestować w oparciu o wyższą linię bazową.
Co tak naprawdę idzie nie tak, gdy to pominiesz
W tym przypadku występują dwa tryby awarii, przy czym drugi jest znacznie mniej znany niż pierwszy.
Tracisz prawdziwe ulepszenia. Niedostatecznie mocny test nie daje „żadnej istotnej różnicy” dla zmiany, która rzeczywiście działa. Zespół dochodzi do wniosku, że pomysł był zły i porzuca kierunek, który mógłby przynieść korzyści. To jest błąd, o którym wszyscy wiedzą, i jest on tańszy z tych dwóch.
Twoi zwycięzcy są zawyżeni. To właśnie ten element dyskretnie zaburza wyniki programu. W teście o zbyt małej mocy jedynym sposobem, aby wynik przekroczył próg istotności, jest przypadkowe przekroczenie go wystarczająco wysoko przez szum losowy — co oznacza, że efekty, które… do Deklarowane istotne są systematycznie większe od prawdy. Im niższa moc, tym gorsza przesada.
Zatem program o zbyt małej mocy nie tylko pomija pewne kwestie. Generuje dziennik testów pełen zwycięskich projektów z przesadnie wysokimi wzrostami, które następnie mnożone są przez ruch, aby prognozować przychody, które nigdy się nie materializują. Sześć miesięcy później ktoś pyta, dlaczego suma tych zwycięskich projektów nie pojawia się w wynikach. Zazwyczaj to jest odpowiedź.
Nie da się tego naprawić w analizie. Trzeba temu zapobiec na etapie projektowania.
Na wariant, nie łącznie
Wymagane jest wyjście kalkulatora dla każdego ramienia testu. Dwa warianty oznaczają podwójną liczbę. Brzmi to oczywisto i jest stale błędnie interpretowane, zazwyczaj w kierunku optymistycznym.
Wiele wariantów potęguje problem dwukrotnie. Test A/B/C/D wymaga czterokrotnie większej próby niż w przypadku figury jednoramiennej. oraz Trzy jednoczesne porównania z grupą kontrolną znacznie zwiększają prawdopodobieństwo wystąpienia co najmniej jednego fałszywie dodatniego wyniku, znacznie przekraczając nominalne 5%. Po uwzględnieniu tego czynnika, wymaganie to jest jeszcze wyższe.
W przypadku większości witryn praktyczna zasada brzmi: jeśli nie masz nadmiaru ruchu, uruchom dwa ramiona. Test czterokierunkowy na stronie, która ledwo radzi sobie z testem dwukierunkowym, nie jest czterokrotnie skuteczniejszy. To zero razy skuteczniejszy, ale dostarczany wolniej.
Czas trwania jest osobnym ograniczeniem
Osiągnięcie odpowiedniej wielkości próby jest konieczne. To nie jest wystarczające.
Test, który osiąga swój cel w ciągu czterech dni, obejmuje analizę zachowań z czterech dni. Ruch w dni powszednie i weekendy generuje inną konwersję. Cykle wypłat mają znaczenie w e-commerce. Płatne kampanie uruchamiane w trakcie testu zmieniają strukturę odbiorców, do których się zwracasz. Nowe projekty wywołują również efekt nowości, który zanika – wczesne zaangażowanie w nieznany układ nie jest stabilnym szacunkiem stabilności.
Prowadź badanie przez co najmniej jeden pełny tydzień, a najlepiej dwa, niezależnie od tego, na co pozwala obliczenie wielkości próby. To, które ograniczenie jest dłuższe – wielkość próby czy cykl koniunkturalny – jest decydujące. Ustal datę zakończenia z wyprzedzeniem, zamiast sprawdzać ją każdego ranka i przerywać, gdy wyniki wyglądają dobrze, co jest odrębnym i bardzo skutecznym sposobem na tworzenie fałszywych zwycięzców.
Kiedy liczba jest niemożliwa
Czasami szczerą odpowiedzią jest to, że testu nie da się przeprowadzić. To przydatna informacja, a istnieje pięć rozsądnych odpowiedzi.
Przetestuj większą zmianę. Relacja kwadratowa sprawia, że jest to opcja o najwyższym potencjale, i to z dużą przewagą. Przeprojektuj przepływ, a nie przycisk.
Przejdź na wyższy poziom bazowy. Przetestuj dodanie do koszyka lub przejście do kasy, a nie zakup. Wielkość efektu jest mierzona na większej bazie, a wymagania dotyczące próby ulegają zmniejszeniu. Zaakceptuj, że mierzysz wartość zastępczą i osobno zweryfikuj powiązanie z przychodami.
Przetestuj dalej w leju, jak wyżej.
Grupuj podobne strony. Przeprowadzenie jednego testu na wszystkich stronach kategorii zamiast testu na jednej kategorii zwielokrotnia dostępny ruch, pod warunkiem, że strony są na tyle podobne pod względem zachowania, że łączenie jest uzasadnione.
Przestań testować i zacznij badać. Jeśli witryna nie jest w stanie zasilić eksperymentu, testy A/B nie są do tego odpowiednim narzędziem. Testy użyteczności, nagrania sesji i przegląd heurystyczny pozwolą szybciej i taniej znaleźć błędy. Walidacja ilościowa nastąpi później, gdy zmiany będą wystarczająco duże, aby można je było zmierzyć. Nie ma w tym nic złego – przeprowadzanie testów o zbyt małej mocy, aby sprawiać wrażenie rygorystycznych, jest gorsze niż ich nie przeprowadzanie.
Lista kontrolna przed lotem
Przed jakimikolwiek uruchomieniami testowymi:
- [ ] Punkt odniesienia mierzony na rzeczywistej stronie i wśród odbiorców, na których będzie przeprowadzany test, a nie w całej witrynie
- [ ] MDE określone wyraźnie, na piśmie, z podaniem wartości względnych lub bezwzględnych
- [ ] Obliczono wielkość próby na wariant i pomnożone przez liczbę ramion
- [ ] Wymagany czas trwania w porównaniu z dostępnym ruchem — i odpowiedź akceptowana przed uruchomieniem
- [ ] Data zakończenia ustalona z góry
- [ ] Co najmniej jeden pełny cykl biznesowy, niezależnie od tego, co mówią przykładowe obliczenia matematyczne
- [ ] Jednostka randomizacji odpowiada jednostce analizy (przypisanie na poziomie odwiedzającego, metryki na poziomie odwiedzającego)
- [ ] Podział ruchu zweryfikowany w pierwszych godzinach — test 50/50 dający wynik 53/47 oznacza problem z instrumentacją, a wyniki są bezużyteczne do momentu jego znalezienia
Przed utworzeniem wariantu przeprowadź obliczenia
Całe obliczenia zajmują pół minuty i zmieniają to, co budujesz. Zespoły, które najpierw ustalają rozmiar swoich testów, projektują odważniejsze warianty, ponieważ widzą, ile kosztowałyby te mniej rygorystyczne.
Wprowadź swój bazowy współczynnik konwersji, efekt, który chcesz wykryć, oraz swoje ustawienia pewności i mocy. Jeśli liczba zwracanych danych jest większa niż ruch, nie jest to powód do uruchomienia – to test, który podpowiada Ci, że warto zmienić plan.
PYTANIA I ODPOWIEDZI
Ilu odwiedzających potrzebuję do przeprowadzenia testu A/B? Nie ma uniwersalnej liczby. Zależy ona od bazowego współczynnika konwersji, najmniejszego efektu, który chcesz wykryć, oraz wybranych poziomów istotności i mocy. Strona z konwersją na poziomie 2.5% potrzebuje około 64 000 odwiedzających na wariant, aby wykryć względną poprawę o 10%; etap finalizacji zamówienia z konwersją na poziomie 40% wymaga około 2,400 odwiedzających, aby uzyskać ten sam względny efekt.
Jaki jest dobry minimalny wykrywalny efekt? Najniższy, jaki Twój ruch może obsłużyć w rozsądnym czasie. Zacznij od dostępnego ruchu i docelowego czasu trwania od dwóch do czterech tygodni, a następnie rozwiąż zadanie wstecz, aby znaleźć pasujący MDE. Jeśli ten MDE jest większy niż zmiana, którą prawdopodobnie wywołasz, przeprojektuj test.
Czy mogę przerwać test przed czasem, jeśli wynik jest ewidentnie pozytywny? Nie w przypadku standardowego testu o stałym horyzoncie czasowym. Wielokrotne sprawdzanie i zatrzymywanie się na pierwszym istotnym wyniku znacznie zwiększa wskaźnik wyników fałszywie dodatnich powyżej 5%. Jeśli potrzebujesz możliwości wczesnego zatrzymania, skorzystaj z metody stworzonej specjalnie do tego celu – testowania sekwencyjnego lub frameworka bayesowskiego – i zdecyduj się na to przed uruchomieniem, a nie w jego trakcie.
Co się stanie, jeśli mój test osiągnie poziom istotności zanim wielkość próby zostanie osiągnięta? Podchodź do tego z podejrzliwością i biegnij dalej, aż do zaplanowanego końca. Wczesne znaczenie w niedostatecznie rozwiniętym oknie to dokładnie ten schemat, który generuje zawyżone, niereplikowalne zwycięzców.
Czy 80% mocy wystarczy? To standardowa wartość domyślna i rozsądny punkt wyjścia, ale oznacza to akceptację 20% szansy na przeoczenie realnego efektu. W przypadku decyzji o dużej wadze – przeprojektowania kasy, zmiany cen – 90% mocy jest warte dodatkowej próbki. W przypadku niedrogich, odwracalnych zmian, 80% jest wystarczające.
Nie masz pewności, czy Twój program testowy zapewnia prawdziwe odpowiedzi?
Jeśli Twój dziennik testów jest pełen drobnych sukcesów, które nigdy nie pojawiają się w wynikach końcowych, problem zazwyczaj leży na wcześniejszym etapie analizy. Przeanalizujemy programy eksperymentalne i jasno wskażemy, gdzie projekt zawodzi.
