Wielkość próbki

Wielkość próby to liczba odwiedzających, sesji lub użytkowników w każdej grupie eksperymentu i jest najważniejszym czynnikiem decydującym o tym, czy test może dać wiarygodną odpowiedź. Jest ona obliczana przed uruchomieniem testu na podstawie czterech danych wejściowych: bazowego współczynnika konwersji grupy kontrolnej, minimalnej wielkości efektu, którą firma uznałaby za istotną, pożądanej mocy statystycznej oraz poziomu istotności. Zmiana któregokolwiek z tych danych wejściowych powoduje, że wymagana wielkość próby zmienia się, często drastycznie.

Związek między tymi danymi wejściowymi nie jest intuicyjny i to właśnie tutaj większość programów testowych zawodzi. Wykrycie niewielkiego efektu wymaga znacznie większego ruchu niż wykrycie dużego, a zapotrzebowanie rośnie mniej więcej proporcjonalnie do odwrotności kwadratu wielkości efektu. Zmniejszenie o połowę wykrywanego efektu zwiększa wymagany ruch czterokrotnie. Witryna z konwersją na poziomie 2%, która chce wiarygodnie wykryć względną poprawę o 5%, potrzebuje dziesiątek tysięcy odwiedzających na wariant; ta sama witryna, która próbuje wykryć poprawę o 20%, potrzebuje jedynie ułamka tej liczby. Podobnie, niskie bazowe wskaźniki konwersji wymagają większego ruchu niż wysokie, dlatego witryny generujące leady i kategorie e-commerce o wysokiej wartości dodanej wymagają wolniejszych programów testowych niż witryny handlu detalicznego o wysokiej częstotliwości zakupów.

Przeprowadzenie testu bez obliczenia wielkości próby prowadzi do jednego z dwóch trybów awarii. Test o zbyt małej mocy nigdy nie prowadzi do wniosków, pochłania tygodnie ruchu i jest porzucany jako niejednoznaczny lub, co gorsza, jest odczytywany jako dowód na to, że zmiana nic nie dała. Test przerwany przedwcześnie, gdy szczęśliwy ciąg konwersji przekroczył próg istotności, odnotowuje znaczący efekt, który w większości zanika po wdrożeniu zmiany u wszystkich. Oba błędy kosztują tyle samo: wiarygodność programu testowego w organizacji.

Wymagania dotyczące wielkości próby ograniczają również to, co witryna może realistycznie testować. Witryna o ograniczonym ruchu nie może przeprowadzać szeregu drobnych udoskonaleń, ponieważ wdrożenie każdego z nich zajęłoby miesiące. Właściwą strategią przy takim poziomie ruchu jest testowanie mniejszej liczby, bardziej zdecydowanych zmian o dużych oczekiwanych efektach, testowanie na wyższych etapach lejka sprzedażowego, gdzie wolumeny są większe, oraz opieranie się w większym stopniu na badaniach jakościowych i analizie heurystycznej, aby zdecydować, co wdrożyć bez eksperymentu. Uczciwe rozpoznanie tego ograniczenia jest o wiele bardziej produktywne niż przeprowadzanie programu testów, który matematycznie nie może się powieść.

Praktyczne obliczenia muszą również uwzględniać różnicę między jednostką statystyczną a jednostką biznesową. Jeśli jednostką randomizacji jest odwiedzający, ale metryka jest mierzona dla każdej sesji, arytmetyka zawodzi, a deklarowany poziom ufności jest zawyżony. Testy mierzące przychód na odwiedzającego, a nie konwersję binarną, wymagają jeszcze większych prób, ponieważ przychód jest metryką o dużej wariancji i długim ogonie dużych zamówień. Analiza na poziomie segmentu pogłębia ten problem: test opracowany dla całej grupy odbiorców nie jest opracowany dla podzbioru użytkowników urządzeń mobilnych, a odczytywanie wyników segmentów z eksperymentu opracowanego dla całej grupy jest jednym z najczęstszych źródeł błędnych wniosków w tej dziedzinie.

Z obliczeń wynikają dwa pytania praktyczne, na które często udzielane są błędne odpowiedzi. Pierwsze dotyczy tego, czy ruch powinien być dzielony równo. Czasami proponuje się nierównomierny podział, taki jak dziewięćdziesiąt procent kontroli i dziesięć procent wariantów, aby ograniczyć narażenie na ryzykowną zmianę, ale znacznie wydłuża to wymagany czas wykonania, ponieważ mniejsza grupa determinuje precyzję porównania. Ograniczenie ryzyka jest lepiej osiągane poprzez krótkie początkowe nachylenie z monitorowaniem barier ochronnych, a następnie równomierny podział. Drugie pytanie dotyczy tego, co zrobić z uruchomieniem kilku testów jednocześnie. Jednoczesne eksperymenty na niepowiązanych częściach witryny są generalnie akceptowalne i w ten sposób większość programów osiąga rozsądną prędkość, ale testy, które oddziałują na siebie, takie jak dwie zmiany wpływające na ten sam krok lejka, muszą być sekwencjonowane lub analizowane jako projekt łączony, ponieważ odwiedzający doświadczający obu nie mogą być jednoznacznie przypisane do żadnego z nich.

W ramach struktury optymalizacja współczynnika konwersji W programie planowanie wielkości próby odbywa się podczas ustalania priorytetów, a nie w momencie uruchomienia. Wiedza o tym, że proponowany test wymaga sześciu tygodni ruchu, zmienia jego priorytet w porównaniu z koncepcją, której realizacja zajmuje dziesięć dni, a kompromis między oczekiwanym wpływem a czasem potrzebnym na odpowiedź jest jednym z kluczowych czynników wpływających na plan działania. W przypadku witryn o mniejszym ruchu, Audyt UX często przynosi lepsze rezultaty niż zaległości eksperymentalne, ponieważ pozwala zidentyfikować błędy na tyle poważne, że ich naprawienie nie wymaga dowodu statystycznego.