Çağdaş Polat · · 4 min czytania
Testy A/B to kluczowa metoda optymalizacji witryn i aplikacji, pozwalająca firmom porównać dwie wersje strony internetowej lub aplikacji i ustalić, która z nich działa lepiej. Znajomość najważniejszych metryk i terminologii związanych z testami A/B jest niezbędna do prawidłowej interpretacji wyników. W tym artykule omawiamy istotne metryki i pojęcia z zakresu testów A/B, w tym wartość p, przedział ufności, testy jednostronne i dwustronne, wynik z (z-score), moc zaobserwowaną, wariant, grupę kontrolną, przychód przyrostowy, współczynnik konwersji oraz obliczenia bayesowskie.
Kluczowe metryki i terminologia testów A/B
1. Wariant
Wariant to jedna z wersji testowanych w teście A/B. Zazwyczaj istniejąca wersja nazywana jest kontrolną, a nowa wersja – wariantem.
Przykład: W teście A/B strony docelowej wersja A (obecna strona) jest wersją kontrolną, a wersja B (nowy projekt) jest wariantem.
2. Grupa kontrolna
Grupa kontrolna to grupa użytkowników, którym w teście A/B wyświetlana jest oryginalna wersja (kontrolna). Stanowi punkt odniesienia do porównania skuteczności wariantu.
Przykład: Jeśli witrynę odwiedza 10 000 użytkowników, 5000 z nich może zobaczyć stronę kontrolną (grupa kontrolna), a 5000 – stronę wariantu.

3. Przychód przyrostowy
Przychód przyrostowy to dodatkowy przychód wygenerowany w wyniku zmian wprowadzonych podczas testu A/B. Pomaga ocenić finansowy wpływ testu.
Przykład: Jeśli strona wariantu zwiększa średnią wartość zamówienia o 5 USD i dokonano 1000 dodatkowych zakupów, przychód przyrostowy wynosi 5000 USD.

4. Współczynnik konwersji
Współczynnik konwersji to odsetek użytkowników, którzy wykonują pożądane działanie, takie jak dokonanie zakupu lub zapisanie się do newslettera, w stosunku do całkowitej liczby odwiedzających.
Przykład: Jeśli 100 z 1000 odwiedzających dokonuje zakupu, współczynnik konwersji wynosi 10%.
5. Wartość p
Wartość p mierzy prawdopodobieństwo, że zaobserwowana różnica między dwiema wersjami wystąpiła przypadkowo. Niższa wartość p (zazwyczaj poniżej 0,05) oznacza, że zaobserwowana różnica jest istotna statystycznie.
Przykład: Załóżmy, że test A/B porównuje dwie wersje strony docelowej. Wersja A ma współczynnik konwersji 5%, a wersja B 7%. Jeśli wartość p wynosi 0,03, istnieje 3% szans, że zaobserwowana różnica wystąpiła przypadkowo, co wskazuje na istotną różnicę między obiema wersjami.

6. Przedział ufności
Przedział ufności wyznacza zakres, w którym z określonym poziomem ufności (zwykle 95%) powinna mieścić się rzeczywista wielkość efektu. Pomaga ocenić wiarygodność wyników testu.
Przykład: W tym samym teście A/B 95-procentowy przedział ufności dla różnicy we współczynnikach konwersji może wynosić [1%, 3%]. Oznacza to, że z 95-procentową pewnością możemy stwierdzić, że rzeczywista różnica we współczynnikach konwersji mieści się między 1% a 3%.
7. Testy jednostronne i dwustronne
Test jednostronny ocenia kierunek efektu (np. czy wersja B jest lepsza od wersji A), natomiast test dwustronny sprawdza, czy istnieje jakakolwiek różnica w którymkolwiek kierunku.
Przykład testu jednostronnego: sprawdza, czy współczynnik konwersji wersji B jest wyższy niż wersji A.
Przykład testu dwustronnego: sprawdza, czy istnieje jakakolwiek różnica między współczynnikami konwersji wersji A i wersji B, niezależnie od kierunku.

8. Wynik z (z-score)
Wynik z mierzy, o ile odchyleń standardowych dany element oddalony jest od średniej. W testach A/B służy do określenia istotności zaobserwowanej różnicy między dwiema wersjami. Typowe poziomy ufności i odpowiadające im wartości wyniku z:
- Przedział ufności 95%
- Wynik z dla testu dwustronnego: 1,96
- Wynik z dla testu jednostronnego: 1,65
- Przedział ufności 99%
- Wynik z dla testu dwustronnego: 2,58
- Wynik z dla testu jednostronnego: 2,33
- Przedział ufności 90%
- Wynik z dla testu dwustronnego: 1,64
- Wynik z dla testu jednostronnego: 1,28
Przykład: Jeśli wynik z dla różnicy we współczynnikach konwersji między wersją A a wersją B wynosi 2,5, oznacza to, że różnica jest oddalona od średniej o 2,5 odchylenia standardowego, co wskazuje na istotną statystycznie różnicę.
9. Moc zaobserwowana
Moc zaobserwowana to prawdopodobieństwo, że test prawidłowo odrzuci hipotezę zerową, gdy rzeczywisty efekt istnieje. Wyższa moc zaobserwowana oznacza większe prawdopodobieństwo wykrycia rzeczywistej różnicy.
Przykład: W teście A/B o mocy zaobserwowanej 0,8 (80%) istnieje 80% szans na wykrycie rzeczywistej różnicy między wariantami, jeśli taka istnieje.

10. Obliczenia bayesowskie
Obliczenia bayesowskie polegają na wykorzystaniu twierdzenia Bayesa do aktualizacji oszacowania prawdopodobieństwa hipotezy w miarę pozyskiwania dodatkowych dowodów. W testach A/B zapewniają probabilistyczne ramy podejmowania decyzji na podstawie danych.
Przykład: Stosując metody bayesowskie, można określić prawdopodobieństwo, że dany wariant jest lepszy od kontrolnego w świetle zaobserwowanych danych, zamiast polegać wyłącznie na tradycyjnych wartościach p.

11. Statystyka częstościowa
Statystyka częstościowa (frequentist) to tradycyjne podejście w testowaniu hipotez, które koncentruje się na częstości lub proporcji danych. Opiera się na stałych zbiorach danych i nie uwzględnia wiedzy wcześniejszej ani rozkładów prawdopodobieństwa.
Przykład: W podejściu częstościowym do testów A/B użyłoby się wartości p i przedziałów ufności do określenia istotności wyników testu, bez uwzględniania prawdopodobieństw a priori.
Praktyczne przykłady
Przykład 1: test A/B kampanii e-mailowej
Firma chce przetestować dwa tematy wiadomości e-mail, aby sprawdzić, który zapewnia wyższy współczynnik otwarć.
- Temat A: współczynnik otwarć 25%
- Temat B: współczynnik otwarć 28%
- Wartość p: 0,02 (wskazuje na istotną różnicę)
- Przedział ufności: [2%, 5%] (95-procentowa pewność, że rzeczywista różnica we współczynnikach otwarć mieści się między 2% a 5%)
- Wynik z: 2,33 (wskazuje na istotną statystycznie różnicę)
- Moc zaobserwowana: 0,85 (85% szans na wykrycie rzeczywistej różnicy)
Przykład 2: test A/B strony docelowej witryny
Sklep internetowy testuje dwa projekty strony docelowej, aby ustalić, który prowadzi do większej liczby zakupów.
- Projekt A: współczynnik konwersji 4%
- Projekt B: współczynnik konwersji 5%
- Wartość p: 0,045 (wskazuje na istotną różnicę)
- Przedział ufności: [0,5%, 1,5%] (95-procentowa pewność, że rzeczywista różnica we współczynnikach konwersji mieści się między 0,5% a 1,5%)
- Wynik z: 2,01 (wskazuje na istotną statystycznie różnicę)
- Moc zaobserwowana: 0,78 (78% szans na wykrycie rzeczywistej różnicy)
Testy A/B to potężne narzędzie optymalizacji doświadczeń cyfrowych, a znajomość ich kluczowych metryk i terminologii jest niezbędna do trafnej interpretacji wyników. Switas wie, jak prowadzić skuteczne testy A/B, dzięki czemu firmy mogą podejmować decyzje oparte na danych, poprawiające ich wyniki, i otrzymują rzetelne, praktyczne wnioski napędzające wzrost i sukces.




