Test A/B to kontrolowana metoda eksperymentowania, służąca do porównania dwóch lub więcej wersji strony internetowej, ekranu aplikacji, wiadomości e-mail lub innego zasobu cyfrowego w celu ustalenia, która z nich osiąga lepsze wyniki względem zdefiniowanego celu, takiego jak współczynnik klikalności, odsetek rejestracji czy przychód na odwiedzającego. W najprostszej formie ruch jest losowo dzielony pomiędzy wersję kontrolną (A) i wariant (B), a uzyskane dane poddaje się analizie statystycznej, aby rozstrzygnąć, czy zaobserwowana różnica w wynikach jest rzeczywistym efektem, czy jedynie skutkiem losowej zmienności. Technika ta czerpie bezpośrednio z metodologii randomizowanych badań kontrolowanych stosowanej w badaniach klinicznych i naukach rolniczych, dlatego praktycy często mówią o istotności statystycznej, przedziałach ufności i obliczaniu wielkości próby przy omawianiu projektu testu.
Testy A/B są ważne, ponieważ zastępują subiektywne opinie i wewnętrzne spory empirycznymi dowodami na to, jak naprawdę zachowują się odwiedzający. Zespoły projektowe i marketingowe często różnią się w ocenie, który nagłówek, kolor przycisku, układ czy struktura cen lepiej konwertuje, a intuicja jest notorycznie zawodnym przewodnikiem: badania w serwisach e-commerce i SaaS wielokrotnie pokazały, że zmiany, po których spodziewano się poprawy współczynnika konwersji, nie przynoszą jej, a nawet go obniżają, w około 80-90 procentach przeprowadzonych testów. Poddając hipotezę weryfikacji na żywej publiczności i mierząc wynik bezpośrednio, test A/B pozwala organizacjom potwierdzić lub odrzucić pomysły, zanim zaangażują czas programistów, budżet marketingowy lub ryzyko dla marki w pełne wdrożenie.
Przeprowadzenie wiarygodnego testu A/B wymaga czegoś więcej niż samego podziału ruchu i porównania liczby konwersji. Analitycy z góry obliczają minimalną wielkość próby na podstawie bazowego współczynnika konwersji, minimalnego wykrywalnego efektu istotnego dla biznesu oraz oczekiwanej mocy statystycznej (zwykle 80 procent) i poziomu istotności (zwykle 95 procent, czyli wartość p poniżej 0,05). Testy prowadzi się zazwyczaj przez co najmniej jeden do dwóch pełnych cykli biznesowych, często od 14 do 30 dni, aby uwzględnić wpływ dnia tygodnia i uniknąć przedwczesnego zakończenia na skutek przypadkowego wahania, co jest błędem znanym jako „peeking”. Narzędzia takie jak VWO, Optimizely i AB Tasty zajmują się randomizacją, śledzeniem i obliczeniami statystycznymi, jednak interpretacja wyników nadal wymaga zrozumienia takich pojęć jak niezgodność proporcji próby (sample ratio mismatch) czy efekt nowości.
Powszechnym nieporozumieniem jest przekonanie, że statystycznie istotny wynik pojedynczego testu stanowi trwałą, uniwersalną prawdę. W rzeczywistości wyniki są specyficzne dla segmentu ruchu, okresu i kontekstu, w którym test przeprowadzono, i mogą słabnąć lub się odwracać wraz ze zmianą odbiorców, sezonów czy warunków konkurencyjnych. Inną częstą pułapką jest testowanie zbyt wielu zmiennych naraz bez wystarczającego ruchu, co prowadzi do testów o zbyt małej mocy, które zgłaszają fałszywie dodatnie wyniki albo w ogóle nie osiągają istotności. Testy wielowariantowe, badające kombinacje kilku elementów jednocześnie, wymagają znacznie większego ruchu niż prosty test A/B z dwoma wariantami i nie są drogą na skróty wokół wymogów dotyczących wielkości próby.
W ramach współpracy z firmą doradczą w zakresie CRO lub UX test A/B jest mechanizmem, który przekształca badania jakościowe, takie jak wywiady z użytkownikami, mapy cieplne i nagrania sesji, w zwalidowane decyzje wpływające na przychody. Dobrze prowadzony program testowy zazwyczaj przebiega według uporządkowanego procesu: identyfikacja punktu tarcia na podstawie danych i badań, sformułowanie konkretnej hipotezy co do przyczyny jego istnienia i sposobu naprawy, ustalenie priorytetu względem innych pomysłów za pomocą modelu punktowego, przeprowadzenie eksperymentu do osiągnięcia ważności statystycznej oraz udokumentowanie wniosków niezależnie od tego, czy wariant wygrał, czy przegrał. Z czasem powstaje w ten sposób oparta na dowodach mapa drogowa, która zmniejsza ryzyko kosztownych przebudów i buduje wiedzę organizacyjną o tym, co naprawdę wpływa na zachowania klientów w danym serwisie.
Więcej terminów na literę A
AARRR (metryki piratów)Above the Fold (strefa nad linią zgięcia)Kryteria akceptacji (Acceptance Criteria)Dostępność cyfrowa (zgodność z WCAG)Audyt dostępności (Accessibility Audit)Marketing afiliacyjny (Affiliate Marketing)Afordancja (Affordance)Zwinne wytwarzanie oprogramowania (Agile)Atomic DesignModelowanie atrybucjiOkno atrybucji (attribution window)Średnia wartość zamówienia (AOV)
