Testowanie A/B to kontrolowana metoda eksperymentalna służąca do porównywania dwóch lub więcej wersji strony internetowej, ekranu aplikacji, wiadomości e-mail lub innego zasobu cyfrowego w celu określenia, która z nich lepiej sprawdza się w kontekście określonego celu, takiego jak współczynnik klikalności, współczynnik rejestracji lub przychód na odwiedzającego. W najprostszej formie ruch jest losowo dzielony między wersję kontrolną (A) i wariant (B), a uzyskane dane poddaje się analizie statystycznej, aby ustalić, czy obserwowana różnica w wydajności jest rzeczywistym efektem, czy jedynie wynikiem losowej zmienności. Technika ta wywodzi się bezpośrednio z metodologii randomizowanych badań kontrolowanych stosowanej w badaniach klinicznych i naukach rolniczych, dlatego praktycy często odwołują się do istotności statystycznej, przedziałów ufności i obliczeń liczebności próby, omawiając projekt testu.
Testy A/B są ważne, ponieważ zastępują subiektywne opinie i wewnętrzne debaty dowodami empirycznymi na temat rzeczywistych zachowań użytkowników. Zespoły projektowe i marketingowe często nie zgadzają się co do tego, który nagłówek, kolor przycisku, układ lub struktura cenowa zapewnią lepszą konwersję, a intuicja jest notorycznie zawodna: badania przeprowadzone na platformach e-commerce i SaaS wielokrotnie wykazały, że zmiany, które miały poprawić wskaźniki konwersji, nie przynoszą oczekiwanych rezultatów, a nawet je obniżają w około 80–90% przeprowadzanych testów. Prezentując hipotezę rzeczywistej publiczności i mierząc jej wynik bezpośrednio, testy A/B pozwalają organizacjom weryfikować lub odrzucać pomysły, zanim zaangażują czas inżynierów, budżet marketingowy lub ryzyko związane z marką w pełne wdrożenie.
Przeprowadzenie prawidłowego testu A/B wymaga czegoś więcej niż tylko podziału ruchu i porównania liczby konwersji. Analitycy z góry obliczają minimalną wielkość próby, na podstawie bazowego współczynnika konwersji, minimalnego wykrywalnego efektu, na którym zależy firmie, oraz pożądanej mocy statystycznej (zwykle 80%) i poziomu istotności (zwykle 95%) lub wartości p poniżej 0.05. Testy są zazwyczaj przeprowadzane przez co najmniej jeden do dwóch pełnych cykli biznesowych, często 14 do 30 dni, aby uwzględnić wpływ dnia tygodnia i uniknąć przedwczesnego zatrzymania się z powodu losowej fluktuacji, błędu znanego jako peeking. Narzędzia takie jak VWO, Optimizely i AB Tasty zajmują się randomizacją, śledzeniem i obliczeniami statystycznymi, ale interpretacja wyników nadal wymaga zrozumienia pojęć takich jak niedopasowanie współczynnika próby i efekt nowości.
Powszechnym błędnym przekonaniem jest to, że statystycznie istotny wynik pojedynczego testu jest niezmienną, uniwersalną prawdą. W rzeczywistości wyniki są specyficzne dla segmentu ruchu, okresu i kontekstu, w którym przeprowadzono test, i mogą zanikać lub odwracać się wraz ze zmianą odbiorców, pory roku lub warunków konkurencji. Inną częstą pułapką jest testowanie zbyt wielu zmiennych jednocześnie bez odpowiedniego ruchu, co prowadzi do testów o niskiej mocy, które generują wyniki fałszywie dodatnie lub w ogóle nie osiągają istotności. Testowanie wielowymiarowe, które bada kombinacje kilku elementów jednocześnie, wymaga znacznie większego ruchu niż prosty dwuwariantowy test A/B i nie jest sposobem na uniknięcie wymagań dotyczących liczebności próby.
W granicach CRO W przypadku zaangażowania w doradztwo UX, testy A/B to mechanizm, który przekształca badania jakościowe, takie jak wywiady z użytkownikami, mapy cieplne i nagrania sesji, w sprawdzone, wpływające na przychody decyzje. Dobrze prowadzony program testowania zazwyczaj przebiega według ustrukturyzowanego procesu: identyfikuje punkt sporny za pomocą danych i badań, formułuje konkretną hipotezę dotyczącą jego istnienia i sposobu jego rozwiązania, ustala jego priorytet względem innych pomysłów za pomocą systemu punktacji, przeprowadza eksperyment w celu uzyskania trafności statystycznej i dokumentuje wnioski niezależnie od tego, czy wariant wygrał, czy przegrał. Z czasem tworzy to oparty na dowodach plan działania, który zmniejsza ryzyko kosztownych przeprojektowań i buduje wiedzę instytucjonalną na temat tego, co faktycznie wpływa na zachowania klientów na danej stronie.