Bayesowskie testy A/B

Bayesowskie testy A/B to podejście do analizy eksperymentów, które określa prawdopodobieństwo, że jeden wariant jest lepszy od drugiego, biorąc pod uwagę obserwowane dane i wszelkie dostarczone informacje wstępne. Kontrastuje ono z podejściem frekwencyjnym, które określa, jak zaskakujące byłyby dane, gdyby wariant nie miał żadnego wpływu. Praktyczna różnica tkwi w wynikach: metody bayesowskie generują stwierdzenia takie jak „istnieje 93-procentowe prawdopodobieństwo, że wariant B przewyższy wariant kontrolny, z oczekiwaną stratą 0.2% w przypadku błędnego wyboru”, które bezpośrednio przekładają się na decyzje biznesowe.

Metoda ta polega na połączeniu rozkładu a priori, reprezentującego przekonania o prawdopodobnym efekcie sprzed testu, z danymi obserwowanymi, aby uzyskać rozkład a posteriori prawdopodobnych efektów. Ten rozkład a posteriori można następnie analizować w dowolny sposób, wymagany w procesie decyzyjnym: prawdopodobieństwo jakiejkolwiek poprawy, prawdopodobieństwo poprawy powyżej progu istotności komercyjnej lub przewidywany koszt podjęcia błędnej decyzji. Kilka powszechnie używanych platform testowych przyjęło domyślnie raportowanie bayesowskie właśnie z tego powodu – wyniki wymagają mniejszej liczby przeliczeń, zanim interesariusz będzie mógł na nie zareagować.

Najczęściej wymienianą zaletą jest większa odporność wyników bayesowskich na ciągłe monitorowanie. Ponieważ analiza a posteriori jest aktualizowana w miarę napływu danych i nie opiera się na założeniu stałej próby, wielokrotne analizowanie wyników nie zawyża wskaźników błędów, tak jak ma to miejsce w przypadku naiwnych, frekwencyjnych wartości p. Jest to szczególnie przydatne w zastosowaniach komercyjnych, gdzie interesariusze będą sprawdzać pulpity nawigacyjne niezależnie od protokołu analizy. Nie daje to jednak prawa do przerwania testu w momencie, gdy wynik wygląda obiecująco: przerwanie testu na podstawie obserwowanej metryki nadal zawyża szacowaną wielkość efektu, a krótkie testy nadal pomijają cykle tygodniowe i efekty nowości, niezależnie od ram statystycznych.

A priori jest zarówno siłą metody, jak i jej najczęstszym źródłem sporów. Słabo informacyjna a priori, z której korzysta domyślnie większość platform, ma niewielki wpływ na wynik po zgromadzeniu rozsądnej ilości danych. Silna a priori, wyprowadzona z historii wcześniejszych eksperymentów organizacji, może znacząco poprawić szacunki, szczególnie w przypadku testów o niskim natężeniu ruchu, poprzez przyciągnięcie nieprawdopodobnie dużych obserwowanych efektów z powrotem do zakresu, który doświadczenie wskazuje jako realistyczny. Jednak a priori wybrane do poparcia pożądanego wniosku są nie do obrony, dlatego a priori powinny być dokumentowane i uzgadniane przed rozpoczęciem testu, a nie wybierane w trakcie analizy.

Żadna z ram nie uratuje źle zaprojektowanego eksperymentu. Analiza bayesowska testu z nieprawidłową randomizacją, błędem śledzenia, niedopasowaniem proporcji próby lub metryką, która nie odzwierciedla wartości biznesowej, pozwoli uzyskać pewną i precyzyjną odpowiedź na niewłaściwe pytanie. Wybór między ramami to decyzja oparta na raportowaniu i teorii decyzji; jakość projektu eksperymentu, na którym się opiera, decyduje o tym, czy odpowiedź jest cokolwiek warta.

Wynikiem, który czyni framework autentycznie użytecznym w zastosowaniach komercyjnych, jest oczekiwana strata, czasami nazywana ryzykiem. Zamiast pytać, czy wariant jest lepszy, system pyta, ile średnio zrezygnowano by z wyboru wariantu, gdyby okazał się gorszy. Reguła decyzyjna wyrażona jako „wysyłka”, gdy oczekiwana strata spada poniżej progu, który firma uważa za pomijalny, bezpośrednio przekłada się na sposób, w jaki podejmowane są decyzje komercyjne, ponieważ nikt nie wymaga pewności co do zmiany, której wady są nieistotne. System radzi sobie również z typową sytuacją, w której dwa warianty działają niemal identycznie: prawdopodobieństwo, że jeden z nich okaże się lepszy, może oscylować wokół pięćdziesięciu procent w nieskończoność, podczas gdy oczekiwana strata jest minimalna w obu kierunkach, co słusznie wskazuje, że wybór nie ma znaczenia i zespół powinien zaprzestać przeznaczania na niego ruchu.

W ramach danego zaangażowania wybór ram jest zazwyczaj podejmowany na wczesnym etapie, a następnie pozostawiany bez zmian, ponieważ zmiana w trakcie programu sprawia, że ​​historyczne wyniki są nieporównywalne. Usługa CRO Zespół zazwyczaj standaryzuje podejście, które wspiera istniejąca platforma klienta i kultura analityczna, z góry definiuje progi decyzyjne i koncentruje wysiłki na projektowaniu i priorytetyzacji eksperymentów, a nie na filozofii statystycznej. W przypadku, gdy organizacja buduje własny stos pomiarowy, wybór jest zazwyczaj dokonywany w kontekście szerszej architektury raportowania obsługiwanej przez… Analityka danych funkcja, dzięki której wyniki eksperymentów i informacje biznesowe będą miały spójny język niepewności.