SwitasSkontaktuj się z nami

Testowanie oparte na hipotezach (Hypothesis-Driven Testing)

Testowanie oparte na hipotezach (hypothesis-driven testing) to uporządkowane podejście do eksperymentowania, w którym każdy test zaczyna się od jawnego, falsyfikowalnego stwierdzenia przewidującego, że konkretna zmiana wywoła konkretny, mierzalny efekt w zachowaniu użytkowników, zwykle sformułowanego w formacie takim jak: ponieważ zaobserwowaliśmy dowód X, uważamy, że zmiana Y przyniesie rezultat Z, mierzony wskaźnikiem M w określonym czasie. Różni się to zasadniczo od testowania doraźnego (ad hoc), w którym warianty próbuje się na podstawie ogólnej intuicji lub zapożyczonych branżowych najlepszych praktyk, bez jasno wyrażonego powodu opartego na dowodach właściwych dla konkretnej witryny lub produktu testowanego w danym momencie. Niektóre zespoły wymagają ponadto, aby każda hipoteza wskazywała konkretny segment użytkowników, którego dotyczy, ponieważ zmiana pomagająca nowym odwiedzającym na urządzeniach mobilnych może nie mieć żadnego wpływu, a nawet mieć negatywny, na powracających klientów na komputerach, którzy dokładnie wiedzą, po co przyszli. Ta dyscyplina ma znaczenie, ponieważ zmusza zespół do uzasadnienia proponowanej zmiany istniejącymi dowodami, zanim zaangażuje zasoby inżynieryjne i projektowe na zbudowanie i przeprowadzenie testu, co w istotny sposób poprawia ogólny odsetek wygranych programu eksperymentów w czasie i sprawia, że uzasadnienie zarówno sukcesów, jak i porażek można wykorzystać ponownie w przyszłych pracach w innych miejscach produktu. Test potwierdzający lub obalający hipotezę opartą na wcześniejszych danych, na przykład na mapie cieplnej pokazującej, że użytkownicy w ogóle pomijają kluczowe wezwanie do działania, daje wniosek, który uogólnia się na inne strony wykazujące podobne wzorce, podczas gdy test oparty wyłącznie na oderwanym od danych pomyśle kreatywnym, nawet jeśli akurat wygra, często daje wynik, który naprawdę trudno wyjaśnić lub zastosować gdziekolwiek indziej w produkcie. W praktyce programy testowania opartego na hipotezach utrzymują zwykle bieżący backlog hipotez generowanych jednocześnie z wielu źródeł, w tym danych analitycznych, map cieplnych i nagrań sesji, wywiadów z użytkownikami, tematów zgłoszeń do obsługi klienta oraz analizy konkurencji podobnych firm w tej samej kategorii. Backlog ten jest priorytetyzowany za pomocą modelu punktowego, takiego jak ICE, który ocenia każdą hipotezę pod kątem potencjalnego wpływu, pewności co do leżących u jej podstaw dowodów i łatwości wdrożenia. Po ustaleniu priorytetu hipoteza jest przekształcana w test A/B z jasno zdefiniowanym głównym wskaźnikiem, minimalnym wykrywalnym efektem i wymaganą wielkością próby obliczoną z góry, a test jest następnie prowadzony do osiągnięcia istotności statystycznej, zwykle na poziomie ufności 95 procent, a nie zatrzymywany wcześniej na podstawie atrakcyjnego, ale przedwczesnego wyniku pośredniego. Częstym nieporozumieniem jest przekonanie, że hipoteza to po prostu opis tego, jak będzie wyglądał wariant, na przykład „zrobimy przycisk czerwony”, a nie uzasadnione przewidywanie łączące istniejące dowody z oczekiwanym wynikiem behawioralnym; prawidłowo sformułowana hipoteza zawsze wyraża leżące u jej podstaw przekonanie o zachowaniu użytkowników, które zmiana projektowa ma konkretnie przetestować i zweryfikować. Inną istotną pułapką jest traktowanie przegranego testu jako porażki całego procesu, a nie jako pełnoprawnego i naprawdę wartościowego wniosku samego w sobie, ponieważ hipoteza obalona rzeczywistymi danymi użytkowników nadal eliminuje błędne założenie i bardziej produktywnie kieruje przyszły wysiłek niż brak przetestowania pomysłu w ogóle, a jest to ważne rozróżnienie kulturowe, które doświadczeni praktycy CRO z czasem usilnie starają się zakorzenić w organizacjach klientów. W firmie doradczej w zakresie CRO testowanie oparte na hipotezach jest modelem operacyjnym, wokół którego zorganizowane są niemal wszystkie programy eksperymentów klientów, ponieważ zapewnia obronialny, możliwy do zweryfikowania ślad łączący zaobserwowany problem z proponowanym rozwiązaniem i zmierzonym wynikiem. Ten ślad jest niezbędny zarówno do uzasadniania ciągłej inwestycji w program testowy przed sceptycznymi interesariuszami, jak i do budowania instytucjonalnej bazy wiedzy, której wartość znacząco rośnie w miarę testowania, doskonalenia i walidowania lub ostatecznego odrzucania kolejnych hipotez w kolejnych rundach testów w całym produkcie. Z czasem ten skumulowany zapis zwalidowanych i obalonych hipotez staje się jednym z najcenniejszych zasobów firmy doradczej, ponieważ pozwala projektować nowe eksperymenty z korzyścią płynącą z wszystkiego, czego już się nauczono, zamiast za każdym razem zaczynać od pustej kartki.

Więcej terminów na literę H

Zbudujmy następny.

Skontaktuj się z nami