Przedstawiliśmy Microsoft Clarity jako produkt stworzony z myślą o praktycznych, rzeczywistych zastosowaniach przez prawdziwych specjalistów, którzy rozumieją wyzwania stojące przed firmami takimi jak Switas. Funkcje takie jak wykrywanie kliknięć i śledzenie błędów JavaScript okazały się nieocenione w identyfikowaniu frustracji użytkowników i problemów technicznych, umożliwiając wprowadzenie ukierunkowanych usprawnień, które bezpośrednio wpłynęły na doświadczenia użytkowników i wskaźniki konwersji.
Testowanie oparte na hipotezach
Testowanie oparte na hipotezach to ustrukturyzowane podejście do eksperymentowania, w którym każdy test rozpoczyna się od jednoznacznego, falsyfikowalnego stwierdzenia przewidującego, że konkretna zmiana wywoła określony, mierzalny wpływ na zachowanie użytkownika, zazwyczaj sformułowanego w formacie takim jak: ponieważ zaobserwowaliśmy dowód X, uważamy, że zmiana Y spowoduje wynik Z, mierzony metryką M w określonym czasie. Różni się to znacząco od testów ad hoc, gdzie warianty są testowane w oparciu o ogólną intuicję lub zapożyczone najlepsze praktyki branżowe bez jasno sformułowanego powodu opartego na dowodach specyficznych dla konkretnej witryny lub produktu testowanego w danym momencie. Niektóre zespoły wymagają ponadto, aby każda hipoteza wskazywała konkretny segment użytkowników, do którego się odnosi, ponieważ zmiana, która pomaga osobom odwiedzającym witrynę po raz pierwszy za pomocą urządzeń mobilnych, może nie mieć żadnego wpływu, a nawet mieć negatywny wpływ na powracających klientów korzystających z komputerów stacjonarnych, którzy już dokładnie wiedzą, po co przyszli.
Ta dyscyplina ma znaczenie, ponieważ zmusza zespół do uzasadnienia proponowanej zmiany istniejącymi dowodami przed zaangażowaniem zasobów inżynieryjnych i projektowych w opracowanie i uruchomienie testu. To znacząco poprawia ogólny wskaźnik wygranych programu eksperymentalnego w czasie i sprawia, że uzasadnienie zarówno sukcesów, jak i porażek można ponownie wykorzystać w przyszłych pracach w innych obszarach produktu. Test, który potwierdza lub obala hipotezę opartą na wcześniejszych danych, na przykład mapa cieplna pokazująca, że użytkownicy całkowicie pomijają kluczowe wezwanie do działania, generuje wiedzę, która przekłada się na inne strony wykazujące podobne wzorce. Natomiast test oparty wyłącznie na niespójnym pomyśle kreatywnym, nawet jeśli okaże się skuteczny, często daje wynik, który jest naprawdę trudny do wyjaśnienia lub zastosowania w innym miejscu produktu.
W praktyce programy testowania opartego na hipotezach zazwyczaj utrzymują bieżący rejestr hipotez generowanych z wielu źródeł jednocześnie, w tym danych analitycznych, map cieplnych i nagrań sesji, wywiadów z użytkownikami, tematów wsparcia klienta oraz analiz konkurencji podobnych firm z tej samej kategorii. Ten rejestr jest priorytetyzowany za pomocą systemu punktacji, takiego jak ICE, który ocenia każdą hipotezę pod kątem potencjalnego wpływu, zaufania do dowodów leżących u jej podstaw oraz łatwości wdrożenia. Po ustaleniu priorytetu, hipoteza jest operacjonalizowana w teście A/B z jasno zdefiniowaną metryką główną, minimalnym wykrywalnym efektem i wymaganą liczebnością próby obliczoną z wyprzedzeniem, a następnie test jest uruchamiany do momentu osiągnięcia istotności statystycznej, zazwyczaj na poziomie ufności 95%, zamiast zostać przerwanym przedwcześnie na podstawie atrakcyjnego, ale przedwczesnego wyniku pośredniego.
Powszechnym błędnym przekonaniem jest to, że hipoteza to po prostu opis tego, jak będzie wyglądał wariant, na przykład, że przycisk będzie czerwony, a nie uzasadniona prognoza łącząca istniejące dowody z oczekiwanym rezultatem behawioralnym; prawidłowo sformułowana hipoteza zawsze wyraża podstawowe przekonanie na temat zachowań użytkowników, które zmiana w projekcie ma na celu przetestowanie i walidację. Kolejną istotną pułapką jest traktowanie przegranego testu jako porażki całego procesu, a nie jako ważnego i autentycznie wartościowego wyniku nauki, ponieważ hipoteza obalona rzeczywistymi danymi użytkowników nadal eliminuje błędne założenie i pozwala na bardziej produktywne ukierunkowanie przyszłych działań niż w ogóle nieprzetestowanie pomysłu. Jest to ważna różnica kulturowa, którą doświadczeni praktycy CRO z trudem wdrażają w organizacjach klientów.
W granicach CRO W konsultingu, testowanie oparte na hipotezach to model operacyjny, wokół którego zbudowane są niemal wszystkie programy eksperymentalne klientów, ponieważ zapewnia on obronny, audytowalny ślad łączący zaobserwowany problem z proponowanym rozwiązaniem i zmierzonym rezultatem. Ślad ten jest niezbędny zarówno do uzasadnienia ciągłych inwestycji w program testowania przed sceptycznie nastawionymi interesariuszami, jak i do budowania instytucjonalnej bazy wiedzy, której wartość znacząco wzrasta w miarę testowania, udoskonalania i walidacji lub ostatecznego wykluczenia kolejnych hipotez w kolejnych rundach testowania całego produktu. Z czasem ten skumulowany rejestr zweryfikowanych i obalonych hipotez staje się jednym z najcenniejszych atutów firmy konsultingowej, ponieważ pozwala projektować nowe eksperymenty z wykorzystaniem wszystkiego, co już zostało zdobyte, zamiast zaczynać za każdym razem od zera.
Świtas widziany na
