Prędkość eksperymentu

Prędkość eksperymentów to tempo, w jakim organizacja przeprowadza trafne eksperymenty, zazwyczaj wyrażane jako liczba testów przeprowadzonych w ciągu miesiąca lub kwartału. Jest to jeden z najsilniejszych predyktorów wartości generowanej przez program testowania, z prostego powodu: jeśli tylko niewielka część eksperymentów przynosi znaczącą poprawę, to liczba wykrytych ulepszeń jest w dużej mierze funkcją liczby przeprowadzonych eksperymentów. Podwojenie tempa uczenia się, przy założeniu niezmienności innych czynników, z grubsza podwaja efekt kumulacji na istotne wskaźniki.

Prędkość jest ograniczona trzema oddzielnymi ograniczeniami, a identyfikacja jednego z nich jest pierwszym krokiem do jej poprawy. Ruch wyznacza sztywny pułap statystyczny: witryna nie może przeprowadzać większej liczby równoczesnych, odpowiednio wydajnych testów, niż pozwala na to jej wolumen. Zdolność produkcyjna obejmuje generowanie pomysłów, projektowanie, budowę i zapewnienie jakości i zazwyczaj stanowi wiążące ograniczenie w organizacjach, w których każdy test wymaga prac inżynieryjnych. Proces obejmuje cykle zatwierdzania, przegląd interesariuszy, akceptację prawną lub markową oraz przetwarzanie analiz i często stanowi największy ukryty koszt, ponieważ testy pozostają bezczynne w kolejkach dłużej niż poświęcają na zbieranie danych.

Zwiększanie prędkości poprzez obniżanie standardów jest niestety samobójcze i powszechne. Skrócenie czasu wykonania poniżej pełnego cyklu biznesowego, pomijanie obliczania wielkości próby, rezygnacja z kontroli jakości, testowanie tego, co łatwe, zamiast tego, co ważne, oraz przerywanie testów przy pierwszym sygnale istotności – wszystko to zwiększa liczbę ukończonych eksperymentów, jednocześnie zmniejszając liczbę rzeczywistych wyników. Program raportujący czterdzieści testów na kwartał przy użyciu nierzetelnej metodologii generuje mniejszą wartość niż program raportujący dwanaście testów wykonanych prawidłowo, a także wprowadza więcej zamieszania w organizacji, ponieważ jego wyniki są ze sobą sprzeczne.

Produktywnymi dźwigniami są przede wszystkim skrócenie czasu oczekiwania, a nie kompresja samych testów. Utrzymywanie priorytetowego backlogu gotowych do wdrożenia pomysłów, aby potencjał nigdy nie był niewykorzystany. Stworzenie biblioteki komponentów wielokrotnego użytku i szablonów testów, aby skrócić czas kompilacji. Uzgadnianie stałych zatwierdzeń dla zdefiniowanej klasy eksperymentów niskiego ryzyka, aby każdy z nich nie wymagał ponownego zatwierdzenia. Równoczesne uruchamianie nienakładających się na siebie testów w różnych obszarach witryny. Automatyzacja analizy i raportowania, aby wyniki były dostępne w dniu zakończenia testu, a nie dwa tygodnie później. Żaden z tych elementów nie narusza rygoru; wszystkie one skracają czas między jednym eksperymentem a kolejnym.

Prędkość należy również interpretować w kontekście miar jakości, a nie w oderwaniu od nich. Przydatnymi wskaźnikami są: odsetek testów prowadzących do trafnych wniosków, a nie porzuconych, odsetek testów generujących udokumentowane wnioski niezależnie od wyniku, odsetek eksperymentów obejmujących strony lub przepływy o wysokiej wartości oraz zmierzony skumulowany efekt programu w przypadku wstrzymania. Panel pokazujący samą prędkość, co jest przewidywalne, będzie optymalizowany poprzez przeprowadzanie bardziej trywialnych testów.

Współbieżność zasługuje na szczególną uwagę, ponieważ jest to dźwignia najczęściej stosowana niedbale. Jednoczesne przeprowadzanie kilku eksperymentów zwielokrotnia przepustowość, gdy testy wpływają na niepowiązane części doświadczenia, i generuje nieinterpretowalne wyniki, gdy się nakładają. Praktyczne zasady polegają na mapowaniu każdego testu na kroki lejka i odbiorców, których dotyczy, aby uniknąć jednoczesnego przeprowadzania dwóch testów modyfikujących ten sam krok oraz na sprawdzaniu efektów interakcji, gdy testy sąsiadują ze sobą, zamiast zakładać niezależność. Niektóre organizacje rozwiązują ten problem, utrzymując wspólny kalendarz aktywnych eksperymentów z zarejestrowanymi obszarami, których dotyczą. Jest to mało efektowne, ale zapobiega częstej sytuacji, gdy dwa zespoły nieświadomie testują sprzeczne zmiany na tej samej stronie i oba raportują niejednoznaczne wyniki, nie rozumiejąc przyczyn.

Dla większości organizacji najszybszą drogą do szybszego działania nie jest nowe narzędzie, ale bardziej przejrzysty model operacyjny: kto generuje pomysły, kto ustala priorytety, kto tworzy, kto zatwierdza i ile czasu może zająć każdy krok. Ustanowienie takiego modelu jest normalną częścią zarządzanie wzrostem zaangażowanie, a wynikający z tego rytm zwykle zależy od posiadania wystarczającej liczby przygotowanych, dobrze udokumentowanych hipotez, aby utrzymać pełny kanał, gdzie ciągłe badania użytkowników zyskuje na znaczeniu jako wkład w plan testowania, a nie okazjonalny, oddzielny projekt.