Zdiagnozuj niedopasowanie współczynnika próby w pięciu gałęziach, zanim wyrzucisz test

Około 6% eksperymentów w firmie Microsoft wykazuje niedopasowanie współczynnika próbkowania, co przy produkcie, na którym przeprowadza się 10 000 eksperymentów rocznie, oznacza mniej więcej jedno wykrycie dziennie (Fabijan i wsp., KDD 2019Zespoły przeprowadzające znacznie mniej testów rzadko widzą taką liczbę, ponieważ kontrola przeprowadzana przez ich platformę nie jest w stanie osiągnąć istotności przy takim natężeniu ruchu. Test wygląda na czysty, zgłasza wzrost o 4%, ale i tak jest błędny.

Ten przewodnik jest przeznaczony dla osoby, która odczytuje odczyt eksperymentu i musi podjąć decyzję o jego wysyłce. Na koniec będziesz w stanie ocenić, czy Twój test jest wystarczająco duży, aby sprawdzenie niezgodności miało jakiekolwiek znaczenie, przeprowadzić pięć gałęzi diagnostyki w kolejności, która najszybciej znajdzie przyczynę, oraz oddzielić nierównowagę, która unieważnia odczyt, od tej, którą możesz posegmentować i zachować.

Co tak naprawdę mówi alarm SRM

Niedopasowanie współczynnika próby to różnica między skonfigurowanym podziałem a obserwowanym: ustawiłeś 50/50 i otrzymałeś 50.8/49.2. Standardowym testem jest test chi-kwadrat Pearsona sprawdzający zgodność z liczbą ekspozycji, jeden stopień swobody dla testu dwuramiennego.

Ma to znaczenie, ponieważ mechanizm utraty użytkowników prawie nigdy nie jest neutralny w stosunku do metryki. Jeśli przekierowanie zrywa wolne połączenia z wariantu, to te, które przetrwają, mają lepsze połączenia i konwertują lepiej. Wzrost jest realny w danych, ale nieobecny w rzeczywistości.

Oto pierwszy błąd, którego większość zespołów się myli: nie ma progu branżowego. Platformy różnią się w swoich opiniach o ponad rząd wielkości.

Dwie konsekwencje. Test oznaczony na jednej platformie przechodzi test na innej z identycznymi danymi, więc komunikat „nasze narzędzie nas nie ostrzegło” nie świadczy o czystym podziale. Próg 0.01 oznacza jeden na sto prawidłowych testów. Jeśli spojrzymy na wartość p codziennie w trzytygodniowym teście, granica fałszywego alarmu dla naiwnego, niezależnego szczytu wynosi 19%; rzeczywista wartość jest niższa, ponieważ kolejne dni są silnie skorelowane, ale nie wynosi 1%. Dlatego AB Tasty uruchamia procedurę sekwencyjną. Jeśli Twoja platforma uruchamia chi-kwadrat o stałym horyzoncie czasowym, spójrz raz, na końcu, na skumulowane wyniki.

Sprawdź, czy Twój test w ogóle wykryje brak równowagi

Dla podziału 50/50 statystyka chi-kwadrat upraszcza się do 4n(p̂−0.5)², gdzie n to całkowita ekspozycja. Odwróć ją, a otrzymasz najmniejszą nierównowagę, jaką może oznaczyć Twój test:

Potraktuj to jako limit, a nie licencję. Przy 10 000 ekspozycji, każda nierównowaga mniejsza niż 1.3 punktu jest niewidoczna dla kontroli, a efekt selekcji 1.3 punktu w zupełności wystarcza, aby uzyskać niewielki wzrost konwersji. To jest problem strukturalny w większości regionu. W 2025 roku Turcja odnotowała około 6 miliardów transakcji e-commerce w około 634 000 firm (Ministerstwo Handlu, 12 maja 2026 r.), średnio około 9,500 rocznie, a ta średnia jest mocno podbijana przez kilka platform handlowych. Sklep średniej wielkości testujący etap płatności pracuje z dziesiątkami tysięcy ekspozycji, a nie milionami, więc jego kontrola SRM wychwytuje poważne awarie, a nie nic bardziej subtelnego.

Przy takiej ilości nie polegaj na alarmie. Samodzielnie pobierz surowe dane o ekspozycji dla poszczególnych dni i segmentów, a utrzymujący się dryft w tym samym kierunku traktuj jako podejrzany, nawet gdy wartość p jest bez zarzutu. Jeśli nie masz pewności, gdzie Twoja platforma ujawnia te dane, Dokumentacja SRM Checker mapuje je według narzędzia.

Pięć gałęzi w kolejności, która najszybciej znajduje przyczynę

Taksonomia KDD sortuje przyczyny problemów SRM według etapu cyklu życia: przypisanie, wykonanie, przetwarzanie logów, analiza, zakłócenia. Diagnozuj je w innej kolejności, najpierw te najtańsze i najczęstsze.

1. Analiza i wyzwalanie. Objaw: podział jest czysty w dzienniku surowych danych ekspozycji, a uszkodzony na karcie wyników. Sprawdź: ponownie oblicz współczynnik bez warunku wyzwalającego, filtra dat i łączeń na poziomie metryk. Potwierdź, jeśli współczynnik powróci do oczekiwanego. Napraw: oceń wyzwalanie identycznie w obu grupach, zanim jakiekolwiek zachowanie specyficzne dla wariantu zmieni kwalifikowalność. Najczęstszy fałszywy alarm, dziesięć minut na wykluczenie.
2. Przetwarzanie dziennika. Objaw: liczba ekspozycji różni się między dwoma potokami lub luka pojawia się po etapie ETL. Sprawdź: porównaj liczbę po stronie SDK, liczbę w magazynach i liczbę raportów dla tego samego okna, a następnie porównaj wskaźniki wykluczeń filtrów botów dla każdego ramienia. Potwierdź, jeśli ramiona są równe w górę i nierówne w dół. Napraw: filtruj deterministycznie i identycznie. Zautomatyzowany ruch osiągnął 53% ruchu internetowego w 2026 r., w porównaniu z 51% w 2024 r. (Raport Imperva Bad Bot, 29 kwietnia 2026 r.), więc filtr heurystyczny oparty na czasie ładowania lub zachowaniu użytkownika może wykluczać z różną częstotliwością w zależności od wariantu. Utrata spowodowana zgodą również ma tu miejsce: kiedy ad_storage zostanie odrzucona, platforma tagów Google przestaje ustawiać pliki cookie reklamowe (Dokumenty dotyczące zgody na korzystanie z platformy tagów Google), więc jeśli wskaźniki odrzuceń różnią się w zależności od regionu geograficznego w ramach jednego testu, każde zadanie oparte na tych identyfikatorach powoduje nierównomierną utratę użytkowników.
3. Wykonanie. Objaw: nierównowaga rośnie wraz z wagą strony, pogarsza się na urządzeniach mobilnych lub zaczyna się od wdrożenia. Sprawdź: podziel współczynnik według urządzenia, przeglądarki, typu połączenia i dnia; porównaj czas ekspozycji między ramionami. Potwierdź, czy deficyt koncentruje się na wolnych segmentach lub w jednej przeglądarce. Napraw: w tym miejscu testy przekierowania kończą się niepowodzeniem. Przekierowanie dodaje pełną nawigację tylko do jednego ramienia, a każdy, kto porzuci w trakcie przekierowania, jest selektywną stratą. Wyrenderuj oba warianty po stronie serwera pod jednym adresem URL lub zaakceptuj, że ramiona nie są porównywalne.
4. Zadanie. Objaw: współczynnik jest nieprawidłowy od pierwszej godziny i utrzymuje się na stałym poziomie. Sprawdź: uruchom analizę A/A z tą samą alokacją i sprawdź, czy sól haszująca nie została ponownie użyta z wcześniejszego eksperymentu na tej populacji. Potwierdź, jeśli analiza A/A również wykaże brak równowagi. Napraw: ponownie przypisz nową sól i uruchom ponownie. Przeniesienie z poprzedniego testu to cicha wersja tego problemu i ujawnia go tylko analiza A/A.
5. Ingerencja. Objaw: brak równowagi koncentruje się w niewielkiej liczbie identyfikatorów o wysokiej aktywności lub w wewnętrznych zakresach adresów IP. Sprawdź: rozkład liczby narażonych użytkowników oraz 1% identyfikatorów o najwyższej liczbie zdarzeń. Potwierdź, czy ich usunięcie przywraca odpowiedni współczynnik. Napraw: wyklucz ruch wewnętrzny i skryptowy na podstawie udokumentowanej reguły, a nie ręcznie, aby wykluczenie było identyczne następnym razem.

Przeprowadzony przewodnik

Poniższe liczby mają charakter poglądowy i nie dotyczą danych klientów. Test sprawdzający raportuje 61 480 ekspozycji na wersję kontrolną i 58 520 na warianty: 51.2/48.8 na 120 000 użytkowników, p chi-kwadrat poniżej 0.001. Gałąź 1: usunięcie warunku wyzwalającego zwraca 60 020/59 980, więc przypisanie jest prawidłowe, a strata następuje po ekspozycji. Gałąź 2: liczba botów w potoku jest zgodna, wykluczenia botów 0.9% w obu grupach. Gałąź 3: komputery stacjonarne znajdują się na poziomie 50.1/49.9, urządzenia mobilne na poziomie 52.4/47.6, a mediana czasu ekspozycji wariantu jest o 900 ms dłuższa na urządzeniach mobilnych. Diagnoza: wariant wysyła dodatkowe żądanie blokujące renderowanie, użytkownicy mobilni rezygnują w jego trakcie, użytkownicy, którzy przeżyli, mają lepsze połączenia. Odczyt jest nieważny. Poprawka dotyczy wydajności, a test jest ponownie uruchamiany, a nie reinterpretowany.

Co możesz uratować, a czego nie

• Anuluj odczyt gdy mechanizm strat mógłby wiarygodnie korelować z metryką. Każda przyczyna wykonania i przypisania kwalifikuje się domyślnie.
• Odzysk według segmentu Tylko wtedy, gdy nierównowaga ogranicza się do segmentu, który można jednoznacznie wykluczyć, segment ten został zdefiniowany przed sprawdzeniem metryki, a reszta przechodzi własną kontrolę SRM. Dwa z trzech to za mało.
• Zachowaj test gdy przyczyna leżała wyłącznie w analizie, a skorygowana karta wyników jest poprawna. Ponownie odczytujesz te same dane z użyciem stałego filtra, a nie łowisz.
• Zaloguj się tak czy inaczej. Zapisz kategorię przyczyny w eksperymencie. Taksonomia przynosi korzyści kumulatywne: jeśli trzy z dziesięciu ostatnich testów zakończyły się niepowodzeniem w gałęzi 3, problem nie leży w eksperymentach, lecz w dostarczaniu front-endu. [POTRZEBNE DANE WEWNĘTRZNE: udział eksperymentów przeprowadzonych przez Switas w ciągu ostatnich 24 miesięcy, które nie przeszły kontroli SRM, podzielony według gałęzi taksonomii, aby zastąpić benchmark Microsoft 6% wartością z tego rynku]

Gdzie to się psuje

To drzewo zakłada test dwuramienny ze stałą, znaną alokacją i randomizacją na poziomie użytkownika. Nie obejmuje ono testów wieloramiennych, które wymagają pełnego chi-kwadrat we wszystkich ramionach oraz sprawdzenia, która para jest nieprawidłowa, ani alokacji narastających, gdzie oczekiwany stosunek zmienia się w trakcie testu, a skumulowany chi-kwadrat jest całkowicie błędnym testem. Nie dotyczy ono układów klastrowych ani georandomizowanych, w których jednostką nie jest użytkownik, a istotna jest nierównowaga w charakterystyce klastra. Nie mówi ono nic o tym, czy definicja metryki jest poprawna. I nie może pomóc, gdy ekspozycje nie są rejestrowane, a przypisanie jest wnioskowane na podstawie zdarzenia metryki, co nie jest sprawdzeniem podziału, a zgadywaniem.

FAQ

Czy podział 51/49 zawsze stanowi problem? Zależy to całkowicie od n. Przy 5,000 ekspozycji jest to zwykły szum; przy 500 000 jest to niemal pewny defekt. Oceniaj współczynnik na podstawie tabeli wykrywalności, a nie na podstawie ustalonej reguły procentowej.

Czy mogę po prostu statystycznie zmienić wagę ramion zamiast powtarzać pomiary? Nie. Ponowne ważenie koryguje liczbę i pozostawia wybór nienaruszony. Utraceni użytkownicy zniknęli i nie stanowili losowej próby w grupie.

Jak często powinienem sprawdzać wartość p SRM? Raz, na końcu, na podstawie łącznych wyników, chyba że platforma uruchamia procedurę sekwencyjną. Codzienne sprawdzanie chi-kwadrat o stałym horyzoncie znacznie zwiększa liczbę fałszywych alarmów.

Czy SRM unieważnia również wskaźniki barier ochronnych? Tak, z tego samego powodu. Jeśli ramiona obejmują różne populacje, płaska bariera ochronna nie jest bardziej wiarygodna niż ruchoma metryka podstawowa.

A co jeśli test A/A również wykaże niezgodność? W takim przypadku błąd leży w zadaniu lub w procesie rejestrowania, a nie w przetwarzaniu. Napraw go przed uruchomieniem czegokolwiek innego, ponieważ zanieczyszcza on wszystkie testy na tej platformie.

Czy testy przekierowania zawsze powodują SRM? Nie zawsze, ale niosą ze sobą ryzyko strukturalne, którego nie ma żaden inny projekt, ponieważ dodatkowa nawigacja istnieje tylko w jednym ramieniu. Jeśli musisz ją uruchomić, sprawdź współczynnik według szybkości połączenia i urządzenia przed odczytaniem jakiejkolwiek metryki.

Mój ruch jest zbyt mały, żeby ta kontrola miała jakiekolwiek znaczenie. Co wtedy? Monitoruj surowe dzienne dane o ekspozycji pod kątem stałego dryfu, uruchamiaj okresowe analizy A/A na warstwie przypisania i wstępnie zarejestruj dłuższą listę kontroli poprawności. Zastępujesz proces mocą statystyczną.

Czy filtrowanie przez boty powinno odbywać się przed czy po zadaniu? Po zarejestrowaniu ekspozycji, przed analizą, zastosowano reguły deterministyczne zastosowane identycznie do obu ramion. Filtrowanie heurystyczne w SDK powoduje, że sam filtr staje się niezgodnością.

Przeprowadź kontrolę w swoim własnym programie eksperymentalnym

Jeśli chcesz mieć drugą parę oczu do kontroli stanu zdrowia testów, które obecnie uruchamiasz, lub do przeglądu warstwy przypisania i rejestrowania, od której wszystkie one zależą, to właśnie to jest naszym Usługa CRO i eksperymentów robi.

Źródła

• Fabijan, Gupchup, Gupta, Omhover, Vermeer, Dmitriev, „Diagnozowanie niedopasowania proporcji próby w kontrolowanych eksperymentach online: taksonomia i praktyczne zasady dla praktyków”, KDD 2019
• Dokumentacja AB Tasty, Niedopasowanie współczynnika próbkowania (sekwencyjny S-SRM, próg 0.01)
• Statsig, „Krótki przewodnik po niedopasowaniu proporcji próby”, 31 sierpnia 2023 r. (chi-kwadrat, próg 0.01)
• Dokumentacja GrowthBook, Eksperymentowanie (chi-kwadrat, ostrzeżenie poniżej 0.001)
• Imperva, „Raport o złych botach 2026: boty w erze agentów”, 29 kwietnia 2026 r.
• Ministerstwo Handlu Republiki Turcji, dane dotyczące handlu elektronicznego w 2025 r., 12 maja 2026 r.
• Platforma tagów Google, tryb zgody i zachowanie przechowywania
• Dokumentacja i FAQ dotyczące programu SRM Checker, Lukas Vermeer