Noin 6 %:ssa Microsoftin kokeista havaitaan otossuhteen epäsuhta, mikä tuotteessa, jossa suoritetaan 10 000 koetta vuodessa, tarkoittaa noin yhtä havaintoa päivässä.Fabijan ym., KDD 2019). Paljon vähemmän testejä suorittavat tiimit näkevät harvoin tuon luvun, koska heidän alustansa suorittama tarkistus ei voi saavuttaa merkitsevyyttä heidän liikennemäärällään. Testi näyttää puhtaalta, raportoi 4 %:n nousun ja on joka tapauksessa väärä.
Tämä opas on tarkoitettu henkilölle, joka lukee kokeen tulokset ja joutuu päättämään, lähettääkö hän ne. Opastuksen loppuun mennessä pystyt selvittämään, onko testisi riittävän laaja, jotta epäsuhtatarkistuksella olisi mitään merkitystä, suorittamaan viisi diagnostiikkahaaraa siinä järjestyksessä, joka löytää syyn nopeimmin, ja erottamaan epätasapainon, joka mitätöi lukeman, sellaisesta, jonka ympärille voit segmentoida ja säilyttää.
Mitä SRM-hälytys oikeastaan kertoo
Otossuhteen epäsuhta on ero määrittämäsi jaon ja havaitsemasi jaon välillä: asetit 50/50 ja sait 50.8/49.2. Vakiotarkistus on Pearsonin khiin neliö -sopivuustesti altistusmäärille, yksi vapausaste kaksikätisessä testissä.
Sillä on merkitystä, koska käyttäjien menettänyt mekanismi on lähes koskaan neutraali mittarisi suhteen. Jos uudelleenohjaus pudottaa hitaita yhteyksiä muunnelmasta, selviytyjät ovat niitä, joilla on paremmat yhteydet ja jotka konvertoivat paremmin. Nousu on todellista datassa ja puuttuu todellisuudessa.
Tässä on ensimmäinen asia, jonka useimmat tiimit tekevät väärin: toimialakohtaista kynnysarvoa ei ole. Alustat eroavat toisistaan yli kertaluokan verran.
| foorumi | Testi | Liput osoitteessa | Huomautuksia |
|---|---|---|---|
| AB maukas | Peräkkäinen frekvenssi (S-SRM) | p <0.01 | Rakennettu jatkuvaan valvontaan, joten toistuvat katselut otetaan huomioon |
| Statsig | Chi-neliö | p <0.01 | "Pidämme altistuksia epätasapainoisina, jos SRM:n p-arvo on alle 0.01" |
| Kasvukirja | Chi-neliö | p <0.001 | Varoitus on poistettu käytöstä sen yläpuolella |
| Microsoft (toiminut kuva) | Chi-neliö | ~1/139 838 160 | 50.2/49.8 jako suurella n:llä jo selvittää tämän |
Kaksi seurausta. Yhdellä alustalla merkityn testin läpäisee toisen identtisillä tiedoilla, joten "työkalumme ei varoittanut meitä" ei ole osoitus puhtaasta erosta. Ja 0.01 kynnysarvo merkitsee yhden sadasta terveestä testistä. Jos p-arvoa tarkastellaan päivittäin kolmen viikon testin ajan, naiivi riippumattoman kurkistuksen raja väärälle hälytykselle on 19 %; todellinen luku on pienempi, koska peräkkäiset päivät korreloivat voimakkaasti, mutta se ei ole 1 %. Siksi AB Tasty käyttää peräkkäistä menettelyä. Jos alustasi käyttää kiinteän horisontin khiin neliö -testiä, tarkista kerran, lopussa, kumulatiiviset laskennat.
Tarkista, havaitseeko testisi epätasapainon lainkaan
50/50-jaolla khiin neliö -tilasto sieventyy muotoon 4n(p̂−0.5)², jossa n on kokonaisaltistukset. Käännä se, niin saat pienimmän epätasapainon, jonka tarkistuksesi voi merkitä:
| Kokonaisaltistukset | Pienin merkitty jako, kun p < 0.01 | p < 0.001 |
|---|---|---|
| 5,000 | 51.8 / 48.2 | 52.3 / 47.7 |
| 10,000 | 51.3 / 48.7 | 51.6 / 48.4 |
| 30,000 | 50.7 / 49.3 | 51.0 / 49.0 |
| 100,000 | 50.4 / 49.6 | 50.5 / 49.5 |
| 1,000,000 | 50.13 / 49.87 | 50.16 / 49.84 |
Lue se rajana, älä lupana. 10 000 altistuksella kaikki alle 1.3 pisteen epätasapaino on näkymätön tarkastukselle, ja 1.3 pisteen valintavaikutus on enemmän kuin riittävä pienen konversiokasvun aikaansaamiseksi. Tämä on rakenteellinen ongelma suurimmassa osassa aluetta. Turkissa rekisteröitiin noin 6 miljardia verkkokauppatapahtumaa noin 634 000 yrityksessä vuonna 2025 (Kauppaministeriö, 12. toukokuuta 2026), keskimäärin lähes 9 500 vuodessa, ja kourallinen markkinapaikkoja nostaa tätä keskiarvoa voimakkaasti. Keskikokoinen liike, joka testaa kassavaihetta, työskentelee kymmenien tuhansien, ei miljoonien, altistusten kanssa, joten sen SRM-tarkistus havaitsee räikeitä rikkoutumisia eikä mitään hienovaraisempia.
Tuolla volyymilla älä luota hälytykseen. Vedä raakat altistumismäärät päivä- ja segmenttikohtaisesti itse ja käsittele jatkuvaa samansuuntaista ajautumista epäilyttävänä, vaikka p-arvo ei olisi merkittävä. Jos et ole varma, mihin alustasi paljastaa nämä määrät, SRM-tarkistimen dokumentaatio kartoittaa ne työkalua kohden.
Viisi haaraa siinä järjestyksessä, joka löytää syyn nopeimmin
KDD-taksonomia lajittelee SRM-syyt elinkaaren vaiheen mukaan: määritys, suoritus, lokin käsittely, analyysi, häiriö. Diagnosoi ne eri järjestyksessä, halvin ja yleisin ensin.
- Analyysi ja laukaisu. Oire: jako on puhdas raakavalotuslokissa ja rikki tuloskortissa. Tarkistus: laske suhde uudelleen ilman liipaisuehtoa, päivämääräsuodatinta ja metriikkatason liitoksia. Vahvista se, jos suhde palaa odotetulle tasolle. Korjaus: arvioi liipaisu identtisesti molemmissa ryhmissä, ennen kuin varianttikohtainen käyttäytyminen voi muuttaa kelpoisuutta. Yleisin väärä hälytys, kymmenen minuuttia poissulkemiseen.
- Lokien käsittely. Oire: altistumismäärät eroavat kahden prosessin välillä tai aukko ilmenee ETL-vaiheen jälkeen. Tarkistus: vertaa SDK-puolen määrää, varastomäärää ja raportointimäärää samalle ikkunalle ja vertaa sitten bottisuodattimen poissulkemisasteita käsiä kohden. Vahvistaa, jos käsien määrä ylävirtaan on yhtä suuri ja alavirtaan epätasainen. Korjaus: suodata deterministisesti ja identtisesti. Automaattinen liikenne saavutti 53 % verkkoliikenteestä vuonna 2026, kun se vuonna 2024 oli 51 %.Impervan huonon botin raportti, 29. huhtikuuta 2026), joten latausaikaan tai käyttäjäagentin toimintaan keskittyvä heuristinen suodatin voi sulkea pois eri määriä varianttia kohden. Suostumukseen perustuva menetys on myös tässä ominaisuus: kun
ad_storageon estetty, Googlen tagialusta lopettaa mainosevästeiden asettamisen (Google Tag -alustan suostumusdokumentit), joten jos hylkäysprosentit vaihtelevat maantieteellisillä alueilla yhdessä testissä, kaikki näihin tunnisteisiin nojaavat tehtävät menettävät käyttäjiä epätasaisesti. - Suoritus. Oire: epätasapaino kasvaa sivun painon myötä, pahenee mobiililaitteilla tai alkaa käyttöönotosta. Tarkista: jaa suhde laitteen, selaimen, yhteystyypin ja päivän mukaan; vertaa näkyvyysaikaa eri sivujen välillä. Vahvista tämä, jos alijäämä keskittyy hitaisiin segmentteihin tai yhteen selaimeen. Korjaus: tässä kohtaa uudelleenohjaustestit kuolevat. Uudelleenohjaus lisää täyden navigoinnin vain yhteen sivuun, ja kaikki, jotka keskeyttävät sen aikana, ovat valikoiva tappio. Renderöi molemmat variantit palvelinpuolella yhteen URL-osoitteeseen tai hyväksy, että sivut eivät ole vertailukelpoisia.
- Tehtävä. Oire: suhde on pois päältä ensimmäisestä tunnista lähtien ja pysyy pois päältä vakiokertoimella. Tarkistus: suorita A/A samalla allokaatiolla ja varmista, ettei hajautussuolaa ole käytetty uudelleen aiemmasta kokeesta tällä populaatiolla. Vahvista tämä, jos A/A:ssa näkyy myös epätasapaino. Korjaus: määritä uusi suola ja käynnistä uudelleen. Aiemmasta testistä siirtynyt osa on tämän hiljainen versio, ja vain A/A paljastaa sen.
- Häiriöitä. Oire: epätasapaino keskittyy pieneen määrään korkea-aktiivisia tunnisteita tai sisäisiin IP-alueisiin. Tarkista: altistumismäärien jakauma käyttäjää kohden ja tunnisteiden ylin 1 % tapahtumien määrän mukaan. Vahvistaa tämän, jos niiden poistaminen palauttaa suhteen. Korjaus: jätä pois sisäinen ja skriptattu liikenne dokumentoidun säännön mukaisesti, ei manuaalisesti, jotta poissulkeminen on identtinen seuraavalla kerralla.
Toimiva läpikäynti
Alla olevat luvut ovat havainnollistavia, eivät asiakasdataa. Kassalla tehty testi raportoi 61 480 kontrolli- ja 58 520 varianttialtistusta: 51.2/48.8 120 000 käyttäjällä, khiin neliö p alle 0.001. Haara 1: liipaisuehdon poistaminen palauttaa 60 020 / 59 980, joten kohdistus on kunnossa ja menetys tapahtuu altistuksen jälkeen. Haara 2: putken määrät ovat samat, bottien poissulkemiset 0.9 % molemmissa haaroissa. Haara 3: pöytäkoneella luku on 50.1/49.9, mobiililaitteella 52.4/47.6, ja variantin mediaanialtistusaika on 900 ms pidempi mobiililaitteella. Diagnoosi: variantti lähettää ylimääräisen renderöinnin estopyynnön, mobiilikäyttäjät keskeyttävät sen aikana, selviytyjillä on paremmat yhteydet. Tulos on mitätön. Korjaus on suorituskykykorjaus, ja testi suoritetaan uudelleen, ei tulkita uudelleen.
Mitä voit pelastaa ja mitä et
- Mitätöi lukema kun häviömekanismi voisi uskottavasti korreloida metriikan kanssa. Jokainen suoritus- ja kohdistussyy täyttää oletusarvoisesti vaatimukset.
- Pelastus segmenteittäin Vain silloin, kun epätasapaino rajoittuu segmenttiin, jonka voit selkeästi sulkea pois, kyseinen segmentti määriteltiin ennen metriikan tarkastelua ja loput läpäisevät oman SRM-tarkistuksensa. Kaksi kolmesta ei riitä.
- Pidä testi kun syy oli puhtaasti analyysissä ja korjattu tuloskortti hyväksytään. Luet samaa dataa uudelleen kiinteällä suodattimella, etkä kalasta.
- Kirjaa se kummin tahansa. Kirjaa kokeen syyluokka. Taksonomia kannattaa kumulatiivisesti: jos kolme viimeisimmästä kymmenestä testistäsi epäonnistui haarassa 3, ongelmasi ei ole kokeilu, vaan käyttöliittymän toimitus. [TARVITAAN SISÄISIÄ TIETOJA: Switasin suorittamien kokeiden osuus viimeisten 24 kuukauden aikana, jotka eivät läpäisseet SRM-tarkistusta, jaoteltuna taksonomiahaarakohtaisesti, jotta Microsoftin 6 %:n vertailuarvo voidaan korvata tältä markkina-alueelta peräisin olevalla luvulla.]
Missä tämä hajoaa
Tämä puu olettaa kaksihaaraisen testin, jossa on kiinteä, tunnettu allokaatio ja käyttäjätason satunnaistaminen. Se ei kata monihaaraisia testejä, jotka tarvitsevat täyden khiin neliö -testin kaikissa haaroissa sekä seurannan siitä, mikä pari on pielessä, tai porrastettuja allokaatioita, joissa odotettu suhde muuttuu testin aikana ja kumulatiivinen khiin neliö on suoraan väärä testi. Se ei koske klusteri- tai geosatunnaistettuja malleja, joissa yksikkö ei ole käyttäjä ja tärkeä epätasapaino on klusterin ominaisuuksissa. Se ei kerro mitään siitä, onko metriikkamääritelmäsi oikea. Eikä se voi auttaa, kun altistuksia ei kirjata ja päättelet kohdistusta metriikkatapahtumasta, joka ei ole jakotarkistus vaan arvaus.
FAQ
Onko 51/49-jako aina ongelma? Se riippuu täysin n:stä. 5 000 valotuksella se on tavallista kohinaa; 500 000 valotuksella se on lähes varma vika. Arvioi suhdetta havaittavuustaulukon avulla, älä kiinteän prosenttiosuuden nyrkkisäännön avulla.
Voinko vain painottaa käsivarret uudelleen tilastollisesti sen sijaan, että juoksisin uudelleen? Ei. Uudelleenpainotus korjaa laskurit ja jättää valinnan ennalleen. Menettämäsi käyttäjät ovat poissa, eivätkä he olleet satunnainen otos ryhmästä.
Kuinka usein minun pitäisi tarkastella SRM:n p-arvoa? Kerran, lopussa, kumulatiivisten lukumäärien perusteella, ellei alustasi suorita peräkkäistä menettelyä. Kiinteän horisontin khiin neliön päivittäinen tarkastelu lisää väärien hälytysten määrää huomattavasti.
Mitätöikö SRM myös kaiteen mittarit? Kyllä, samasta syystä. Jos kaidevarret pitävät sisällään eri populaatioita, tasainen kaide ei ole sen luotettavampi kuin liikkuva ensisijainen mittari.
Entä jos A/A-testikin osoittaa ristiriitaa? Sitten vika on kohdistamisessa tai lokiprosessin nopeudessa, ei käsittelyssäsi. Korjaa se ennen kuin suoritat mitään muuta, koska se saastuttaa kaikki testit kyseisellä alustalla.
Aiheuttavatko uudelleenohjaustestit aina SRM:ää? Eivät aina, mutta niihin liittyy rakenteellinen riski, jota ei ole missään muussa suunnittelussa, koska lisätty navigointi on vain yhdessä haarassa. Jos sinun on pakko käyttää sellaista, tarkista yhteysnopeuden ja laitteen välinen suhde ennen minkään mittarin lukemista.
Liikenteeni on liian vähäistä, jotta tarkistuksella olisi mitään merkitystä. Mitä sitten? Seuraa raakadata-päivittäisiä altistumismääriä pysyvän poikkeaman varalta, suorita säännöllinen A/A-tarkistus kohdistustasolla ja esirekisteröi pidempi luettelo järkevyystarkistuksista. Korvaat tilastollisen tehon prosessilla.
Pitäisikö bottien suodatus tapahtua ennen tehtävää vai sen jälkeen? Altistumisen kirjaamisen jälkeen, ennen analyysia, molempiin käsiin identtisesti sovellettujen determinististen sääntöjen avulla. SDK:n sisäinen heuristinen suodatus on tapa, jolla suodattimesta itsestään tulee epäsuhta.
Suorita tarkistus omalle kokeiluohjelmallesi
Jos haluat toisen silmäparin tarkastella parhaillaan suorittamiesi testien jaetun kunnon kuntoa tai tarkastella niiden kaikkien määritys- ja lokitietotasoa, juuri sitä meidän... CRO- ja kokeilupalvelu ei.
Lähteet
- Fabijan, Gupchup, Gupta, Omhover, Vermeer, Dmitriev, "Otossuhteiden epäsuhtaisuuden diagnosointi online-kontrolloiduissa kokeissa: taksonomia ja nyrkkisäännöt ammattilaisille", KDD 2019
- AB Tasty -dokumentaatio, otossuhteen epäsuhta (peräkkäinen S-SRM, kynnysarvo 0.01)
- Statsig, "Lyhyt opas otossuhteen epäsuhtaan", 31. elokuuta 2023 (khiin neliö, kynnysarvo 0.01)
- GrowthBook-dokumentaatio, kokeilu (khiin neliö, varoitus alle 0.001)
- Imperva, "Bad Bot Report 2026: Botit agenttien aikakaudella", 29. huhtikuuta 2026
- Turkin tasavallan kauppaministeriö, verkkokaupan luvut vuodelta 2025, 12. toukokuuta 2026
- Google Tag -alusta, suostumustila ja tallennuskäyttäytyminen
- SRM-tarkistimen dokumentaatio ja usein kysytyt kysymykset, Lukas Vermeer
