Περίπου το 6% των πειραμάτων στη Microsoft δείχνουν αναντιστοιχία στην αναλογία δειγμάτων, η οποία σε ένα προϊόν που εκτελεί 10,000 πειράματα ετησίως ισοδυναμεί με περίπου μία ανίχνευση την ημέρα (Φαμπιάν κ.ά., KDD 2019). Οι ομάδες που εκτελούν πολύ λιγότερες δοκιμές σπάνια βλέπουν αυτόν τον αριθμό, επειδή ο έλεγχος που εκτελεί η πλατφόρμα τους δεν μπορεί να φτάσει σε σημαντικό βαθμό στον όγκο επισκεψιμότητάς τους. Η δοκιμή φαίνεται καθαρή, αναφέρει αύξηση 4% και είναι ούτως ή άλλως λανθασμένη.
Αυτός ο οδηγός απευθύνεται στο άτομο που διαβάζει την ένδειξη του πειράματος και πρέπει να αποφασίσει εάν θα την αποστείλει. Μέχρι το τέλος, θα είστε σε θέση να διαπιστώσετε εάν η δοκιμή σας είναι αρκετά μεγάλη ώστε ο έλεγχος αναντιστοιχίας να έχει κάποια σημασία, να εκτελέσετε πέντε κλάδους διάγνωσης με τη σειρά που βρίσκει την αιτία πιο γρήγορα και να διαχωρίσετε μια ανισορροπία που ακυρώνει την ένδειξη από μια που μπορείτε να τμηματοποιήσετε και να διατηρήσετε.
Τι σας λέει στην πραγματικότητα ένας συναγερμός SRM
Μια αναντιστοιχία αναλογίας δείγματος είναι ένα κενό μεταξύ του διαχωρισμού που διαμορφώσατε και του διαχωρισμού που παρατηρείτε: ορίσατε 50/50 και πήρατε 50.8/49.2. Ο τυπικός έλεγχος είναι το τεστ καλής προσαρμογής χ2 του Pearson στις μετρήσεις έκθεσης, ένας βαθμός ελευθερίας για μια δοκιμή δύο βραχιόνων.
Έχει σημασία επειδή ο μηχανισμός που έχασε χρήστες σχεδόν ποτέ δεν είναι ουδέτερος σε σχέση με τη μέτρηση σας. Εάν μια ανακατεύθυνση αφαιρέσει αργές συνδέσεις από την παραλλαγή, οι επιζώντες είναι αυτοί που έχουν καλύτερες συνδέσεις και πραγματοποιούν καλύτερες μετατροπές. Η αύξηση είναι πραγματική στα δεδομένα και απουσιάζει στην πραγματικότητα.
Αυτό είναι το πρώτο πράγμα που κάνουν λάθος οι περισσότερες ομάδες: δεν υπάρχει όριο στον κλάδο. Οι πλατφόρμες διαφωνούν κατά περισσότερο από μία τάξη μεγέθους.
| Πλατφόρμα | Δοκιμή | Σημαίες στο | Σημείωση |
|---|---|---|---|
| AB Tasty | Διαδοχικός συχνότης (S-SRM) | ρ <0.01 | Σχεδιασμένο για συνεχή παρακολούθηση, ώστε να λαμβάνονται υπόψη οι επαναλαμβανόμενες αναζητήσεις |
| Στατιστική | Χι-τετράγωνο | ρ <0.01 | «Θεωρούμε ότι τα ανοίγματα είναι μη ισορροπημένα εάν η τιμή p του SRM είναι κάτω από 0.01» |
| Βιβλίο Ανάπτυξης | Χι-τετράγωνο | ρ <0.001 | Η προειδοποίηση αποκρύπτεται πάνω από αυτό |
| Microsoft (επεξεργασμένη εικονογράφηση) | Χι-τετράγωνο | ~1 στα 500,000 | Ένα split 50.2/49.8 στο μεγάλο n ήδη το καθαρίζει αυτό |
Δύο συνέπειες. Ένα τεστ που επισημαίνεται σε μια πλατφόρμα περνάει σε ένα άλλο με πανομοιότυπα δεδομένα, επομένως το "το εργαλείο μας δεν μας προειδοποίησε" δεν αποτελεί απόδειξη καθαρού διαχωρισμού. Και ένα όριο 0.01 επισημαίνει μία στις εκατό υγιείς δοκιμές. Εάν παρατηρείτε την τιμή p καθημερινά σε μια δοκιμή τριών εβδομάδων, το αφελές όριο ανεξάρτητης ματιάς σε έναν ψευδή συναγερμό είναι 19%. Το πραγματικό ποσοστό είναι χαμηλότερο επειδή οι διαδοχικές ημέρες συσχετίζονται έντονα, αλλά δεν είναι 1%. Αυτός είναι ο λόγος για τον οποίο το AB Tasty εκτελεί μια διαδοχική διαδικασία. Εάν η πλατφόρμα σας εκτελεί ένα χ-τετράγωνο σταθερού ορίζοντα, κοιτάξτε μία φορά, στο τέλος, στις αθροιστικές μετρήσεις.
Ελέγξτε αν η δοκιμή σας μπορεί να ανιχνεύσει κάποια ανισορροπία
Για μια διαίρεση 50/50, η στατιστική χ2 απλοποιείται σε 4n(p̂−0.5)², όπου n είναι η συνολική έκθεση. Αντιστρέψτε την και θα λάβετε τη μικρότερη ανισορροπία που μπορεί να επισημάνει ο έλεγχος σας:
| Σύνολο ανοιγμάτων | Η μικρότερη επισημασμένη διαίρεση σε p < 0.01 | σε p < 0.001 |
|---|---|---|
| 5,000 | 51.8 / 48.2 | 52.3 / 47.7 |
| 10,000 | 51.3 / 48.7 | 51.6 / 48.4 |
| 30,000 | 50.7 / 49.3 | 51.0 / 49.0 |
| 100,000 | 50.4 / 49.6 | 50.5 / 49.5 |
| 1,000,000 | 50.13 / 49.87 | 50.16 / 49.84 |
Ερμηνεύστε το ως όριο, όχι ως άδεια. Σε 10,000 ανοίγματα, οτιδήποτε μικρότερο από μια ανισορροπία 1.3 μονάδων είναι αόρατο στον έλεγχο, και ένα φαινόμενο επιλογής 1.3 μονάδων είναι υπεραρκετό για να προκαλέσει μια μικρή αύξηση μετατροπής. Αυτό είναι το διαρθρωτικό πρόβλημα στο μεγαλύτερο μέρος της περιοχής. Η Τουρκία κατέγραψε περίπου 6 δισεκατομμύρια συναλλαγές ηλεκτρονικού εμπορίου σε περίπου 634,000 επιχειρήσεις το 2025 (Υπουργείο Εμπορίου, 12 Μαΐου 2026), κατά μέσο όρο σχεδόν 9,500 ετησίως η καθεμία, και αυτός ο μέσος όρος αυξάνεται σημαντικά από μια χούφτα αγορές. Ένα κατάστημα μεσαίας αγοράς που δοκιμάζει ένα βήμα ολοκλήρωσης αγοράς λειτουργεί με δεκάδες χιλιάδες ανοίγματα, όχι εκατομμύρια, επομένως ο έλεγχος SRM εντοπίζει τις μεγάλες ζημιές και τίποτα πιο ανεπαίσθητο.
Σε αυτόν τον όγκο, μην βασίζεστε στον συναγερμό. Εξάγετε μόνοι σας ακατέργαστες μετρήσεις έκθεσης ανά ημέρα και ανά τμήμα και αντιμετωπίστε μια επίμονη απόκλιση προς την ίδια κατεύθυνση ως ύποπτη, ακόμη και όταν η τιμή p δεν είναι αξιοσημείωτη. Εάν δεν είστε σίγουροι πού εκθέτει η πλατφόρμα σας αυτές τις μετρήσεις, η Τεκμηρίωση SRM Checker τα αντιστοιχίζει ανά εργαλείο.
Οι πέντε κλάδοι, με τη σειρά που βρίσκουν την αιτία πιο γρήγορα
Η ταξινόμηση KDD ταξινομεί τις αιτίες SRM ανά στάδιο κύκλου ζωής: ανάθεση, εκτέλεση, επεξεργασία καταγραφής, ανάλυση, παρεμβολές. Διαγνώστε τες με διαφορετική σειρά, πρώτα με τις πιο φθηνές και τις πιο συνηθισμένες.
- Ανάλυση και ενεργοποίηση. Σύμπτωμα: η διαίρεση είναι καθαρή στο αρχείο καταγραφής ακατέργαστων εκθέσεων και προβληματική στον πίνακα αποτελεσμάτων. Έλεγχος: υπολογίστε ξανά την αναλογία χωρίς τη συνθήκη ενεργοποίησης, το φίλτρο ημερομηνίας και τις ενώσεις σε επίπεδο μετρικού. Επιβεβαιώνεται εάν η αναλογία επιστρέψει στο αναμενόμενο. Διόρθωση: αξιολογήστε την ενεργοποίηση με τον ίδιο τρόπο και στους δύο βραχίονες, προτού οποιαδήποτε συμπεριφορά που σχετίζεται με την παραλλαγή μπορεί να αλλάξει την επιλεξιμότητα. Ο πιο συνηθισμένος ψευδής συναγερμός, δέκα λεπτά για αποκλεισμό.
- Επεξεργασία καταγραφής. Σύμπτωμα: οι μετρήσεις έκθεσης διαφέρουν μεταξύ δύο αγωγών ή το κενό εμφανίζεται μετά το βήμα ETL. Έλεγχος: συγκρίνετε τον αριθμό από την πλευρά του SDK, τον αριθμό από την αποθήκη και τον αριθμό από τις αναφορές για το ίδιο παράθυρο και, στη συνέχεια, συγκρίνετε τα ποσοστά αποκλεισμού φίλτρου bot ανά βραχίονα. Επιβεβαιώνεται εάν οι βραχίονες είναι ίσοι προς τα πάνω και άνισοι προς τα κάτω. Διόρθωση: φιλτράρετε ντετερμινιστικά και πανομοιότυπα. Η αυτοματοποιημένη επισκεψιμότητα έφτασε το 53% της επισκεψιμότητας ιστού το 2026, από 51% το 2024 (Αναφορά Imperva Bad Bot, 29 Απριλίου 2026), επομένως ένα ευρετικό φίλτρο που βασίζεται στον χρόνο φόρτωσης ή στη συμπεριφορά του χρήστη-πράκτορα μπορεί να αποκλείει με διαφορετικούς ρυθμούς ανά παραλλαγή. Η απώλεια που προκαλείται από τη συναίνεση βρίσκεται επίσης εδώ: όταν
ad_storageαπορρίπτεται, η πλατφόρμα ετικετών της Google σταματά να ορίζει διαφημιστικά cookies (Έγγραφα συναίνεσης για την πλατφόρμα ετικετών Google), επομένως, εάν τα ποσοστά απόρριψης διαφέρουν μεταξύ των γεωγραφικών περιοχών σε μία δοκιμή, οποιαδήποτε ανάθεση βασίζεται σε αυτά τα αναγνωριστικά χάνει χρήστες άνισα. - Εκτέλεση. Σύμπτωμα: η ανισορροπία αυξάνεται με το βάρος της σελίδας, επιδεινώνεται σε κινητά ή ξεκινά σε μια ανάπτυξη. Έλεγχος: διαιρέστε την αναλογία ανά συσκευή, πρόγραμμα περιήγησης, τύπο σύνδεσης και ημέρα. Συγκρίνετε τον χρόνο έκθεσης μεταξύ των βραχιόνων. Επιβεβαιώνεται εάν το έλλειμμα επικεντρώνεται σε αργά τμήματα ή σε ένα πρόγραμμα περιήγησης. Διόρθωση: σε αυτό το σημείο οι δοκιμές ανακατεύθυνσης σταματούν. Μια ανακατεύθυνση προσθέτει μια πλήρη πλοήγηση μόνο σε έναν βραχίονα και όλοι όσοι εγκαταλείπουν κατά τη διάρκεια αυτής αποτελούν επιλεκτική απώλεια. Αποδώστε και τις δύο παραλλαγές από την πλευρά του διακομιστή σε μία διεύθυνση URL ή αποδεχτείτε ότι οι βραχίονες δεν είναι συγκρίσιμοι.
- ΑΝΑΘΕΣΗ ΕΡΓΑΣΙΑΣ. Σύμπτωμα: η αναλογία είναι εκτός από την πρώτη ώρα και παραμένει εκτός κατά έναν σταθερό παράγοντα. Έλεγχος: εκτελέστε ένα A/A στην ίδια κατανομή και επαληθεύστε ότι το hash salt δεν επαναχρησιμοποιήθηκε από ένα προηγούμενο πείραμα σε αυτόν τον πληθυσμό. Το επιβεβαιώνει εάν το A/A εμφανίζει επίσης την ανισορροπία. Διόρθωση: επαναπροσδιορίστε με ένα νέο salt και επανεκκινήστε. Η μεταφορά από μια προηγούμενη δοκιμή είναι η ήσυχη έκδοση αυτού και μόνο το A/A το εκθέτει.
- Παρέμβαση. Σύμπτωμα: η ανισορροπία συγκεντρώνεται σε έναν μικρό αριθμό αναγνωριστικών υψηλής δραστηριότητας ή σε εσωτερικά εύρη IP. Ελέγξτε: την κατανομή του αριθμού έκθεσης ανά χρήστη και το κορυφαίο 1% των αναγνωριστικών ανά όγκο συμβάντων. Επιβεβαιώνεται εάν η αφαίρεσή τους αποκαθιστά την αναλογία. Διόρθωση: εξαιρέστε την εσωτερική και την επισκεψιμότητα με σενάριο μέσω τεκμηριωμένου κανόνα, όχι χειροκίνητα, ώστε η εξαίρεση να είναι ίδια την επόμενη φορά.
Μια ολοκληρωμένη αναλυτική παρουσίαση
Οι παρακάτω αριθμοί είναι ενδεικτικοί, όχι δεδομένα πελατών. Μια δοκιμή ολοκλήρωσης αγοράς αναφέρει 61,480 εκθέσεις ελέγχου και 58,520 εκθέσεις παραλλαγής: 51.2/48.8 σε 120,000 χρήστες, χ2 p κάτω από 0.001. Κλάδος 1: η απόρριψη της συνθήκης ενεργοποίησης επιστρέφει 60,020 / 59,980, επομένως η ανάθεση είναι εντάξει και η απώλεια συμβαίνει μετά την έκθεση. Κλάδος 2: οι αριθμοί αγωγών συμφωνούν, οι εξαιρέσεις bot 0.9% και στους δύο βραχίονες. Κλάδος 3: ο υπολογιστής βρίσκεται στα 50.1/49.9, το κινητό στα 52.4/47.6 και ο διάμεσος χρόνος έκθεσης της παραλλαγής είναι 900 ms υψηλότερος σε κινητό. Διάγνωση: η παραλλαγή στέλνει ένα επιπλέον αίτημα αποκλεισμού απόδοσης, οι χρήστες κινητών εγκαταλείπουν κατά τη διάρκεια αυτού, οι επιζώντες έχουν καλύτερες συνδέσεις. Η ένδειξη είναι άκυρη. Η διόρθωση είναι μια διόρθωση απόδοσης και η δοκιμή εκτελείται ξανά, δεν ερμηνεύεται εκ νέου.
Τι μπορείς να σώσεις και τι όχι
- Ακύρωση της ένδειξης όταν ο μηχανισμός απώλειας θα μπορούσε εύλογα να συσχετιστεί με τη μετρική. Κάθε αιτία εκτέλεσης και ανάθεσης πληροί τις προϋποθέσεις εξ ορισμού.
- Διάσωση ανά τμήμα Μόνο όταν η ανισορροπία περιορίζεται σε ένα τμήμα που μπορείτε να εξαιρέσετε καθαρά, αυτό το τμήμα ορίστηκε πριν εξετάσετε τη μέτρηση και το υπόλοιπο περνάει τον δικό του έλεγχο SRM. Δύο από τα τρία δεν είναι αρκετά.
- Κρατήστε το τεστ όταν η αιτία ήταν καθαρά στην ανάλυση και ο διορθωμένος πίνακας αποτελεσμάτων είναι επιτυχής. Ξαναδιαβάζετε τα ίδια δεδομένα με ένα σταθερό φίλτρο, όχι ψάρεμα.
- Καταγράψτε το με οποιονδήποτε τρόπο. Καταγράψτε την κατηγορία αιτίας στο πείραμα. Η ταξινόμηση αποδίδει αθροιστικά: εάν τρεις από τις τελευταίες δέκα δοκιμές σας απέτυχαν στον κλάδο 3, το πρόβλημά σας δεν είναι ο πειραματισμός, αλλά η παράδοση στο front-end. [ΑΠΑΙΤΟΥΝΤΑΙ ΕΣΩΤΕΡΙΚΑ ΔΕΔΟΜΕΝΑ: ποσοστό πειραμάτων που εκτελέστηκαν από την Switas τους τελευταίους 24 μήνες που απέτυχαν σε έλεγχο SRM, χωρισμένο ανά κλάδο ταξινόμησης, για να αντικατασταθεί το σημείο αναφοράς 6% της Microsoft με ένα ποσοστό από αυτήν την αγορά]
Πού καταρρέει αυτό
Αυτό το δέντρο υποθέτει μια δοκιμή δύο βραχιόνων με σταθερή, γνωστή κατανομή και τυχαιοποίηση σε επίπεδο χρήστη. Δεν καλύπτει δοκιμές πολλαπλών βραχιόνων, οι οποίες απαιτούν το πλήρες χ-τετράγωνο σε όλους τους βραχίονες συν μια παρακολούθηση για το ποιο ζεύγος είναι εκτός ελέγχου, ή κλιμακωτές κατανομές, όπου η αναμενόμενη αναλογία μετακινείται κατά τη διάρκεια της δοκιμής και ένα αθροιστικό χ-τετράγωνο είναι η εντελώς λανθασμένη δοκιμή. Δεν ισχύει για σχεδιασμούς συστάδων ή γεωγραφικά τυχαιοποιημένων σχεδίων, όπου η μονάδα δεν είναι ο χρήστης και η ανισορροπία που έχει σημασία είναι στα χαρακτηριστικά της συστάδας. Δεν λέει τίποτα για το αν ο ορισμός της μέτρησης σας είναι σωστός. Και δεν μπορεί να βοηθήσει όταν οι εκθέσεις δεν καταγράφονται και συμπεραίνετε την ανάθεση από ένα συμβάν μέτρησης, το οποίο δεν είναι ένας διαχωρισμένος έλεγχος αλλά μια εικασία.
Συχνές Ερωτήσεις
Είναι πάντα πρόβλημα ένα split 51/49; Εξαρτάται αποκλειστικά από το n. Στις 5,000 εκθέσεις είναι συνηθισμένος θόρυβος. στις 500,000 είναι ένα σχεδόν βέβαιο ελάττωμα. Κρίνετε την αναλογία με βάση τον πίνακα ανιχνευσιμότητας και όχι με βάση έναν σταθερό εμπειρικό κανόνα ποσοστού.
Μπορώ απλώς να ξαναζυγίσω τα χέρια στατιστικά αντί να ξανατρέξω; Όχι. Η επαναστάθμιση διορθώνει τις μετρήσεις και αφήνει την επιλογή ανέπαφη. Οι χρήστες που χάσατε έχουν εξαφανιστεί και δεν ήταν τυχαίο δείγμα του βραχίονα.
Πόσο συχνά πρέπει να εξετάζω την τιμή p του SRM; Μία φορά, στο τέλος, σε αθροιστικές μετρήσεις, εκτός εάν η πλατφόρμα σας εκτελεί μια διαδοχική διαδικασία. Η καθημερινή ματιά σε ένα χ-τετράγωνο σταθερού ορίζοντα διογκώνει σημαντικά τους ψευδείς συναγερμούς.
Μήπως το SRM ακυρώνει και τις μετρήσεις του προστατευτικού κιγκλιδώματος; Ναι, για τον ίδιο λόγο. Εάν οι βραχίονες συγκρατούν διαφορετικούς πληθυσμούς, ένα επίπεδο προστατευτικό κιγκλίδωμα δεν είναι πιο αξιόπιστο από μια κινούμενη κύρια μετρική.
Τι γίνεται αν ένα τεστ A/A δείξει επίσης αναντιστοιχία; Τότε το σφάλμα βρίσκεται στην ανάθεση ή στη διαδικασία καταγραφής, όχι στην επεξεργασία σας. Διορθώστε το πριν εκτελέσετε οτιδήποτε άλλο, επειδή μολύνει κάθε δοκιμή σε αυτήν την πλατφόρμα.
Οι δοκιμές ανακατεύθυνσης προκαλούν πάντα SRM; Όχι πάντα, αλλά ενέχουν έναν δομικό κίνδυνο που κανένας άλλος σχεδιασμός δεν έχει, επειδή η πρόσθετη πλοήγηση υπάρχει μόνο σε έναν βραχίονα. Εάν πρέπει να εκτελέσετε έναν, ελέγξτε την αναλογία ανά ταχύτητα σύνδεσης και συσκευή πριν διαβάσετε οποιαδήποτε μέτρηση.
Η επισκεψιμότητά μου είναι πολύ χαμηλή για να έχει νόημα η επιταγή. Τι γίνεται λοιπόν; Παρακολουθήστε τους ακατέργαστους αριθμούς ημερήσιας έκθεσης για επίμονη απόκλιση, εκτελέστε μια περιοδική ανάλυση/ανάλυση στο επίπεδο ανάθεσης και προεγγράψτε μια μεγαλύτερη λίστα ελέγχων λογικής. Αντικαθιστάτε τη στατιστική ισχύ με διεργασίες.
Πρέπει να γίνεται φιλτράρισμα bot πριν ή μετά την ανάθεση; Μετά την καταγραφή της έκθεσης, πριν από την ανάλυση, χρησιμοποιώντας ντετερμινιστικούς κανόνες που εφαρμόζονται με τον ίδιο τρόπο και στους δύο βραχίονες. Το ευρετικό φιλτράρισμα μέσα στο SDK είναι ο τρόπος με τον οποίο το ίδιο το φίλτρο καθίσταται η αναντιστοιχία.
Εκτελέστε τον έλεγχο στο δικό σας πρόγραμμα πειράματος
Αν θέλετε ένα δεύτερο ζευγάρι μάτια για την εύρυθμη λειτουργία των δοκιμών που εκτελείτε τώρα ή μια ανασκόπηση του επιπέδου ανάθεσης και καταγραφής από το οποίο εξαρτώνται όλα, αυτό είναι που σκεφτόμαστε. CRO και υπηρεσία πειραματισμού κάνει.
Πηγές
- Fabijan, Gupchup, Gupta, Omhover, Vermeer, Dmitriev, "Διάγνωση Ασυμφωνίας Αναλογίας Δείγματος σε Διαδικτυακά Ελεγχόμενα Πειράματα: Μια Ταξινόμηση και Κανόνες για τους Επαγγελματίες", KDD 2019
- AB Νόστιμη τεκμηρίωση, αναντιστοιχία αναλογίας δειγματοληψίας (διαδοχικό S-SRM, όριο 0.01)
- Statsig, "Ένας γρήγορος οδηγός για την αναντιστοιχία αναλογίας δειγμάτων", 31 Αυγούστου 2023 (χι-τετράγωνο, όριο 0.01)
- Τεκμηρίωση GrowthBook, Πειραματισμός (χι-τετράγωνο, προειδοποίηση κάτω από 0.001)
- Imperva, «Έκθεση για τα κακά bot 2026: Bots στην εποχή των πρακτορείων», 29 Απριλίου 2026
- Υπουργείο Εμπορίου της Δημοκρατίας της Τουρκίας, στοιχεία ηλεκτρονικού εμπορίου για το 2025, 12 Μαΐου 2026
- Πλατφόρμα ετικετών Google, λειτουργία συναίνεσης και συμπεριφορά αποθήκευσης
- Τεκμηρίωση και Συχνές Ερωτήσεις για τον Έλεγχο SRM, Lukas Vermeer
