Το πρόγραμμά σας αναφέρει έναν νικητή περίπου μία φορά το μήνα. Προσθέστε δώδεκα νίκες και η ετήσια τράπουλα λέει ότι η μετατροπή θα πρέπει να είναι 18% υψηλότερη από πέρυσι. Το Οικονομικό Τμήμα εξετάζει τα κέρδη και τις ζημιές και λέει ότι δεν είναι. Συνήθως η τράπουλα είναι λάθος.
Στην πλατφόρμα πειραματισμού της Microsoft, μόνο περίπου το ένα τρίτο των ιδεών που δοκιμάστηκαν βελτίωσαν τη μέτρηση για την οποία είχαν σχεδιαστεί, και αυτές που λανσάρονται επιλέγονται ακριβώς επειδή φαίνονταν καλές, και εκεί αρχίζει να παρεκκλίνει η αριθμητική (Κοχάβι και Λόνγκμποταμ, 2015). Μια ομάδα holdout είναι το φθηνότερο όργανο που μετρά το πρόγραμμα αντί για την ατομική εξέταση.
Αυτός ο οδηγός απευθύνεται σε υποψήφιους πελάτες CRO και κατόχους αναλυτικών στοιχείων που πραγματοποιούν τουλάχιστον ένα πείραμα το μήνα. Μέχρι το τέλος, θα είστε σε θέση να προσδιορίσετε ένα σημείο αναμονής που μπορεί πραγματικά να ανιχνεύσει την επίδραση του προγράμματός σας, να επιλέξει μια διάρκεια και ένα παράθυρο ανάλυσης και να αναγνωρίσει τις λειτουργίες αποτυχίας που ακυρώνουν το αποτέλεσμα πριν το παρουσιάσετε.
Τι μετράει μια ομάδα που δεν ανταποκρίνεται σε ένα άθροισμα νικών
Ένα holdout είναι ένα τυχαία επιλεγμένο τμήμα χρηστών που διατηρούνται στην εμπειρία πριν από την αλλαγή, ενώ όλοι οι άλλοι λαμβάνουν κάθε νικητή που κυκλοφόρησε. Μετά από μερικούς μήνες συγκρίνετε τις δύο ομάδες. Η διαφορά είναι το σωρευτικό, ακόμα ενεργό αποτέλεσμα όλων όσων στείλατε — όχι δώδεκα εκτιμήσεις βραχυπρόθεσμου παραθύρου μαζί.
Το Netflix χρησιμοποιεί το ίδιο εργαλείο, περιγράφοντας τα «δοκιμαστικά AB holdback» ως έναν τρόπο για να «κατανοήσει κανείς τις μακροπρόθεσμες επιπτώσεις, να επανεξετάσει παλιές υποθέσεις σε νεότερα μέλη και να μετρήσει τη σωρευτική αξία» (Ιστολόγιο Τεχνολογίας Netflix).
Γιατί οι νίκες στις αθροιστικές εξετάσεις υπερεκτιμούν τι συνέβη;
Τέσσερις μηχανισμοί έλκουν το άθροισμα πάνω από την αλήθεια και το συνθέτουν:
- Η κατάρα του νικητή. Κυκλοφορείτε μόνο παραλλαγές που έχουν διαφοροποιηθεί σημαντικά, επομένως το λανσαρισμένο σύνολο εμπλουτίζεται με ανοδικό θόρυβο. Οι Lee και Shen στην Airbnb επισημοποίησαν αυτήν την προκατάληψη επιλογής και δημοσίευσαν μια διόρθωση (2018 KDD).
- Η καινοτομία και η παρακμή της πρωτοκαθεδρίας. Τα σύντομα παράθυρα καταγράφουν τις αντιδράσεις σε κάτι καινούργιο. Σε ένα παράδειγμα του Microsoft News, μια αρχική αύξηση 28% στα κλικ σε ένα νέο κουμπί μειώθηκε μέρα με τη μέρα μέσα στο παράθυρο του πειράματος (Sadeghi et al., 2022).
- Αλληλεπίδραση και φθίνουσες αποδόσεις. Δύο ανεξάρτητα δοκιμασμένες νίκες στο ίδιο βήμα διοχέτευσης συχνά δεν αθροίζονται· ανταγωνίζονται για τον ίδιο οριακό χρήστη.
- Αδυναμία ανάλυσης. Η περιήγηση με κρυφό βλέμμα, η εναλλαγή μετρικών και η επιλεκτική αναφορά μετατοπίζουν το εκτοξευμένο σύνολο περαιτέρω προς τα πάνω (ΟΑΣΠ).
Τίποτα από αυτά δεν σημαίνει ότι οι δοκιμές σας ήταν ψευδείς. Σημαίνει ότι το άθροισμα είναι ένα ανώτατο όριο, όχι μια εκτίμηση.
Διαστασιολογήστε το υπόστεγο πριν το κατασκευάσετε
Αυτό είναι το βήμα που σχεδόν όλοι παραλείπουν και είναι το σημείο όπου οι περισσότεροι holdouts πεθαίνουν. Ένα holdout είναι μια δοκιμή δύο βραχιόνων με σκόπιμα μονόπλευρη διαίρεση και η ακρίβεια καθορίζεται από τον μικρότερο βραχίονα. Το απαιτούμενο συνολικό δείγμα κλιμακώνεται με 1 / (p × (1 − p)), Όπου p είναι το μερίδιο των ατόμων που δεν συμμετέχουν. Επομένως, ένα ποσοστό 1% που δεν συμμετέχει χρειάζεται περίπου 25 φορές την επισκεψιμότητα μιας ισορροπημένης δοκιμής για να δει το ίδιο αποτέλεσμα.
Συνολικοί χρήστες που χρειάστηκαν κατά την περίοδο αναμονής, με βασικό ποσοστό μετατροπών 2%, ισχύ 80% και αμφίπλευρη σημαντικότητα 5%:
| Κοινή χρήση αναμονής | Οι χρήστες έπρεπε να ανιχνεύσουν +5% σχετική | Οι χρήστες έπρεπε να ανιχνεύσουν +10% σχετική |
|---|---|---|
| 1% | 15,500,000 | 3,900,000 |
| 5% | 3,250,000 | 814,000 |
| 10% | 1,720,000 | 432,000 |
| 20% | 971,000 | 245,000 |
| 50% | 630,000 | 161,000 |
Τώρα διαβάστε αυτό σε σχέση με τις προεπιλογές των προμηθευτών. Η Statsig προτείνει "ένα χαμηλό μονοψήφιο ποσοστό αναμονής, όπως 1%–2%" (Στατιστική); Το Optimizely προειδοποιεί πάνω από 5% (Optimizely); Το GrowthBook αναφέρει ότι οι ομάδες του Facebook και του X λειτουργούν με ποσοστό 5% ή λιγότερο (Βιβλίο Ανάπτυξης).
Αυτοί οι αριθμοί είναι σωστοί για τους δημιουργούς τους και λανθασμένοι για τους περισσότερους ιστότοπους μεσαίας αγοράς. Ένας περιφερειακός ιστότοπος ηλεκτρονικού εμπορίου με 400,000 μηνιαίους χρήστες συγκεντρώνει 1.2 εκατομμύρια σε ένα τρίμηνο. Με ποσοστό αναμονής 1% θα χρειαζόταν περίπου μια δεκαετία. Με ποσοστό αναγνωσιμότητας 10%, εξακολουθεί να μην καταγράφει +5% αναγνωσιμότητα. Με ποσοστό αναγνωσιμότητας 20%, ανιχνεύει +5% σε ένα τρίμηνο και +10% σε περίπου ένα μήνα. Επιλέξτε το μερίδιο από την επισκεψιμότητά σας, όχι από την προεπιλογή ενός προμηθευτή. Αν η ειλικρινής απάντηση είναι 20%, δώστε ξεκάθαρα αυτό το αντάλλαγμα στην επιχείρηση: το ένα πέμπτο των χρηστών περιμένει ένα τρίμηνο για νέες δυνατότητες, με αντάλλαγμα να μάθει αν το τρίμηνο άξιζε κάτι.
Επιλέξτε τη διάρκεια και το παράθυρο ανάλυσης
Η Statsig συνιστά τρεις έως έξι μήνες πριν από την κυκλοφορία ενός holdout. Η GrowthBook συνιστά μια ενεργή περίοδο από μισό μήνα έως ένα τρίμηνο και στη συνέχεια μια περίοδο ανάλυσης δύο έως τεσσάρων εβδομάδων, ώστε τα αποτελέσματα να διευθετηθούν και τα παράθυρα αναδρομής να συμπληρωθούν.
Ο κανόνας λειτουργίας μας: η ενεργή περίοδος είναι η μεγαλύτερη από αυτήν που απαιτεί ο πίνακας μεγεθών σας και ένας πλήρης επιχειρηματικός κύκλος. Σε αυτήν την περιοχή αυτό σημαίνει ότι πρέπει να καλύψετε τουλάχιστον μία περίοδο αιχμής καμπάνιας και έναν μήνα μηδενικής μεταβολής, επομένως το αποτέλεσμα δεν καθορίζεται μόνο από την έκδοση 11.11. Στη συνέχεια, παγώστε τις σημαίες και περιμένετε να ολοκληρωθεί το παράθυρο ανάλυσης πριν ανοίξει κάποιος τον πίνακα ελέγχου.
Κατασκευάστε το: επτά πράγματα που πρέπει να κάνετε σωστά
- Τυχαιοποίηση σε ένα μόνιμο αναγνωριστικό χρήστη ή λογαριασμού από την πλευρά του διακομιστήΈνα cookie που μπλοκάρει ένα banner συναίνεσης ή ένας χρήστης διαγράφει διαρροές μεταξύ των ατόμων.
- Ανάθεση του holdout μια φορά, μπροστά, πριν από τις εκτοξεύσεις που θέλετε να μετρήσετε. Ένα holdout που δημιουργείται εκ των υστέρων δεν είναι holdout.
- Δρομολογήστε κάθε νικητή που ξεκίνησε μέσω του ίδιου συστήματος σημαιών, έτσι ώστε το "holdout = off" να σημαίνει πραγματικά την παλιά εμπειρία. Οι χρήστες που έχουν τεθεί εκτός λειτουργίας λαμβάνουν τις προεπιλεγμένες τιμές πύλης και επιπέδου, όπως και η υλοποίηση του Statsig.
- Διατηρήστε μια σαφή εικόνα λίστα εξαιρέσεων: οι διορθώσεις ασφαλείας, οι εργασίες συμμόρφωσης με νομικά ζητήματα και την προσβασιμότητα και οι αλλαγές τιμολόγησης αποστέλλονται σε όλους. Καταγράψτε κάθε εξαίρεση με την ημερομηνία της.
- Διάλεξε δύο έως τέσσερα διαρκής μετρήσεις (έσοδα ανά χρήστη, διατήρηση, συχνότητα παραγγελιών) συν το κύριο ποσοστό μετατροπών σας. Μην προσθέσετε ούτε ένα πέμπτο.
- Κρατήστε ένα ημερολογημένο μητρώο εκτόξευσης για κάθε αλλαγή που αποστέλλεται στο παράθυρο με τη μετρημένη ανύψωσή του. Με αυτό συγκρίνετε το holdout.
- Πείτε στους μηχανικούς ότι οι σημαίες παραμένουν στη βάση κώδικα μέχρι να κλείσει το παράθυρο ανάλυσης. Οι σημαίες που δεν λειτουργούν πεθαίνουν από πρόωρο καθαρισμό σημαιών πιο συχνά παρά από οτιδήποτε στατιστικό.
Διαβάστε το αποτέλεσμα με ειλικρίνεια
Υπολογίστε την αναλογία της ανύψωσης που μετράται από το holdout προς την αθροισμένη ανύψωση στο μητρώο εκτόξευσης. Τα κατώφλια εργασίας μας — κρίσεις, όχι δημοσιευμένα σημεία αναφοράς:
| Άξονας συγκράτησης ÷ αθροισμένη άξονας | Ανάγνωση | Ενέργειες |
|---|---|---|
| ≥ 0.6, το διάστημα αποκλείει το μηδέν | Το πρόγραμμα είναι εν μέρει τίμιο | Αναφέρετε τον αριθμό αναμονής εξωτερικά, διατηρήστε την τρέχουσα πρόβλεψη |
| 0.3 - 0.6 | Κανονική συρρίκνωση από επιλογή και αλληλεπίδραση | Εφαρμογή του παρατηρούμενου λόγου ως περικοπή σε μελλοντικές επιχειρηματικές υποθέσεις |
| < 0.3 ή το διάστημα περιλαμβάνει το μηδέν | Το άθροισμα δεν αποτελεί απόδειξη | Σταματήστε να αναφέρετε την αθροισμένη άνοδο. Επανεξετάστε τα κριτήρια νίκης και τους κανόνες διακοπής. |
| Εκτίμηση αρνητικού σημείου | Κάτι που αποστέλλεται κοστίζει χρήματα | Αντίστροφη δοκιμή των μεγαλύτερων εκκινήσεων, μία κάθε φορά |
Μια περιφερειακή προειδοποίηση σχετικά με τις εναλλακτικές ομάδες που πρέπει να αναζητήσετε πρώτα. Αν σκοπεύετε να παραλείψετε την αναμονή και να συγκρίνετε αυτό το τρίμηνο με το προηγούμενο έτος, σημειώστε ότι ο ετήσιος πληθωρισμός τιμών καταναλωτή στην Τουρκία ήταν 31.51% τον Αύγουστο του 2026 (Στοιχεία TÜİK, δημοσιεύθηκαν στις 3 Σεπτεμβρίου 2026). Τα έσοδα ανά χρήστη σε λίρες δεν είναι συγκρίσιμα μεταξύ περιόδων με αυτόν τον ρυθμό, και η αποπληθωριστική του προσέγγιση προσθέτει τις δικές της υποθέσεις. Η ταυτόχρονη τυχαιοποίηση το παρακάμπτει αυτό: και οι δύο βραχίονες ζουν στην ίδια οικονομία την ίδια ημέρα.
[ΑΠΑΙΤΟΥΝΤΑΙ ΕΣΩΤΕΡΙΚΑ ΔΕΔΟΜΕΝΑ: ένα παράδειγμα προγράμματος-πελάτη Switas — διάρκεια προγράμματος, κλίμακα επισκεψιμότητας, αθροισμένη δοκιμαστική αύξηση έναντι μετρούμενης αύξησης holdout και το κοινόχρηστο στοιχείο holdout που χρησιμοποιήθηκε.]
Έξι τρόποι με τους οποίους ένας αντιστάτης σπάει αθόρυβα
- Μόλυνση. Οι κοινόχρηστες συσκευές, οι αποσυνδεδεμένες συνεδρίες και οι επαναφορές αναγνωριστικών μετακινούν τους χρήστες μεταξύ των όπλων. Μετρήστε τη διασταύρωση. Πάνω από περίπου 2% η εκτίμηση δεν είναι αξιόπιστη.
- Αθόρυβη διαρροή. Μια αλλαγή που αποστέλλεται εκτός του συστήματος flag (ένας κανόνας CDN, μια επεξεργασία CMS, ένα νέο πρότυπο) φτάνει επίσης στο holdout και συρρικνώνει το κενό προς το μηδέν.
- Ερπυσμός αποκλεισμού. Κάθε απόφαση τύπου «αυτό πρέπει να πάει σε όλους» αφαιρεί μια κυκλοφορία από αυτό που μετράτε. Δέκα από αυτά και δεν μετράτε τίποτα.
- Αναντιστοιχία αναλογίας δείγματος. Η διαίρεση αποκλίνει από το προβλεπόμενο μερίδιό της. Ελέγχετε εβδομαδιαίως. Μια παρακράτηση με SRM είναι εξίσου άκυρη με οποιαδήποτε άλλη δοκιμή με SRM.
- Πρόωρη απελευθέρωση. Οι εγγενείς καθολικές αναμονές του Optimizely δεν μπορούν να τεθούν σε παύση, μόνο να τερματιστούν. Λάβετε αυτό ως κανόνα: ο πρόωρος τερματισμός ακυρώνει το χρονικό περιθώριο.
- Αδύναμος από την πρώτη μέρα. Η πιο συνηθισμένη αποτυχία. Ένα μηδενικό αποτέλεσμα από ένα 2% holdout δεν σας λέει τίποτα για το πρόγραμμά σας και τα πάντα για το μέγεθός σας.
Πού αποτυγχάνει αυτή η μέθοδος
Ένα holdout δίνει το μέγεθος του συνδυασμένου αποτελέσματος, όχι ποια κυκλοφορία το παρήγαγε. Η αναφορά εξακολουθεί να χρειάζεται τις μεμονωμένες δοκιμές. Δεν μπορεί να μετρήσει τίποτα που πρέπει να αποσταλεί σε όλους, επομένως η εργασία συμμόρφωσης βρίσκεται εκτός αυτού. Είναι μια κακή εφαρμογή όπου οι ίδιοι χρήστες δεν επιστρέφουν εντός του παραθύρου και δεν λέει τίποτα για την επωνυμία ή την εξάπλωση εκτός σύνδεσης μεταξύ των βραχιόνων. Κάτω από περίπου 100,000 μηνιαίους χρήστες δεν υπάρχει μερίδιο που να είναι ανιχνεύσιμο και υπερασπίσιμο. Σε αυτή την κλίμακα, οι προσεκτικά ελεγχόμενες αναγνώσεις πριν και μετά συν η ποιοτική επικύρωση είναι η ειλικρινής εναλλακτική λύση, με τις αδυναμίες τους να αναφέρονται δυνατά.
Συχνές ερωτήσεις
Πόσο μεγάλη πρέπει να είναι μια ομάδα που δεν ανταποκρίνεται;
Αρκετά μεγάλο για να ανιχνεύσει το σωρευτικό αποτέλεσμα που αναμένετε, το οποίο είναι ένας υπολογισμός και όχι μια σύμβαση. Με βάση το βασικό επίπεδο 2% και έναν σχετικό στόχο +5%, μια παρακράτηση 5% χρειάζεται περίπου 3.25 εκατομμύρια χρήστες, ενώ μια παρακράτηση 20% χρειάζεται περίπου 971,000.
Πόσο καιρό πρέπει να διαρκεί ένα holdout;
Οι προμηθευτές προτείνουν τρεις έως έξι μήνες ενεργής περιόδου συν ένα παράθυρο ανάλυσης δύο έως τεσσάρων εβδομάδων. Προσθέστε τον περιορισμό ότι το παράθυρο καλύπτει τουλάχιστον μία περίοδο αιχμής καμπάνιας και έναν συνηθισμένο μήνα, επομένως ένα μεμονωμένο γεγονός πωλήσεων δεν καθορίζει το αποτέλεσμα.
Γιατί το holdout lift μου είναι μικρότερο από το άθροισμα των νικών μου στο τεστ;
Αυτό είναι το αναμενόμενο αποτέλεσμα, όχι κάποιο σφάλμα. Η κατάρα του νικητή, η φθορά της καινοτομίας, η αλληλεπίδραση μεταξύ των αλλαγών και η χαλαρότητα στην ανάλυση διογκώνουν το άθροισμα. Ο αριθμός που δεν ανταποκρίνεται είναι αυτός που είναι πιο κοντά στην πραγματικότητα.
Μπορώ να δημιουργήσω ένα holdout αφού έχω ήδη ξεκινήσει πράγματα;
Όχι για αυτές τις κυκλοφορίες — όλοι τις έχουν ήδη λάβει. Μια προσωρινή ειδοποίηση μετρά μόνο τις αλλαγές που έχουν οριστεί από την ημερομηνία έναρξής της. Μπορείτε ακόμα να ξεκινήσετε μία σήμερα για τα επόμενα δύο τρίμηνα.
Μήπως η συγκράτηση των χρηστών βλάπτει τα έσοδα;
Ελαφρώς, αν οι εκτοξεύσεις σας πραγματικά λειτουργούν, αυτό το κόστος περιορίζεται από το μερίδιο αναμονής επί την πραγματική αύξηση. Αν δεν λειτουργήσουν, η αναμονή δεν κοστίζει τίποτα και σας γλιτώνει από το να τις επαναλάβετε.
Τι γίνεται αν το αποτέλεσμα της αναμονής είναι σταθερό;
Ελέγξτε πρώτα την ισχύ σε σχέση με τον πίνακα μεγεθών σας και στη συνέχεια τη διασταύρωση και τη διαρροή. Ένα πραγματικά επίπεδο, επαρκώς τροφοδοτούμενο αποτέλεσμα σημαίνει ότι τα δύο τέταρτα των αποστολών δεν άλλαξαν τη μέτρηση: ακριβό να μάθεις, πιο ακριβό να μην το κάνεις.
Επόμενο βήμα
Αν εκτελείτε πειράματα και δεν μπορείτε να προσδιορίσετε πόσο άξιζε ένας χρόνος νικών, μετρήστε ένα holdout σε σχέση με την επισκεψιμότητά σας αυτήν την εβδομάδα — ή ζητήστε μας να το μετρήσουμε, να το κατασκευάσουμε και να το διαβάσουμε ως μέρος ενός Συμμετοχή CRO.
Πηγές
- Kohavi & Longbotham, "Διαδικτυακά ελεγχόμενα πειράματα και δοκιμές A/B" (2015)
- Lee & Shen (Airbnb), «Η Κατάρα του Νικητή», KDD 2018
- Sadeghi et al. (Microsoft), "Καινοτομία και Πρωταρχικότητα", Technometrics, 2022
- Netflix TechBlog, "Εφαρμογές Αιτιώδους Συμπερασμού στο Netflix"
- Έγγραφα Στατιστικής, "Holdouts"
- GrowthBook, "Αντιμετώπιση στο GrowthBook"
- Βελτιστοποιήστε την υποστήριξη, "Παγκόσμιες απουσίες"
- Έππο, «Το Όλον Είναι Μικρότερο από το Άθροισμα των Μερών του»
- Διεύθυνση Στρατηγικής και Προϋπολογισμού — TÜİK CPI, Αύγουστος 2026
