Μέγεθος δείγματος πριν ξεκινήσετε: Ο υπολογισμός Οι περισσότερες δοκιμές A/B παραλείπουν

Τα περισσότερα τεστ A/B αποτυγχάνουν πριν τα δει έστω και ένας επισκέπτης. Όχι επειδή η υπόθεση ήταν αδύναμη ή ο σχεδιασμός ήταν κακός, αλλά επειδή κανείς δεν υπολόγισε αν το τεστ μπορούσε να δώσει κάποια απάντηση.

Το μοτίβο είναι οικείο. Μια ομάδα παρουσιάζει μια παραλλαγή, παρακολουθεί τον πίνακα ελέγχου και μετά από δέκα ημέρες βλέπει την παραλλαγή να αυξάνεται κατά 6% με p-value 0.14. Κάποιος λέει «έχει θετική τάση, ας την αφήσουμε άλλη μια εβδομάδα». Περνάει άλλη μια εβδομάδα. Τώρα είναι αυξημένο κατά 4%, p = 0.09. Η δοκιμή ονομάζεται «κατευθυντική νίκη» και αποστέλλεται, ή καταργείται ως ασαφής. Σε κάθε περίπτωση, τρεις εβδομάδες επισκεψιμότητας δεν παρήγαγαν καμία γνώση — και αυτό το αποτέλεσμα καθορίστηκε πλήρως πριν από την κυκλοφορία από τέσσερις αριθμούς που κανείς δεν έλεγξε.

Αυτό το άρθρο αφορά αυτούς τους τέσσερις αριθμούς.

Οι τέσσερις είσοδοι

Το μέγεθος του δείγματος δεν είναι θέμα κρίσης. Δεν εμπίπτει σε τέσσερις παραμέτρους και κάθε σοβαρό πρόγραμμα πειραματισμού τις διορθώνει πριν από την έναρξη και όχι μετά.

Δώστε σε μια αριθμομηχανή αυτά τα τέσσερα και θα σας επιστρέψει τους επισκέπτες που χρειάζεστε. ανά παραλλαγή. Δικός μας δωρεάν αριθμομηχανή δοκιμής A/B κάνει ακριβώς αυτό και διαρκεί περίπου τριάντα δευτερόλεπτα — που είναι και το θέμα. Ο λόγος που οι ομάδες παραλείπουν αυτό το βήμα δεν είναι ότι είναι δύσκολο. Είναι ότι η απάντηση είναι συχνά ανεπιθύμητη.

Το MDE είναι η πληροφορία που όλοι λαμβάνουν λάθος

Η ελάχιστη ανιχνεύσιμη επίδραση είναι η παράμετρος που προκαλεί τη μεγαλύτερη ζημιά, επειδή το όνομά της υποδηλώνει κάτι που δεν είναι.

Το MDE είναι δεν την αύξηση που περιμένετε. Δεν είναι πρόβλεψη, στόχος ή πρόβλεψη. Είναι ένα κατώτατο όριο ανιχνευσιμότητας: το μικρότερο πραγματικό αποτέλεσμα που η δοκιμή σας έχει 80% πιθανότητα να εντοπίσει. Ορίστε το MDE στο 5% και λέτε "αν η πραγματική βελτίωση είναι μικρότερη από 5%, δέχομαι ότι αυτή η δοκιμή πιθανότατα δεν θα την εντοπίσει".

Ακολουθούν δύο συνέπειες, και οι δύο έχουν σημασία.

Ένα τεστ μπορεί να απαντήσει μόνο στην ερώτηση για την οποία το διαμορφώσατε. Αν υπολογίσετε μια MDE 20% και το πραγματικό αποτέλεσμα είναι 7%, η δοκιμή πιθανότατα θα επιστρέψει "καμία σημαντική διαφορά". Αυτό δεν αποτελεί απόδειξη ότι η παραλλαγή δεν κάνει τίποτα. Είναι απόδειξη ότι η δοκιμή σας δεν μπόρεσε να δει αποτελέσματα αυτού του μεγέθους - μια εντελώς διαφορετική δήλωση, και μια δήλωση που οι ομάδες συνήθως μεταφράζουν λανθασμένα σε "το δοκιμάσαμε, δεν λειτούργησε".

Η σχετική και η απόλυτη MDE δεν είναι εναλλάξιμες. Ένα βασικό ποσοστό 2.5% με 10% σχετικής MDE σημαίνει ανίχνευση μιας μετατόπισης στο 2.75% — ένα απόλυτος διαφορά 0.25 ποσοστιαίων μονάδων. Εισαγάγετε 10 σε ένα πεδίο αριθμομηχανής αναμένοντας απόλυτες ποσοστιαίες μονάδες και μόλις ζητήσατε να ανιχνεύσετε μια μετατόπιση από 2.5% σε 12.5% και το εργαλείο θα σας πει με χαρά ότι 400 επισκέπτες θα είναι κατάλληλοι. Ελέγξτε ποια σύμβαση χρησιμοποιεί η αριθμομηχανή σας. Αυτή η μεμονωμένη σύγχυση ακυρώνει περισσότερα σχέδια δοκιμών από οποιοδήποτε άλλο σφάλμα που βλέπουμε.

Ένα λειτουργικό παράδειγμα

Ένας πελάτης ηλεκτρονικού εμπορίου θέλει να δοκιμάσει μια νέα διάταξη σελίδας λεπτομερειών προϊόντος. Η βασική μετατροπή σε αυτήν τη σελίδα είναι 2.5%. Θέλει να ανιχνεύσει μια σχετική βελτίωση 10% — μια αύξηση στο 2.75%.

Σε α = 0.05 και ισχύ 80%, η απαίτηση είναι περίπου 64,000 επισκέπτες ανά παραλλαγή, ή περίπου 128,000 συνολικά.

Αυτή η σελίδα δέχεται 40,000 επισκέπτες το μήνα. Επομένως, η δοκιμή χρειάζεται λίγο περισσότερο από τρεις μήνες για να φτάσει στο μέγεθος δείγματος για το οποίο σχεδιάστηκε.

Αυτός είναι ο αριθμός που αλλάζει τη συζήτηση. Όχι επειδή οι τρεις μήνες είναι αδύνατοι, αλλά επειδή πλέον πρόκειται για μια απόφαση που ελήφθη ανοιχτά — πριν από την κυκλοφορία, με ορατούς τους συμβιβασμούς — και όχι για μια αργή απογοήτευση που ανακαλύφθηκε την 21η ημέρα.

Τώρα αλλάξτε μία είσοδο. Διατηρήστε την ίδια γραμμή βάσης, αλλά το μέγεθος για σχετική αύξηση 20% αντί για 10%:

Η μείωση του MDE στο μισό τετραπλασιάζει περίπου το δείγμα. Αυτή η σχέση δεν είναι ιδιορρυθμία αυτών των αριθμών — το μέγεθος του δείγματος κλιμακώνεται με το αντίστροφο τετράγωνο του μεγέθους του αποτελέσματος. Είναι το πιο χρήσιμο πράγμα που πρέπει να εσωτερικεύσετε σχετικά με τον σχεδιασμό του πειράματος, επειδή σας λέει πού βρίσκεται η μόχλευση: Το να κάνεις την αλλαγή μεγαλύτερη είναι πολύ φθηνότερο από το να συγκεντρώσεις περισσότερη επισκεψιμότητα.

Μια δειλή παραλλαγή που μετακινεί ένα κουμπί κατά δύο pixel χρειάζεται ένα μέγεθος δείγματος που καμία μεσαίου μεγέθους ιστοσελίδα δεν μπορεί να προσφέρει. Μια παραλλαγή που αναδιαρθρώνει τη σελίδα έχει μια πιθανότητα. Αυτός είναι ο λόγος για τον οποίο τα προσεκτικά προγράμματα δοκιμών καθυστερούν — όχι επειδή οι ιδέες είναι λανθασμένες, αλλά επειδή είναι πολύ μικρές για να μετρηθούν.

Πού βρίσκεται στην πραγματικότητα η κυκλοφορία

Ο άλλος μοχλός που κρύβεται στην αριθμητική είναι ο ρυθμός βάσης. Οι απαιτήσεις μεγέθους δείγματος μειώνονται απότομα καθώς η τιμή βάσης αυξάνεται.

Πάρτε το ίδιο 10% σχετικό MDE, αλλά εκτελέστε το στο βήμα αποστολής του checkout, όπου το 40% των αφίξεων συνεχίζει με την πληρωμή:

• Βασικό 2.5% → ~64,000 ανά παραλλαγή
• Βασικό 40% → ~2,400 ανά παραλλαγή

Ίδιο MDE, ίδια αυτοπεποίθηση, ίδια ισχύς. Είκοσι έξι φορές λιγότερη κίνηση.

Αυτή η σελίδα έχει πολύ λιγότερους επισκέπτες από την PDP, φυσικά. Αλλά η απαίτηση μειώνεται ταχύτερα από την επισκεψιμότητα, γι' αυτό και οι δοκιμές deep-funnel είναι συχνά οι μόνες δοκιμές που μπορεί να ολοκληρώσει ένας ιστότοπος μεσαίας επισκεψιμότητας. Εάν η μετατροπή σε ολόκληρο τον ιστότοπο είναι 2%, η δοκιμή της αρχικής σελίδας είναι μια ετήσια δέσμευση και η δοκιμή της ολοκλήρωσης αγοράς είναι δύο εβδομάδες.

Η πρακτική καθοδήγηση: όταν η αριθμομηχανή επιστρέφει έναν αδύνατο αριθμό, προτού διευρύνετε το MDE, ελέγξτε αν υπάρχει κάποιο βήμα πιο κάτω στη διοχέτευση όπου η ίδια υπόθεση μπορεί να δοκιμαστεί σε σχέση με μια υψηλότερη τιμή βάσης.

Τι πραγματικά πάει στραβά όταν το παραλείπεις

Υπάρχουν δύο τρόποι αστοχίας εδώ, και ο δεύτερος είναι πολύ λιγότερο γνωστός από τον πρώτο.

Χάνεις πραγματικές βελτιώσεις. Μια δοκιμή χαμηλής ισχύος επιστρέφει «καμία σημαντική διαφορά» για μια αλλαγή που πραγματικά λειτουργεί. Η ομάδα καταλήγει στο συμπέρασμα ότι η ιδέα ήταν κακή και εγκαταλείπει μια κατεύθυνση που θα είχε αποδώσει. Αυτή είναι η αποτυχία που όλοι γνωρίζουν και είναι η λιγότερο ακριβή από τις δύο.

Οι νικητές σας είναι υπερβολικά φούσκωτοι. Αυτό είναι που διαφθείρει αθόρυβα τους αριθμούς ενός προγράμματος. Σε μια δοκιμή χαμηλής ισχύος, ο μόνος τρόπος με τον οποίο ένα αποτέλεσμα μπορεί να ξεπεράσει το όριο σημαντικότητας είναι αν τυχαίος θόρυβος το ωθήσει αρκετά μακριά — πράγμα που σημαίνει ότι τα αποτελέσματα που do Τα δηλωτικά σημαντικά είναι συστηματικά μεγαλύτερα από την αλήθεια. Όσο χαμηλότερη είναι η ισχύς, τόσο χειρότερη είναι η υπερβολή.

Έτσι, ένα πρόγραμμα με χαμηλή ισχύ δεν απλώς παραβλέπει πράγματα. Παράγει ένα δοκιμαστικό αρχείο καταγραφής γεμάτο με νικητές με υπερεκτιμημένες αυξήσεις, οι οποίες στη συνέχεια πολλαπλασιάζονται με την επισκεψιμότητα για να προβλέψουν έσοδα που δεν υλοποιούνται ποτέ. Έξι μήνες αργότερα, κάποιος ρωτάει γιατί το άθροισμα των νικών δεν εμφανίζεται στον αριθμό των εσόδων. Αυτή είναι συνήθως η απάντηση.

Δεν μπορείτε να το διορθώσετε αυτό στην ανάλυση. Πρέπει να αποτραπεί κατά τη στιγμή του σχεδιασμού.

Ανά παραλλαγή, όχι συνολικά

Η έξοδος της αριθμομηχανής είναι η απαίτηση για κάθε βραχίονα της δοκιμής. Δύο παραλλαγές σημαίνουν διπλάσιο αριθμό. Αυτό ακούγεται προφανές και παρερμηνεύεται συνεχώς, συνήθως προς την αισιόδοξη κατεύθυνση.

Πολλαπλές παραλλαγές περιπλέκουν το πρόβλημα δύο φορές. Μια δοκιμή A/B/C/D χρειάζεται τετραπλάσιο δείγμα από το σχήμα μονού βραχίονα, και Τρεις ταυτόχρονες συγκρίσεις με τον έλεγχο αυξάνουν την πιθανότητα τουλάχιστον ενός ψευδώς θετικού αποτελέσματος πολύ πέρα ​​από το ονομαστικό σας 5%. Η διόρθωση αυτού αυξάνει ξανά την απαίτηση.

Για τους περισσότερους ιστότοπους, ο πρακτικός κανόνας είναι: εκτός αν έχετε διαθέσιμη επισκεψιμότητα, εκτελέστε δύο βραχίονες. Μια τετραπλή δοκιμή σε μια σελίδα που μόλις και μετά βίας μπορεί να τροφοδοτήσει μια αμφίδρομη δοκιμή δεν είναι τετραπλάσια μάθηση. Είναι μηδενική μάθηση, που παρέχεται πιο αργά.

Η διάρκεια είναι ένας ξεχωριστός περιορισμός

Η επίτευξη του μεγέθους του δείγματός σας είναι απαραίτητη. Δεν είναι αρκετή.

Μια δοκιμή που επιτυγχάνει τον αριθμό της σε τέσσερις ημέρες έχει λάβει δείγματα συμπεριφοράς τεσσάρων ημερών. Η επισκεψιμότητα τις καθημερινές και τα Σαββατοκύριακα μετατρέπεται διαφορετικά. Οι κύκλοι μισθοδοσίας έχουν σημασία στο ηλεκτρονικό εμπόριο. Οι πληρωμένες καμπάνιες που ξεκινούν κατά τη διάρκεια της δοκιμής αλλάζουν το μείγμα κοινού κάτω από εσάς. Τα νέα σχέδια παράγουν επίσης ένα εφέ καινοτομίας που φθίνει — η πρώιμη αλληλεπίδραση με μια άγνωστη διάταξη δεν αποτελεί σταθερή εκτίμηση της απόδοσης σε σταθερή κατάσταση.

Εκτελέστε για τουλάχιστον μία ολόκληρη εβδομάδα, και κατά προτίμηση δύο, ανεξάρτητα από το τι επιτρέπει ο υπολογισμός του μεγέθους του δείγματος. Οποιοσδήποτε περιορισμός είναι μεγαλύτερος — μέγεθος δείγματος ή οικονομικός κύκλος — είναι αυτός που καθορίζει. Και ορίστε την ημερομηνία λήξης εκ των προτέρων αντί να ελέγχετε κάθε πρωί και να σταματάτε όταν τα νούμερα φαίνονται καλά, κάτι που αποτελεί έναν ξεχωριστό και πολύ αποτελεσματικό τρόπο δημιουργίας ψευδών νικητών.

Όταν ο αριθμός είναι αδύνατος

Μερικές φορές η ειλικρινής απάντηση είναι ότι η δοκιμή δεν μπορεί να εκτελεστεί. Αυτή είναι μια χρήσιμη πληροφορία και υπάρχουν πέντε λογικές απαντήσεις.

Δοκιμάστε μια μεγαλύτερη αλλαγή. Η τετραγωνική σχέση καθιστά αυτήν την επιλογή με την υψηλότερη μόχλευση με μεγάλη διαφορά. Επανασχεδιάστε τη ροή αντί για το κουμπί.

Μεταβείτε σε μια μέτρηση υψηλότερης βασικής τιμής. Δοκιμάστε με βάση την προσθήκη στο καλάθι αγορών ή την ολοκλήρωση της αγοράς αντί για την αγορά. Το μέγεθος του αποτελέσματος μετριέται με βάση μια μεγαλύτερη βάση και η απαίτηση δείγματος καταρρέει. Αποδεχτείτε ότι μετράτε μια μεσολάβηση και επικυρώστε τη σύνδεση με τα έσοδα ξεχωριστά.

Δοκιμάστε πιο κάτω στη χοάνη, όπως παραπάνω.

Ομαδοποίηση παρόμοιων σελίδων. Η εκτέλεση μίας δοκιμής σε όλες τις σελίδες κατηγορίας αντί για μία μόνο κατηγορία πολλαπλασιάζει την διαθέσιμη επισκεψιμότητα, υπό την προϋπόθεση ότι οι σελίδες είναι αρκετά παρόμοιες από άποψη συμπεριφοράς ώστε η ομαδοποίηση να είναι υπερασπίσιμη.

Σταματήστε τις δοκιμές και ξεκινήστε την έρευνα. Εάν ένας ιστότοπος δεν μπορεί να υποστηρίξει ένα πείραμα, οι δοκιμές A/B είναι το λάθος εργαλείο για αυτό. Οι δοκιμές χρηστικότητας, οι καταγραφές συνεδριών και η ευρετική αξιολόγηση θα βρουν τα ελαττωματικά στοιχεία πιο γρήγορα και φθηνότερα. Η ποσοτική επικύρωση έρχεται αργότερα, όταν οι αλλαγές είναι αρκετά μεγάλες ώστε να είναι μετρήσιμες. Δεν υπάρχει ντροπή σε αυτό - η εκτέλεση δοκιμών χαμηλής ισχύος για να νιώθετε αυστηροί είναι χειρότερη από το να μην τις εκτελέσετε.

Λίστα ελέγχου πριν από την πτήση

Πριν από την έναρξη οποιασδήποτε δοκιμής:

• [ ] Η βασική τιμή μετρήθηκε στην πραγματική σελίδα και το κοινό στο οποίο θα εκτελεστεί η δοκιμή, όχι σε ολόκληρο τον ιστότοπο
• [ ] Η MDE δηλώνεται ρητά, γραπτώς, με σχετική ή απόλυτη ιδιαιτερότητα.
• [ ] Υπολογισμένο μέγεθος δείγματος ανά παραλλαγή και πολλαπλασιασμένο με τον αριθμό των βραχιόνων
• [ ] Απαιτούμενη διάρκεια σε σύγκριση με τη διαθέσιμη επισκεψιμότητα — και η απάντηση έγινε δεκτή πριν από την κυκλοφορία
• [ ] Η ημερομηνία λήξης έχει καθοριστεί εκ των προτέρων
• [ ] Ελάχιστος ένας πλήρης οικονομικός κύκλος, ό,τι και να λέει το παράδειγμα μαθηματικών υπολογισμών
• [ ] Η μονάδα τυχαιοποίησης ταιριάζει με τη μονάδα ανάλυσης (ανάθεση σε επίπεδο επισκέπτη, μετρήσεις σε επίπεδο επισκέπτη)
• [ ] Η κατανομή της επισκεψιμότητας επαληθεύτηκε τις πρώτες ώρες — μια δοκιμή 50/50 που παρήγαγε 53/47 σημαίνει πρόβλημα με τα όργανα και τα αποτελέσματα δεν μπορούν να χρησιμοποιηθούν μέχρι να εντοπιστούν.

Εκτελέστε τους αριθμούς πριν δημιουργήσετε την παραλλαγή

Όλος ο υπολογισμός διαρκεί μισό λεπτό και αλλάζει αυτό που κατασκευάζετε. Οι ομάδες που διαστασιολογούν τις δοκιμές τους σχεδιάζουν πρώτα πιο τολμηρές παραλλαγές, επειδή μπορούν να δουν πόσο θα κόστιζαν οι δειλές.

Εισαγάγετε το βασικό ποσοστό μετατροπών, το αποτέλεσμα που θέλετε να μπορείτε να εντοπίσετε και τις ρυθμίσεις εμπιστοσύνης και ισχύος. Εάν ο αριθμός που επιστρέφει είναι μεγαλύτερος από την επισκεψιμότητά σας, αυτός δεν είναι λόγος για να ξεκινήσετε ούτως ή άλλως — είναι η δοκιμή που σας λέει να αλλάξετε το σχέδιο.

Συχνές ερωτήσεις

Πόσους επισκέπτες χρειάζομαι για ένα τεστ A/B; Δεν υπάρχει ένας καθολικός αριθμός. Εξαρτάται από το βασικό ποσοστό μετατροπών σας, το μικρότερο αποτέλεσμα που θέλετε να ανιχνεύσετε και τα επιλεγμένα επίπεδα σημαντικότητας και ισχύος. Μια σελίδα που μετατρέπεται στο 2.5% χρειάζεται περίπου 64,000 επισκέπτες ανά παραλλαγή για να ανιχνεύσει μια σχετική βελτίωση 10%. Ένα βήμα ολοκλήρωσης αγοράς που μετατρέπεται στο 40% χρειάζεται περίπου 2,400 για το ίδιο σχετικό αποτέλεσμα.

Ποιο είναι ένα καλό ελάχιστο ανιχνεύσιμο αποτέλεσμα; Η χαμηλότερη που μπορεί να υποστηρίξει η επισκεψιμότητά σας εντός εύλογου χρονικού πλαισίου. Ξεκινήστε από τη διαθέσιμη επισκεψιμότητά σας και μια στοχευμένη διάρκεια δύο έως τεσσάρων εβδομάδων και, στη συνέχεια, λύστε προς τα πίσω για την MDE που ταιριάζει. Εάν αυτή η MDE είναι μεγαλύτερη από την πιθανή αλλαγή που θα μπορούσε να προκαλέσει η δοκιμή, επανασχεδιάστε τη δοκιμή.

Μπορώ να σταματήσω πρόωρα μια εξέταση αν είναι σαφώς επιτυχημένη; Όχι με μια τυπική δοκιμή σταθερού ορίζοντα. Ο επανειλημμένος έλεγχος και η διακοπή στο πρώτο σημαντικό αποτέλεσμα διογκώνει το ποσοστό ψευδώς θετικών αποτελεσμάτων πολύ πάνω από 5%. Εάν χρειάζεστε τη δυνατότητα να σταματήσετε νωρίς, χρησιμοποιήστε μια μέθοδο που έχει σχεδιαστεί για αυτό — διαδοχικές δοκιμές ή ένα Bayesian framework — και αποφασίστε το πριν από την κυκλοφορία, όχι κατά τη διάρκεια.

Τι γίνεται αν η δοκιμή μου φτάσει σε σημαντικότητα πριν επιτευχθεί το μέγεθος του δείγματος; Αντιμετωπίστε το με καχυποψία και συνεχίστε να τρέχετε προς το προγραμματισμένο τέλος. Η πρώιμη σημασία σε ένα υποδύναμο παράθυρο είναι ακριβώς το μοτίβο που παράγει διογκωμένους, μη αναπαραγώγιμους νικητές.

Είναι αρκετό το 80% της ισχύος; Είναι η συμβατική προεπιλογή και ένα λογικό σημείο εκκίνησης, αλλά σημαίνει ότι πρέπει να αποδεχτείτε μια πιθανότητα 20% να χάσετε ένα πραγματικό αποτέλεσμα. Για αποφάσεις υψηλού ρίσκου — έναν επανασχεδιασμό στο ταμείο, μια αλλαγή τιμολόγησης — το 90% της ισχύος αξίζει το επιπλέον δείγμα. Για αλλαγές χαμηλού κόστους, αναστρέψιμες, το 80% είναι μια χαρά.

Δεν είστε σίγουροι ότι το πρόγραμμα δοκιμών σας παράγει πραγματικές απαντήσεις;

Εάν το αρχείο καταγραφής δοκιμών σας είναι γεμάτο με μικρές νίκες που δεν εμφανίζονται ποτέ στον τελικό αριθμό, το πρόβλημα συνήθως βρίσκεται πριν από την ανάλυση. Εξετάζουμε τα προγράμματα πειραματισμού και σας λέμε ξεκάθαρα πού αποτυγχάνει ο σχεδιασμός.

Μάθετε περισσότερα για την υπηρεσία CRO;