Το μέγεθος του δείγματος

Το μέγεθος του δείγματος είναι ο αριθμός των επισκεπτών, των περιόδων σύνδεσης ή των χρηστών που περιλαμβάνονται σε κάθε ομάδα ενός πειράματος και είναι ο σημαντικότερος παράγοντας για το εάν μια δοκιμή μπορεί να παράγει μια αξιόπιστη απάντηση. Υπολογίζεται πριν από την έναρξη μιας δοκιμής, από τέσσερα δεδομένα εισόδου: το βασικό ποσοστό μετατροπής του ελέγχου, το ελάχιστο μέγεθος αποτελέσματος που η επιχείρηση θα θεωρούσε σημαντικό, την επιθυμητή στατιστική ισχύ και το επίπεδο σημαντικότητας. Αλλάξτε οποιαδήποτε από αυτές τις πληροφορίες και το απαιτούμενο μέγεθος δείγματος θα αλλάξει, συχνά δραματικά.

Η σχέση μεταξύ αυτών των εισροών δεν είναι διαισθητική και εδώ είναι που τα περισσότερα προγράμματα δοκιμών κάνουν λάθος. Η ανίχνευση ενός μικρού αποτελέσματος απαιτεί πολύ περισσότερη επισκεψιμότητα από την ανίχνευση ενός μεγάλου και η απαίτηση αυξάνεται περίπου με το αντίστροφο τετράγωνο του μεγέθους του αποτελέσματος. Η μείωση στο μισό του αποτελέσματος που θέλετε να ανιχνεύσετε τετραπλασιάζει την επισκεψιμότητα που χρειάζεστε. Ένας ιστότοπος που μετατρέπεται στο 2% και θέλει να ανιχνεύσει αξιόπιστα μια σχετική βελτίωση 5% χρειάζεται δεκάδες χιλιάδες επισκέπτες ανά παραλλαγή. Ο ίδιος ιστότοπος που προσπαθεί να ανιχνεύσει μια βελτίωση 20% χρειάζεται ένα μικρό κλάσμα αυτού. Ομοίως, τα χαμηλά ποσοστά μετατροπής βάσης απαιτούν περισσότερη επισκεψιμότητα από τα υψηλά, γι' αυτό και οι ιστότοποι δημιουργίας δυνητικών πελατών και οι κατηγορίες ηλεκτρονικού εμπορίου υψηλής προσοχής εκτελούν πιο αργά προγράμματα δοκιμών από το λιανικό εμπόριο υψηλής συχνότητας.

Η εκτέλεση μιας δοκιμής χωρίς υπολογισμό μεγέθους δείγματος παράγει έναν από τους δύο τρόπους αποτυχίας. Η δοκιμή με χαμηλή ισχύ δεν καταλήγει ποτέ σε συμπέρασμα, καταναλώνει εβδομάδες επισκεψιμότητας και εγκαταλείπεται ως ασαφής ή, χειρότερα, ερμηνεύεται ως απόδειξη ότι η αλλαγή δεν έκανε τίποτα. Η δοκιμή σταματούσε νωρίς, όταν μια τυχερή σειρά μετατροπών ξεπέρασε ένα όριο σημαντικότητας, αναφέρει ένα μεγάλο αποτέλεσμα που εξαφανίζεται ως επί το πλείστον όταν η αλλαγή εφαρμόζεται σε όλους. Και οι δύο αποτυχίες κοστίζουν το ίδιο πράγμα: την αξιοπιστία του προγράμματος δοκιμών εντός του οργανισμού.

Οι απαιτήσεις μεγέθους δείγματος περιορίζουν επίσης τι μπορεί ρεαλιστικά να δοκιμάσει ένας ιστότοπος. Ένας ιστότοπος με περιορισμένη επισκεψιμότητα δεν μπορεί να εκτελέσει ένα χαρτοφυλάκιο μικρών βελτιώσεων, επειδή η επίλυση καθεμίας θα χρειαζόταν μήνες. Η κατάλληλη στρατηγική σε αυτό το επίπεδο επισκεψιμότητας είναι να δοκιμάσετε λιγότερες, πιο τολμηρές αλλαγές με μεγάλα αναμενόμενα αποτελέσματα, να δοκιμάσετε υψηλότερα στην διοχέτευση όπου οι όγκοι είναι μεγαλύτεροι και να βασιστείτε περισσότερο στην ποιοτική έρευνα και την ευρετική ανάλυση για να αποφασίσετε τι θα στείλετε χωρίς πείραμα. Η ειλικρινής αναγνώριση αυτού του περιορισμού είναι πολύ πιο παραγωγική από την εκτέλεση ενός προγράμματος δοκιμών που μαθηματικά δεν μπορεί να πετύχει.

Ο πρακτικός υπολογισμός πρέπει επίσης να λαμβάνει υπόψη τη διαφορά μεταξύ της στατιστικής μονάδας και της επιχειρηματικής μονάδας. Εάν η μονάδα τυχαιοποίησης είναι ο επισκέπτης, αλλά η μέτρηση μετριέται ανά συνεδρία, η αριθμητική ανάλυση καταρρέει και η αναφερόμενη εμπιστοσύνη υπερεκτιμάται. Οι δοκιμές που μετρούν τα έσοδα ανά επισκέπτη αντί για μια δυαδική μετατροπή χρειάζονται ακόμη μεγαλύτερα δείγματα, επειδή τα έσοδα είναι μια μέτρηση υψηλής διακύμανσης με μια μακρά ουρά μεγάλων παραγγελιών. Η ανάλυση σε επίπεδο τμήματος επιδεινώνει το πρόβλημα: μια δοκιμή που τροφοδοτείται για ολόκληρο το κοινό δεν τροφοδοτείται για το υποσύνολο για κινητά και η ανάγνωση των αποτελεσμάτων των τμημάτων από ένα πείραμα μεγέθους για το σύνολο είναι μια από τις πιο συνηθισμένες πηγές ψευδών συμπερασμάτων στον τομέα.

Δύο πρακτικά ερωτήματα προκύπτουν από τον υπολογισμό και συχνά απαντώνται λανθασμένα. Το πρώτο είναι εάν η επισκεψιμότητα πρέπει να κατανέμεται ομοιόμορφα. Μια άνιση κατανομή, όπως ο έλεγχος ενενήντα τοις εκατό και η παραλλαγή δέκα τοις εκατό, προτείνεται μερικές φορές για να περιοριστεί η έκθεση σε μια επικίνδυνη αλλαγή, αλλά επεκτείνει σημαντικά τον απαιτούμενο χρόνο εκτέλεσης, επειδή η μικρότερη ομάδα καθορίζει την ακρίβεια της σύγκρισης. Ο περιορισμός του κινδύνου επιτυγχάνεται καλύτερα μέσω μιας σύντομης αρχικής ράμπας με παρακολούθηση προστατευτικού κιγκλιδώματος, ακολουθούμενης από μια ομοιόμορφη κατανομή. Το δεύτερο είναι τι πρέπει να κάνετε σχετικά με την εκτέλεση αρκετών δοκιμών ταυτόχρονα. Τα ταυτόχρονα πειράματα σε μη σχετιζόμενα μέρη ενός ιστότοπου είναι γενικά αποδεκτά και είναι ο τρόπος με τον οποίο τα περισσότερα προγράμματα επιτυγχάνουν λογική ταχύτητα, αλλά οι δοκιμές που αλληλεπιδρούν, όπως δύο αλλαγές που επηρεάζουν το ίδιο βήμα χοάνης, πρέπει είτε να αλληλουχηθούν είτε να αναλυθούν ως συνδυασμένος σχεδιασμός, καθώς οι επισκέπτες που βιώνουν και τα δύο δεν μπορούν να αποδοθούν σαφώς σε κανένα από τα δύο.

Μέσα σε ένα δομημένο μετατροπής βελτιστοποίησης επιτόκιο πρόγραμμα, ο σχεδιασμός μεγέθους δείγματος γίνεται κατά την ιεράρχηση προτεραιοτήτων, όχι κατά την έναρξη. Γνωρίζοντας ότι μια προτεινόμενη δοκιμή χρειάζεται έξι εβδομάδες επισκεψιμότητας, αλλάζει την προτεραιότητά της σε σχέση με μια ιδέα που επιλύεται σε δέκα ημέρες και ότι η αντιστάθμιση μεταξύ του αναμενόμενου αντίκτυπου και του χρόνου απάντησης είναι ένα από τα βασικά στοιχεία του οδικού χάρτη. Για ιστότοπους με χαμηλότερη επισκεψιμότητα, ένα Έλεγχος UX συχνά προσφέρει καλύτερη απόδοση από ένα ανεκτέλεστο υπόλοιπο πειραματισμού, επειδή εντοπίζει ελαττώματα αρκετά σοβαρά ώστε η διόρθωσή τους να μην απαιτεί στατιστική απόδειξη.