Η στατιστική σημαντικότητα είναι το πρότυπο που χρησιμοποιείται για να αποφασιστεί εάν μια διαφορά που παρατηρείται μεταξύ δύο ομάδων σε ένα πείραμα είναι αρκετά μεγάλη ώστε να είναι απίθανο να έχει προκληθεί μόνο από τυχαία τύχη. Σε ένα πλαίσιο βελτιστοποίησης μετατροπών, απαντά σε ένα συγκεκριμένο ερώτημα: εάν ο έλεγχος και η παραλλαγή ήταν πραγματικά πανομοιότυπες στην επίδρασή τους στη συμπεριφορά των επισκεπτών, πόσο συχνά ένα πείραμα αυτού του μεγέθους θα παρήγαγε ένα κενό τουλάχιστον τόσο μεγάλο όσο αυτό που μετρήθηκε; Όταν αυτή η πιθανότητα πέσει κάτω από ένα προσυμφωνημένο όριο, συνήθως 5%, το αποτέλεσμα περιγράφεται ως στατιστικά σημαντικό στο επίπεδο εμπιστοσύνης 95%.
Η έννοια έχει σημασία επειδή τα δεδομένα μετατροπών είναι εγγενώς θορυβώδη. Δύο πανομοιότυπες εκδόσεις της ίδιας σελίδας, που εμφανίζονται σε δύο τυχαία χωρισμένα μισά της ίδιας επισκεψιμότητας, σχεδόν ποτέ δεν θα παράγουν ακριβώς το ίδιο ποσοστό μετατροπών. Οι καθημερινές διακυμάνσεις, το μείγμα πηγών επισκεψιμότητας, οι διαφορές συσκευών και η απλή τυχαιότητα δημιουργούν όλα εμφανή κενά που δεν σημαίνουν τίποτα. Χωρίς ένα όριο σημαντικότητας, οι ομάδες καταλήγουν να στέλνουν αλλαγές με βάση τον θόρυβο και το συνολικό αποτέλεσμα ενός προγράμματος δοκιμών γίνεται μηδενικό ή αρνητικό, ενώ όλοι οι εμπλεκόμενοι πιστεύουν ότι λειτουργεί.
Η σημαντικότητα ορίζεται πριν από την έναρξη μιας δοκιμής και δεν ανακαλύπτεται μετά από αυτήν. Η συνήθης πρακτική είναι να καθορίζεται το επίπεδο σημαντικότητας, η επιθυμητή στατιστική ισχύς και το ελάχιστο μέγεθος αποτελέσματος που αξίζει να ανιχνευθεί, στη συνέχεια να υπολογίζεται το απαιτούμενο μέγεθος δείγματος και να εκτελείται η δοκιμή σε αυτό το μέγεθος δείγματος. Ο επανειλημμένος έλεγχος των αποτελεσμάτων και η διακοπή τη στιγμή που ξεπεραστεί ένα όριο διογκώνει σημαντικά το ποσοστό ψευδώς θετικών αποτελεσμάτων, επειδή κάθε επιπλέον ματιά είναι μια ακόμη ευκαιρία για τυχαία διακύμανση να ξεπεράσει τη γραμμή. Οι πλατφόρμες δοκιμών που αναφέρουν ένα ζωντανό ποσοστό σημαντικότητας καθιστούν εύκολο να διαπραχθεί αυτό το λάθος, γι' αυτό και τα πειθαρχημένα προγράμματα αντιμετωπίζουν τον προ-καταχωρημένο κανόνα διακοπής ως δεσμευτικό.
Μια επίμονη εσφαλμένη αντίληψη είναι ότι ένα σημαντικό αποτέλεσμα αποδεικνύει ότι μια παραλλαγή είναι καλύτερη και ότι ένα μη σημαντικό αποτέλεσμα αποδεικνύει ότι οι δύο εκδοχές είναι ισοδύναμες. Τίποτα από τα δύο δεν ισχύει. Η σημαντικότητα περιγράφει τη συμβατότητα των δεδομένων με την υπόθεση της μη διαφοράς. Δεν λέει τίποτα για το μέγεθος ή την επιχειρηματική συνάφεια ενός αποτελέσματος. Μια δοκιμή με πολύ μεγάλη επισκεψιμότητα μπορεί να βρει μια στατιστικά σημαντική βελτίωση ενός κλάσματος μιας ποσοστιαίας μονάδας που δεν αξίζει το κόστος μηχανικής αποστολής. Αντίθετα, ένα μη σημαντικό αποτέλεσμα σε μια δοκιμή χαμηλής ισχύος σημαίνει απλώς ότι το πείραμα δεν είχε την ευαισθησία για να ανιχνεύσει ένα αποτέλεσμα που μπορεί κάλλιστα να υπάρχει. Η αναφορά του διαστήματος εμπιστοσύνης μαζί με την ετυμηγορία δίνει μια πολύ πιο χρήσιμη εικόνα από μια δυαδική ετικέτα.
Στην συμβουλευτική εργασία, η σημασία βρίσκεται στο σημείο όπου η αναλυτική αυστηρότητα συναντά την εμπορική κρίση. A Υπηρεσία CRO Η αλληλεπίδραση πρέπει να εξισορροπεί το στατιστικό ιδανικό με την πραγματικότητα ότι οι περισσότεροι ιστότοποι δεν έχουν απεριόριστη επισκεψιμότητα και ότι μια επιχείρηση δεν μπορεί να περιμένει τρεις μήνες για βεβαιότητα σε κάθε ιδέα. Η πρακτική λύση είναι να διατηρηθούν αυστηρά όρια για αλλαγές υψηλού κινδύνου, οι οποίες είναι δύσκολο να αντιστραφούν, όπως η τιμολόγηση, η ροή ολοκλήρωσης αγοράς ή η αρχιτεκτονική πλοήγησης, και να γίνονται δεκτές ταχύτερες, χαμηλότερης αξιοπιστίας αποφάσεις για αλλαγές κειμένου και διάταξης χαμηλού κινδύνου, όπου το κόστος του λάθους είναι μικρό και αναστρέψιμο. Αυτή η βαθμονόμηση είναι μια στρατηγική απόφαση και όχι στατιστική και συνήθως ορίζεται κατά το στάδιο του σχεδιασμού ενός μετατροπής βελτιστοποίησης επιτόκιο πρόγραμμα παράλληλα με τον ορισμό των κύριων μετρήσεων και των μετρήσεων προστατευτικών κιγκλιδωμάτων.
Μια χρήσιμη πρακτική για κάθε ομάδα που είναι νέα σε αυτόν τον τομέα είναι να εκτελέσει μια δοκιμή A/A πριν εμπιστευτεί τις ετυμηγορίες της πλατφόρμας. Ο διαχωρισμός της επισκεψιμότητας σε δύο πανομοιότυπες εκδόσεις δεν θα πρέπει, εξ ορισμού, να παράγει καμία πραγματική διαφορά και η παρατήρηση των αναφορών του εργαλείου για δύο ή τρεις εβδομάδες είναι διδακτική. Οι ομάδες διαπιστώνουν συστηματικά ότι η πλατφόρμα τους ανακηρύσσει έναν σημαντικό νικητή μεταξύ δύο πανομοιότυπων σελίδων σε κάποιο σημείο κατά τη διάρκεια της εκτέλεσης, κάτι που ακριβώς προβλέπει ο επαναλαμβανόμενος έλεγχος ενός μηδενικού αποτελέσματος, και το να το βλέπουν να συμβαίνει με τη δική τους επισκεψιμότητα είναι πιο πειστικό από οποιαδήποτε εξήγηση των υποκείμενων στατιστικών. Η άσκηση αναδεικνύει επίσης προβλήματα οργάνων, όπως η άνιση κατανομή επισκεψιμότητας, η παρακολούθηση που ενεργοποιείται διαφορετικά μεταξύ των παραλλαγών και η επισκεψιμότητα από bot που δεν φιλτράρεται με συνέπεια, τα οποία διαφορετικά θα κατέστρεφαν κάθε επόμενο πείραμα ενώ θα παρέμεναν αόρατα.
Οι ομάδες που ωριμάζουν σε αυτόν τον τομέα σταματούν να ρωτούν αν ένα αποτέλεσμα είναι σημαντικό και αρχίζουν να ρωτούν ποια απόφαση υποστηρίζουν τα στοιχεία. Καταγράφουν τα μεγέθη και τα διαστήματα των επιδράσεων, παρακολουθούν πόσο συχνά οι σημαντικές νίκες του παρελθόντος άντεξαν όταν επαναμετρήθηκαν και αντιμετωπίζουν κάθε πείραμα ως μία εισροή σε ένα συσσωρευόμενο σύνολο γνώσεων για τους πελάτες τους και όχι ως μια ετυμηγορία που εκδόθηκε μία φορά και δεν επανεξετάστηκε ποτέ.