Οι δοκιμές βάσει υποθέσεων (hypothesis-driven testing) είναι μια δομημένη προσέγγιση πειραματισμού, στην οποία κάθε δοκιμή ξεκινά με μια ρητή, διαψεύσιμη δήλωση που προβλέπει ότι μια συγκεκριμένη αλλαγή θα παράγει ένα συγκεκριμένο, μετρήσιμο αποτέλεσμα στη συμπεριφορά των χρηστών, διατυπωμένη συνήθως σε μορφή όπως: επειδή παρατηρήσαμε το στοιχείο X, πιστεύουμε ότι η αλλαγή του Y θα έχει ως αποτέλεσμα το Z, που μετριέται με τον δείκτη M μέσα σε καθορισμένο χρονικό διάστημα. Αυτό διαφέρει ριζικά από τις ad hoc δοκιμές, όπου δοκιμάζονται παραλλαγές με βάση τη γενική διαίσθηση ή δανεισμένες βέλτιστες πρακτικές του κλάδου, χωρίς σαφώς διατυπωμένο λόγο θεμελιωμένο σε στοιχεία ειδικά για τον πραγματικό ιστότοπο ή το προϊόν που δοκιμάζεται εκείνη τη στιγμή. Ορισμένες ομάδες απαιτούν επιπλέον κάθε υπόθεση να κατονομάζει το συγκεκριμένο τμήμα χρηστών στο οποίο εφαρμόζεται, αφού μια αλλαγή που βοηθά τους επισκέπτες κινητού που έρχονται για πρώτη φορά μπορεί να μην έχει καμία επίδραση, ή ακόμη και αρνητική, σε επαναλαμβανόμενους πελάτες υπολογιστών που γνωρίζουν ήδη ακριβώς τι ήρθαν να κάνουν.
Η πειθαρχία αυτή έχει σημασία επειδή αναγκάζει μια ομάδα να δικαιολογήσει μια προτεινόμενη αλλαγή με υπάρχοντα στοιχεία πριν δεσμεύσει πόρους μηχανικής και σχεδιασμού για να κατασκευάσει και να εκτελέσει μια δοκιμή, κάτι που βελτιώνει ουσιαστικά το συνολικό ποσοστό νικών ενός προγράμματος πειραματισμού με την πάροδο του χρόνου και καθιστά τη λογική πίσω από τις επιτυχίες και τις αποτυχίες επαναχρησιμοποιήσιμη για μελλοντική εργασία αλλού στο προϊόν. Μια δοκιμή που επιβεβαιώνει ή διαψεύδει μια υπόθεση θεμελιωμένη σε προηγούμενα δεδομένα, όπως ένα heatmap που δείχνει ότι οι χρήστες παραβλέπουν εντελώς μια βασική πρόσκληση για δράση, παράγει μια γνώση που γενικεύεται σε άλλες σελίδες με παρόμοια μοτίβα, ενώ μια δοκιμή που βασίζεται αποκλειστικά σε μια αποσυνδεδεμένη δημιουργική ιδέα, ακόμη και όταν τυχαίνει να κερδίσει, παράγει συχνά ένα αποτέλεσμα που είναι πραγματικά δύσκολο να εξηγηθεί ή να εφαρμοστεί οπουδήποτε αλλού στο προϊόν.
Στην πράξη, τα προγράμματα δοκιμών βάσει υποθέσεων διατηρούν συνήθως ένα διαρκώς ενημερωμένο backlog υποθέσεων που παράγονται ταυτόχρονα από πολλές πηγές, συμπεριλαμβανομένων δεδομένων analytics, heatmaps και καταγραφών συνεδριών, συνεντεύξεων χρηστών, θεματικών ενοτήτων υποστήριξης πελατών και ανταγωνιστικής ανάλυσης παρόμοιων επιχειρήσεων της ίδιας κατηγορίας. Αυτό το backlog ιεραρχείται με ένα πλαίσιο βαθμολόγησης όπως το ICE, που βαθμολογεί κάθε υπόθεση ως προς τον δυνητικό αντίκτυπο, τη βεβαιότητα για τα υποκείμενα στοιχεία και την ευκολία υλοποίησης. Μόλις ιεραρχηθεί, μια υπόθεση μετατρέπεται σε δοκιμή A/B με σαφώς καθορισμένο κύριο δείκτη, ελάχιστο ανιχνεύσιμο αποτέλεσμα και απαιτούμενο μέγεθος δείγματος υπολογισμένο εκ των προτέρων, και η δοκιμή εκτελείται μέχρι να φτάσει σε στατιστική σημαντικότητα, συνήθως σε επίπεδο εμπιστοσύνης 95 τοις εκατό, αντί να διακόπτεται νωρίς βάσει ενός ελκυστικού αλλά πρόωρου ενδιάμεσου αποτελέσματος.
Μια συνηθισμένη παρανόηση είναι ότι μια υπόθεση είναι απλώς μια περιγραφή του πώς θα μοιάζει η παραλλαγή, όπως «θα κάνουμε το κουμπί κόκκινο», και όχι μια τεκμηριωμένη πρόβλεψη που συνδέει υπάρχοντα στοιχεία με ένα αναμενόμενο συμπεριφορικό αποτέλεσμα· μια σωστά διατυπωμένη υπόθεση δηλώνει πάντα την υποκείμενη πεποίθηση για τη συμπεριφορά των χρηστών που η αλλαγή σχεδιασμού προορίζεται ειδικά να δοκιμάσει και να επικυρώσει. Μια άλλη σημαντική παγίδα είναι η αντιμετώπιση μιας χαμένης δοκιμής ως αποτυχίας της συνολικής διαδικασίας και όχι ως έγκυρου και πραγματικά πολύτιμου αποτελέσματος μάθησης από μόνου του, αφού μια υπόθεση που διαψεύστηκε από πραγματικά δεδομένα χρηστών εξακολουθεί να εξαλείφει μια εσφαλμένη παραδοχή και να ανακατευθύνει τη μελλοντική προσπάθεια πιο παραγωγικά από το να μην είχε δοκιμαστεί ποτέ η ιδέα, μια σημαντική πολιτισμική διάκριση που οι έμπειροι επαγγελματίες CRO προσπαθούν σκληρά να εμπεδώσουν στους οργανισμούς των πελατών με την πάροδο του χρόνου.
Σε μια συμβουλευτική CRO, οι δοκιμές βάσει υποθέσεων αποτελούν το επιχειρησιακό μοντέλο γύρω από το οποίο δομούνται σχεδόν όλα τα προγράμματα πειραματισμού των πελατών, αφού παρέχουν ένα υπερασπίσιμο, ελέγξιμο ίχνος που συνδέει ένα παρατηρούμενο πρόβλημα με μια προτεινόμενη λύση και με ένα μετρημένο αποτέλεσμα. Αυτό το ίχνος είναι απαραίτητο τόσο για να δικαιολογηθεί η διαρκής επένδυση ενός συνεχούς προγράμματος δοκιμών σε δύσπιστους ενδιαφερόμενους όσο και για να χτιστεί μια θεσμική βάση γνώσης της οποίας η αξία αυξάνεται σημαντικά καθώς δοκιμάζονται, βελτιώνονται και είτε επικυρώνονται είτε αποκλείονται οριστικά περισσότερες υποθέσεις σε διαδοχικούς γύρους δοκιμών σε όλο το προϊόν. Με τον καιρό, αυτό το σωρευμένο αρχείο επικυρωμένων και διαψευσμένων υποθέσεων γίνεται ένα από τα πολυτιμότερα περιουσιακά στοιχεία μιας συμβουλευτικής, αφού επιτρέπει να σχεδιάζονται νέα πειράματα αξιοποιώντας όλα όσα έχουν ήδη μαθευτεί, αντί να ξεκινά κανείς κάθε φορά από λευκή σελίδα.
