Η δοκιμή A/B είναι μια μέθοδος ελεγχόμενου πειραματισμού που χρησιμοποιείται για τη σύγκριση δύο ή περισσότερων εκδοχών μιας ιστοσελίδας, μιας οθόνης εφαρμογής, ενός email ή άλλου ψηφιακού στοιχείου, ώστε να διαπιστωθεί ποια αποδίδει καλύτερα ως προς έναν καθορισμένο στόχο, όπως το ποσοστό κλικ, το ποσοστό εγγραφής ή τα έσοδα ανά επισκέπτη. Στην απλούστερη μορφή της, η επισκεψιμότητα κατανέμεται τυχαία ανάμεσα σε μια εκδοχή ελέγχου (A) και μια παραλλαγή (B), και στα δεδομένα που προκύπτουν εφαρμόζεται στατιστική ανάλυση, ώστε να κριθεί αν η παρατηρούμενη διαφορά στην απόδοση αποτελεί πραγματικό αποτέλεσμα ή απλώς προϊόν τυχαίας διακύμανσης. Η τεχνική αντλεί απευθείας από τη μεθοδολογία των τυχαιοποιημένων ελεγχόμενων δοκιμών που εφαρμόζεται στην κλινική έρευνα και στη γεωπονική επιστήμη, γι' αυτό και οι επαγγελματίες αναφέρονται συχνά στη στατιστική σημαντικότητα, στα διαστήματα εμπιστοσύνης και στον υπολογισμό του μεγέθους δείγματος όταν σχεδιάζουν μια δοκιμή.
Η δοκιμή A/B έχει σημασία επειδή αντικαθιστά την υποκειμενική γνώμη και την εσωτερική αντιπαράθεση με εμπειρικά στοιχεία για το πώς συμπεριφέρονται πραγματικά οι επισκέπτες. Οι ομάδες σχεδιασμού και μάρκετινγκ διαφωνούν συχνά για το ποιος τίτλος, χρώμα κουμπιού, διάταξη ή δομή τιμολόγησης θα μετατρέψει καλύτερα, και η διαίσθηση είναι γνωστό ότι αποτελεί αναξιόπιστο οδηγό: μελέτες σε ιστότοπους ηλεκτρονικού εμπορίου και SaaS έχουν δείξει επανειλημμένα ότι οι αλλαγές που αναμένεται να βελτιώσουν τα ποσοστά μετατροπών δεν το πετυχαίνουν, ή ακόμη και τα μειώνουν, περίπου στο 80 έως 90 τοις εκατό των δοκιμών που διεξάγονται. Εκθέτοντας μια υπόθεση σε ζωντανό κοινό και μετρώντας απευθείας το αποτέλεσμα, η δοκιμή A/B επιτρέπει στους οργανισμούς να επαληθεύουν ή να απορρίπτουν ιδέες προτού δεσμεύσουν χρόνο ανάπτυξης, μάρκετινγκ προϋπολογισμό ή φήμη της μάρκας σε μια πλήρη εφαρμογή.
Η διεξαγωγή μιας έγκυρης δοκιμής A/B απαιτεί κάτι περισσότερο από τον απλό διαχωρισμό της επισκεψιμότητας και τη σύγκριση του αριθμού των μετατροπών. Οι αναλυτές υπολογίζουν εκ των προτέρων ένα ελάχιστο μέγεθος δείγματος, με βάση το βασικό ποσοστό μετατροπών, το ελάχιστο ανιχνεύσιμο αποτέλεσμα που ενδιαφέρει την επιχείρηση και την επιθυμητή στατιστική ισχύ (συνήθως 80 τοις εκατό) και το επίπεδο σημαντικότητας (συνήθως 95 τοις εκατό, ή τιμή p μικρότερη του 0,05). Οι δοκιμές διαρκούν συνήθως τουλάχιστον έναν με δύο πλήρεις επιχειρηματικούς κύκλους, συχνά 14 έως 30 ημέρες, ώστε να ληφθούν υπόψη οι διαφοροποιήσεις ανά ημέρα της εβδομάδας και να αποφευχθεί η πρόωρη διακοπή λόγω τυχαίας διακύμανσης, ένα λάθος που είναι γνωστό ως «peeking». Εργαλεία όπως τα VWO, Optimizely και AB Tasty αναλαμβάνουν την τυχαιοποίηση, την καταγραφή και τους στατιστικούς υπολογισμούς, ωστόσο η ερμηνεία των αποτελεσμάτων απαιτεί κατανόηση εννοιών όπως η ασυμφωνία αναλογίας δείγματος (sample ratio mismatch) και τα φαινόμενα καινοτομίας.
Μια συχνή παρανόηση είναι ότι ένα στατιστικά σημαντικό αποτέλεσμα από μία μόνο δοκιμή αποτελεί μόνιμη, καθολική αλήθεια. Στην πραγματικότητα, τα αποτελέσματα ισχύουν για το συγκεκριμένο τμήμα επισκεψιμότητας, την περίοδο και το πλαίσιο στο οποίο διεξήχθη η δοκιμή, και μπορούν να φθίνουν ή να αντιστρέφονται καθώς αλλάζουν τα κοινά, οι εποχές ή οι ανταγωνιστικές συνθήκες. Μια άλλη συχνή παγίδα είναι η ταυτόχρονη δοκιμή πολλών μεταβλητών χωρίς επαρκή επισκεψιμότητα, κάτι που οδηγεί σε δοκιμές με ανεπαρκή ισχύ, οι οποίες είτε αναφέρουν ψευδώς θετικά αποτελέσματα είτε δεν φτάνουν ποτέ σε στατιστική σημαντικότητα. Η πολυμεταβλητή δοκιμή (multivariate testing), που εξετάζει ταυτόχρονα συνδυασμούς πολλών στοιχείων, απαιτεί σημαντικά περισσότερη επισκεψιμότητα από μια απλή δοκιμή A/B δύο παραλλαγών και δεν αποτελεί συντόμευση για την παράκαμψη των απαιτήσεων μεγέθους δείγματος.
Στο πλαίσιο μιας συνεργασίας CRO ή συμβουλευτικής UX, η δοκιμή A/B είναι ο μηχανισμός που μετατρέπει την ποιοτική έρευνα, όπως οι συνεντεύξεις χρηστών, τα heatmaps και οι καταγραφές συνεδριών, σε τεκμηριωμένες αποφάσεις με απτό αντίκτυπο στα έσοδα. Ένα καλά οργανωμένο πρόγραμμα δοκιμών ακολουθεί συνήθως μια δομημένη διαδικασία: εντοπισμός ενός σημείου τριβής μέσα από δεδομένα και έρευνα, διατύπωση συγκεκριμένης υπόθεσης για το γιατί υπάρχει και πώς μπορεί να αντιμετωπιστεί, ιεράρχησή της έναντι άλλων ιδεών με χρήση πλαισίου βαθμολόγησης, διεξαγωγή του πειράματος μέχρι να επιτευχθεί στατιστική εγκυρότητα και καταγραφή των συμπερασμάτων ανεξάρτητα από το αν η παραλλαγή κέρδισε ή έχασε. Με την πάροδο του χρόνου, αυτό δημιουργεί έναν χάρτη πορείας βασισμένο σε στοιχεία, ο οποίος μειώνει τον κίνδυνο δαπανηρών ανασχεδιασμών και χτίζει θεσμική γνώση για το τι πραγματικά καθοδηγεί τη συμπεριφορά των πελατών σε έναν συγκεκριμένο ιστότοπο.
Περισσότεροι όροι που ξεκινούν από A
Μετρικές AARRR (Pirate Metrics)Above the Fold (πάνω από την αναδίπλωση)Κριτήρια αποδοχής (Acceptance Criteria)Προσβασιμότητα (συμμόρφωση με WCAG)Έλεγχος προσβασιμότητας (Accessibility Audit)Μάρκετινγκ συνεργατών (Affiliate Marketing)Υποδηλωτικότητα χρήσης (Affordance)Ευέλικτη ανάπτυξη (Agile Development)Atomic Design (Ατομικός σχεδιασμός)Μοντελοποίηση απόδοσης (Attribution Modeling)Παράθυρο απόδοσης (Attribution Window)Μέση αξία παραγγελίας (AOV)
