Δοκιμή A / B

Η δοκιμή A/B είναι μια ελεγχόμενη μέθοδος πειραματισμού που χρησιμοποιείται για τη σύγκριση δύο ή περισσότερων εκδόσεων μιας ιστοσελίδας, μιας οθόνης εφαρμογής, ενός email ή άλλου ψηφιακού στοιχείου, για να προσδιοριστεί ποια έχει καλύτερη απόδοση σε σχέση με έναν καθορισμένο στόχο, όπως το ποσοστό κλικ, το ποσοστό εγγραφών ή τα έσοδα ανά επισκέπτη. Στην απλούστερη μορφή της, η επισκεψιμότητα χωρίζεται τυχαία σε μια έκδοση ελέγχου (Α) και μια παραλλαγή (Β) και εφαρμόζεται στατιστική ανάλυση στα δεδομένα που προκύπτουν για να αποφασιστεί εάν η παρατηρούμενη διαφορά στην απόδοση είναι ένα πραγματικό αποτέλεσμα ή απλώς το αποτέλεσμα τυχαίας διακύμανσης. Η τεχνική δανείζεται άμεσα από τη μεθοδολογία τυχαιοποιημένων ελεγχόμενων δοκιμών που χρησιμοποιείται στην κλινική έρευνα και την αγροτική επιστήμη, γι' αυτό και οι επαγγελματίες συχνά αναφέρονται σε στατιστική σημαντικότητα, διαστήματα εμπιστοσύνης και υπολογισμούς μεγέθους δείγματος όταν συζητούν τον σχεδιασμό δοκιμών.

Οι δοκιμές A/B έχουν σημασία επειδή αντικαθιστούν την υποκειμενική γνώμη και την εσωτερική συζήτηση με εμπειρικά στοιχεία σχετικά με το πώς συμπεριφέρονται στην πραγματικότητα οι πραγματικοί επισκέπτες. Οι ομάδες σχεδιασμού και μάρκετινγκ συχνά διαφωνούν σχετικά με το ποια επικεφαλίδα, χρώμα κουμπιού, διάταξη ή δομή τιμολόγησης θα μετατρέψει καλύτερα, και η διαίσθηση είναι ένας διαβόητα αναξιόπιστος οδηγός: μελέτες σε ιστότοπους ηλεκτρονικού εμπορίου και SaaS έχουν επανειλημμένα δείξει ότι οι αλλαγές που αναμένεται να βελτιώσουν τα ποσοστά μετατροπών δεν το κάνουν, ή ακόμη και τα μειώνουν, σε περίπου 80 έως 90 τοις εκατό των δοκιμών που εκτελούνται. Εκθέτοντας μια υπόθεση σε ένα ζωντανό κοινό και μετρώντας το αποτέλεσμα απευθείας, οι δοκιμές A/B επιτρέπουν στους οργανισμούς να επικυρώνουν ή να απορρίπτουν ιδέες πριν αφιερώσουν χρόνο μηχανικής, προϋπολογισμό μάρκετινγκ ή κίνδυνο επωνυμίας σε μια πλήρη εφαρμογή.

Η εκτέλεση μιας έγκυρης δοκιμής A/B απαιτεί περισσότερα από τον απλό διαχωρισμό της επισκεψιμότητας και τη σύγκριση του αριθμού των μετατροπών. Οι αναλυτές υπολογίζουν ένα ελάχιστο μέγεθος δείγματος εκ των προτέρων, με βάση το βασικό ποσοστό μετατροπών, το ελάχιστο ανιχνεύσιμο αποτέλεσμα που ενδιαφέρει την επιχείρηση και την επιθυμητή στατιστική ισχύ (συνήθως 80 τοις εκατό) και το επίπεδο σημαντικότητας (συνήθως 95 τοις εκατό ή μια τιμή p κάτω από 0.05). Οι δοκιμές εκτελούνται συνήθως για τουλάχιστον έναν έως δύο πλήρεις επιχειρηματικούς κύκλους, συχνά 14 έως 30 ημέρες, για να ληφθούν υπόψη οι επιδράσεις της ημέρας της εβδομάδας και για να αποφευχθεί η πρόωρη διακοπή σε μια τυχαία διακύμανση, ένα λάθος γνωστό ως peeking. Εργαλεία όπως τα VWO, Optimizely και AB Tasty χειρίζονται την τυχαιοποίηση, την παρακολούθηση και τους στατιστικούς υπολογισμούς, αλλά η ερμηνεία του αποτελέσματος απαιτεί ακόμα την κατανόηση εννοιών όπως η αναντιστοιχία της αναλογίας δειγμάτων και τα φαινόμενα καινοτομίας.

Μια συνηθισμένη εσφαλμένη αντίληψη είναι ότι ένα στατιστικά σημαντικό αποτέλεσμα από μια μεμονωμένη δοκιμή είναι μια μόνιμη, καθολική αλήθεια. Στην πραγματικότητα, τα αποτελέσματα είναι συγκεκριμένα για το τμήμα επισκεψιμότητας, την χρονική περίοδο και το πλαίσιο στο οποίο εκτελέστηκε η δοκιμή και μπορούν να μειωθούν ή να αντιστραφούν καθώς αλλάζουν το κοινό, οι εποχές ή οι ανταγωνιστικές συνθήκες. Μια άλλη συχνή παγίδα είναι η δοκιμή πάρα πολλών μεταβλητών ταυτόχρονα χωρίς επαρκή επισκεψιμότητα, η οποία παράγει δοκιμές χαμηλής ισχύος που αναφέρουν ψευδώς θετικά αποτελέσματα ή δεν επιτυγχάνουν καθόλου σημαντικότητα. Οι δοκιμές πολλαπλών μεταβλητών, οι οποίες εξετάζουν συνδυασμούς πολλών στοιχείων ταυτόχρονα, απαιτούν σημαντικά περισσότερη επισκεψιμότητα από μια απλή δοκιμή A/B δύο παραλλαγών και δεν αποτελούν συντόμευση για τις απαιτήσεις μεγέθους δείγματος.

Μέσα σε ένα CRO ή συμβουλευτικής UX, οι δοκιμές A/B είναι ο μηχανισμός που μετατρέπει την ποιοτική έρευνα, όπως συνεντεύξεις χρηστών, θερμικούς χάρτες και καταγραφές συνεδριών, σε επικυρωμένες αποφάσεις που επηρεάζουν τα έσοδα. Ένα καλά οργανωμένο πρόγραμμα δοκιμών συνήθως ακολουθεί μια δομημένη διαδικασία: εντοπίζει ένα σημείο τριβής μέσω δεδομένων και έρευνας, διαμορφώνει μια συγκεκριμένη υπόθεση σχετικά με το γιατί υπάρχει και πώς να το διορθώσει, ιεραρχεί την ιεράρχησή του έναντι άλλων ιδεών χρησιμοποιώντας ένα πλαίσιο βαθμολόγησης, εκτελεί το πείραμα με στατιστική εγκυρότητα και καταγράφει τη μάθηση ανεξάρτητα από το αν η παραλλαγή κέρδισε ή έχασε. Με την πάροδο του χρόνου, αυτό δημιουργεί έναν οδικό χάρτη βασισμένο σε τεκμήρια που μειώνει τον κίνδυνο δαπανηρών επανασχεδιασμών και χτίζει θεσμική γνώση σχετικά με το τι πραγματικά οδηγεί τη συμπεριφορά των πελατών σε έναν συγκεκριμένο ιστότοπο.