SwitasΕπικοινωνήστε μαζί μας

Κατανόηση των μετρικών και της ορολογίας του A/B testing

Çağdaş Polat · · 5 λεπτά ανάγνωσης

Το A/B testing είναι μια καθοριστική μέθοδος που χρησιμοποιείται για τη βελτιστοποίηση ιστότοπων και εφαρμογών, επιτρέποντας στις επιχειρήσεις να συγκρίνουν δύο εκδοχές μιας ιστοσελίδας ή εφαρμογής ώστε να διαπιστώσουν ποια αποδίδει καλύτερα. Η κατανόηση των βασικών μετρικών και της ορολογίας του A/B testing είναι απαραίτητη για την ακριβή ερμηνεία των αποτελεσμάτων. Σε αυτό το άρθρο θα εξετάσουμε σημαντικές μετρικές και όρους του A/B testing, συμπεριλαμβανομένων των p-value, διαστήματος εμπιστοσύνης, μονόπλευρων και αμφίπλευρων ελέγχων, z-score, observed power, παραλλαγής (variant), ομάδας ελέγχου (control group), αυξητικών εσόδων (incremental revenue), ποσοστού μετατροπής και υπολογισμού Bayes.

Βασικές μετρικές και ορολογία του A/B testing

1. Παραλλαγή (Variant)

Η παραλλαγή (variant) αναφέρεται σε μία από τις εκδοχές που δοκιμάζονται σε ένα A/B test. Συνήθως η υπάρχουσα εκδοχή ονομάζεται control και η νέα εκδοχή είναι η παραλλαγή (variant).

Παράδειγμα: Σε ένα A/B test μιας landing page, η Εκδοχή A (η τρέχουσα σελίδα) είναι το control και η Εκδοχή B (ο νέος σχεδιασμός) είναι η παραλλαγή.

2. Ομάδα ελέγχου (Control Group)

Η ομάδα ελέγχου είναι η ομάδα των χρηστών που εκτίθενται στην αρχική εκδοχή (control) σε ένα A/B test. Λειτουργεί ως βάση αναφοράς για τη σύγκριση της απόδοσης της παραλλαγής.

Παράδειγμα: Αν 10.000 χρήστες επισκεφθούν έναν ιστότοπο, 5.000 μπορεί να δουν τη σελίδα control (ομάδα ελέγχου) και 5.000 να δουν τη σελίδα της παραλλαγής.

 

Incremental-revenue.png
Πηγή: https://getrecast.com/incrementality/

 

3. Αυξητικά έσοδα (Incremental Revenue)

Τα αυξητικά έσοδα αναφέρονται στα πρόσθετα έσοδα που παράγονται ως αποτέλεσμα των αλλαγών που έγιναν κατά τη διάρκεια ενός A/B test. Βοηθούν στην εκτίμηση του οικονομικού αντικτύπου της δοκιμής.

Παράδειγμα: Αν η σελίδα της παραλλαγής αυξήσει τη μέση αξία παραγγελίας κατά 5 $ και πραγματοποιηθούν 1.000 επιπλέον αγορές, τα αυξητικά έσοδα είναι 5.000 $.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Ποσοστό μετατροπής (Conversion Rate)

Το ποσοστό μετατροπής είναι το ποσοστό των χρηστών που ολοκληρώνουν μια επιθυμητή ενέργεια, όπως μια αγορά ή την εγγραφή σε newsletter, επί του συνόλου των επισκεπτών.

Παράδειγμα: Αν 100 από 1.000 επισκέπτες πραγματοποιήσουν αγορά, το ποσοστό μετατροπής είναι 10%.

5. P-Value

Το p-value μετρά την πιθανότητα η παρατηρούμενη διαφορά μεταξύ δύο παραλλαγών να οφείλεται στην τύχη. Μια χαμηλότερη τιμή p-value (συνήθως μικρότερη από 0,05) δείχνει ότι η παρατηρούμενη διαφορά είναι στατιστικά σημαντική.

Παράδειγμα: Ας υποθέσουμε ότι ένα A/B test συγκρίνει δύο εκδοχές μιας landing page. Η Εκδοχή A έχει ποσοστό μετατροπής 5% και η Εκδοχή B έχει ποσοστό μετατροπής 7%. Αν το p-value είναι 0,03, υπάρχει πιθανότητα 3% η παρατηρούμενη διαφορά να οφείλεται στην τύχη, κάτι που υποδεικνύει σημαντική διαφορά μεταξύ των δύο εκδοχών.

 

confidence-interval-formula.jpg

 

6. Διάστημα εμπιστοσύνης (Confidence Interval)

Το διάστημα εμπιστοσύνης παρέχει ένα εύρος εντός του οποίου αναμένεται να βρίσκεται το πραγματικό μέγεθος του αποτελέσματος, με συγκεκριμένο επίπεδο εμπιστοσύνης (συνήθως 95%). Βοηθά στην εκτίμηση της αξιοπιστίας των αποτελεσμάτων της δοκιμής.

Παράδειγμα: Στο ίδιο A/B test, το διάστημα εμπιστοσύνης 95% για τη διαφορά στα ποσοστά μετατροπής μπορεί να είναι [1%, 3%]. Αυτό σημαίνει ότι έχουμε εμπιστοσύνη 95% ότι η πραγματική διαφορά στα ποσοστά μετατροπής βρίσκεται μεταξύ 1% και 3%.

7. Μονόπλευροι και αμφίπλευροι έλεγχοι (One-Sided and Two-Sided Tests)

Ένας μονόπλευρος έλεγχος αξιολογεί την κατεύθυνση του αποτελέσματος (π.χ. αν η Εκδοχή B είναι καλύτερη από την Εκδοχή A), ενώ ένας αμφίπλευρος έλεγχος αξιολογεί αν υπάρχει οποιαδήποτε διαφορά προς οποιαδήποτε κατεύθυνση.

Παράδειγμα μονόπλευρου ελέγχου: Ελέγχει αν το ποσοστό μετατροπής της Εκδοχής B είναι υψηλότερο από αυτό της Εκδοχής A.
Παράδειγμα αμφίπλευρου ελέγχου: Ελέγχει αν υπάρχει οποιαδήποτε διαφορά μεταξύ των ποσοστών μετατροπής της Εκδοχής A και της Εκδοχής B, ανεξάρτητα από την κατεύθυνση.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-Score

Το z-score μετρά πόσες τυπικές αποκλίσεις απέχει ένα στοιχείο από τη μέση τιμή. Στο A/B testing χρησιμοποιείται για τον προσδιορισμό της σημαντικότητας της παρατηρούμενης διαφοράς μεταξύ δύο παραλλαγών. Συνηθισμένα επίπεδα εμπιστοσύνης και οι αντίστοιχες τιμές z-score:

  • Διάστημα εμπιστοσύνης 95%
    • Αμφίπλευρο Z-Score: 1.96
    • Μονόπλευρο Z-Score: 1.65
  • Διάστημα εμπιστοσύνης 99%
    • Αμφίπλευρο Z-Score: 2.58
    • Μονόπλευρο Z-Score: 2.33
  • Διάστημα εμπιστοσύνης 90%
    • Αμφίπλευρο Z-Score: 1.64
    • Μονόπλευρο Z-Score: 1.28

Παράδειγμα: Αν το z-score για τη διαφορά στα ποσοστά μετατροπής μεταξύ της Εκδοχής A και της Εκδοχής B είναι 2,5, αυτό σημαίνει ότι η διαφορά απέχει 2,5 τυπικές αποκλίσεις από τη μέση τιμή, υποδεικνύοντας στατιστικά σημαντική διαφορά.

9. Observed Power

Το observed power αναφέρεται στην πιθανότητα ο έλεγχος να απορρίπτει σωστά τη μηδενική υπόθεση όταν υπάρχει πραγματικό αποτέλεσμα. Υψηλότερο observed power δείχνει μεγαλύτερη πιθανότητα ανίχνευσης μιας πραγματικής διαφοράς.

Παράδειγμα: Σε ένα A/B test με observed power 0,8 (80%), υπάρχει πιθανότητα 80% να ανιχνευθεί μια πραγματική διαφορά μεταξύ των παραλλαγών, εφόσον υπάρχει.

 

bayesian-formula.png
Πηγή: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Υπολογισμός Bayes (Bayesian Calculation)

Ο υπολογισμός Bayes περιλαμβάνει τη χρήση του θεωρήματος του Bayes για την ενημέρωση της εκτίμησης πιθανότητας μιας υπόθεσης καθώς αποκτώνται πρόσθετα στοιχεία. Στο A/B testing παρέχει ένα πιθανοτικό πλαίσιο για τη λήψη αποφάσεων με βάση τα δεδομένα.

Παράδειγμα: Χρησιμοποιώντας μεθόδους Bayes, μπορείτε να προσδιορίσετε την πιθανότητα μία παραλλαγή να είναι καλύτερη από το control δεδομένων των παρατηρούμενων δεδομένων, αντί να βασίζεστε αποκλειστικά στα παραδοσιακά p-values.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Πηγή: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Συχνοτική στατιστική (Frequentist Statistics)

Η συχνοτική στατιστική είναι μια παραδοσιακή προσέγγιση στον έλεγχο υποθέσεων που εστιάζει στη συχνότητα ή την αναλογία των δεδομένων. Βασίζεται σε σταθερά σύνολα δεδομένων και δεν ενσωματώνει προηγούμενη γνώση ή κατανομές πιθανοτήτων.

Παράδειγμα: Σε μια συχνοτική προσέγγιση του A/B testing, θα χρησιμοποιούσατε p-values και διαστήματα εμπιστοσύνης για να προσδιορίσετε τη σημαντικότητα των αποτελεσμάτων της δοκιμής, χωρίς να ενσωματώνετε προηγούμενες πιθανότητες.

Πρακτικά παραδείγματα

Παράδειγμα 1: A/B test email campaign

Μια εταιρεία θέλει να δοκιμάσει δύο θέματα (subject lines) email για να δει ποιο οδηγεί σε υψηλότερα ποσοστά ανοίγματος.

  • Θέμα A: ποσοστό ανοίγματος 25%
  • Θέμα B: ποσοστό ανοίγματος 28%
  • P-Value: 0,02 (υποδεικνύει σημαντική διαφορά)
  • Διάστημα εμπιστοσύνης: [2%, 5%] (εμπιστοσύνη 95% ότι η πραγματική διαφορά στα ποσοστά ανοίγματος βρίσκεται μεταξύ 2% και 5%)
  • Z-Score: 2,33 (υποδεικνύει στατιστικά σημαντική διαφορά)
  • Observed Power: 0,85 (πιθανότητα 85% ανίχνευσης μιας πραγματικής διαφοράς)
Παράδειγμα 2: A/B test landing page ιστότοπου

Ένας ιστότοπος e-commerce δοκιμάζει δύο σχεδιασμούς landing page για να προσδιορίσει ποιος οδηγεί σε περισσότερες αγορές.

  • Σχεδιασμός A: ποσοστό μετατροπής 4%
  • Σχεδιασμός B: ποσοστό μετατροπής 5%
  • P-Value: 0,045 (υποδεικνύει σημαντική διαφορά)
  • Διάστημα εμπιστοσύνης: [0,5%, 1,5%] (εμπιστοσύνη 95% ότι η πραγματική διαφορά στα ποσοστά μετατροπής βρίσκεται μεταξύ 0,5% και 1,5%)
  • Z-Score: 2,01 (υποδεικνύει στατιστικά σημαντική διαφορά)
  • Observed Power: 0,78 (πιθανότητα 78% ανίχνευσης μιας πραγματικής διαφοράς)

Το A/B testing είναι ένα ισχυρό εργαλείο για τη βελτιστοποίηση ψηφιακών εμπειριών, και η κατανόηση των βασικών μετρικών και της ορολογίας του είναι κρίσιμη για την ακριβή ερμηνεία. Η Switas γνωρίζει πώς να διεξάγει αποτελεσματικά A/B tests, διασφαλίζοντας ότι οι επιχειρήσεις μπορούν να λαμβάνουν αποφάσεις βάσει δεδομένων για να βελτιώσουν την απόδοσή τους, και παρέχει αξιόπιστες και εφαρμόσιμες πληροφορίες που οδηγούν στην ανάπτυξη και την επιτυχία.

Σχετικά άρθρα

Όλα τα άρθρα →

Ας χτίσουμε το επόμενο.

Επικοινωνήστε μαζί μας