Ελάχιστη Ανιχνεύσιμη Επίδραση (MDE)

Το ελάχιστο ανιχνεύσιμο αποτέλεσμα, συνήθως συντομογραφούμενο ως MDE, είναι η μικρότερη αλλαγή σε μια μέτρηση που ένα πείραμα έχει σχεδιαστεί για να ανιχνεύει αξιόπιστα. Ορίζεται πριν από την έναρξη μιας δοκιμής και αποτελεί άμεση εισαγωγή στον υπολογισμό του μεγέθους του δείγματος. Ένα πείραμα με MDE 10% έχει σχεδιαστεί για να εντοπίζει βελτιώσεις 10% ή μεγαλύτερες με το καθορισμένο επίπεδο εμπιστοσύνης και ισχύος. Οι μικρότερες γνήσιες βελτιώσεις συχνά δεν θα εντοπίζονται από αυτήν τη δοκιμή, εμφανιζόμενες ως ασαφή αποτελέσματα και όχι ως νίκες.

Η MDE συχνά παρερμηνεύεται ως πρόβλεψη για το πόσο μια παραλλαγή θα βελτιώσει τη μετατροπή. Δεν είναι πρόβλεψη. Είναι μια ρύθμιση ευαισθησίας, με την ίδια έννοια που μια κλίμακα έχει την ελάχιστη μετρήσιμη αύξηση. Ο καθορισμός της δεν καθιστά ένα αποτέλεσμα περισσότερο ή λιγότερο πιθανό να συμβεί. καθορίζει εάν το πείραμα έχει αρκετή ανάλυση για να δει το αποτέλεσμα, εάν υπάρχει. Η σύγχυση των δύο οδηγεί σε μια οικεία κακή συζήτηση μετά την ολοκλήρωση μιας δοκιμής, όπου μια ομάδα υποστηρίζει ότι η παραλλαγή «θα έπρεπε να είχε κερδίσει» επειδή η MDE είχε οριστεί στο 15%, ενώ στην πραγματικότητα η MDE περιέγραφε μόνο αυτό που μπορούσε να δει η δοκιμή.

Ο σωστός τρόπος για να ορίσετε το MDE είναι εμπορικός, όχι στατιστικός. Το ερώτημα είναι ποιο μέγεθος βελτίωσης θα δικαιολογούσε το κόστος κατασκευής, αποστολής και συντήρησης της αλλαγής, συν το κόστος ευκαιρίας της επισκεψιμότητας που δαπανήθηκε για τη μέτρησή της. Σε μια φόρμα υψηλού όγκου αγορών, μια σχετική αύξηση 2% μπορεί να αξίζει ένα σημαντικό ετήσιο ποσό και επομένως να αξίζει μια μακρά δοκιμή. Σε μια φόρμα επικοινωνίας χαμηλής επισκεψιμότητας, μια βελτίωση κάτω από το 20% μπορεί να μην αξίζει καθόλου να ανιχνευθεί, επειδή ο απόλυτος αριθμός πρόσθετων υποψήφιων πελατών είναι αμελητέος. Η αντίστροφη εργασία από την επιχειρηματική αξία διατηρεί τον χάρτη πορείας δοκιμών αγκυροβολημένο στα αποτελέσματα και όχι στην στατιστική ευκολία.

Υπάρχει μια αναπόφευκτη ένταση μεταξύ ενός φιλόδοξου MDE και της επισκεψιμότητας που έχει στην πραγματικότητα ένας ιστότοπος. Οι ομάδες που βρίσκονται υπό πίεση να δείξουν αποτελέσματα συχνά το επιλύουν προς τη λάθος κατεύθυνση, αυξάνοντας σιωπηλά το MDE μέχρι ο υπολογισμός του μεγέθους του δείγματος να επιστρέψει έναν άνετο αριθμό ημερών. Αυτό παράγει πειράματα που είναι τεχνικά έγκυρα αλλά πρακτικά άχρηστα: είναι ικανά μόνο να ανιχνεύσουν φαινόμενα τόσο μεγάλα που θα ήταν προφανή χωρίς δοκιμές. Η ειλικρινής εναλλακτική λύση είναι να αποδεχτούμε ότι ορισμένα ερωτήματα δεν μπορούν να απαντηθούν με πειραματισμό στο τρέχον επίπεδο επισκεψιμότητας και να τα κατευθύνουμε σε άλλες μεθόδους, όπως δοκιμές χρηστικότητας, έρευνα αναλυτικών στοιχείων ή αξιολόγηση από ειδικούς.

Το MDE διαμορφώνει επίσης τον σχεδιασμό της ίδιας της παραλλαγής. Εάν μια δοκιμή χρειάζεται να ανιχνεύσει βελτίωση 15% για να αξίζει να εκτελεστεί, μια ανεπαίσθητη αλλαγή στο κείμενο του κουμπιού είναι απίθανο να ξεπεράσει αυτό το όριο και η ομάδα εξυπηρετείται καλύτερα δοκιμάζοντας μια ουσιαστικά διαφορετική προσέγγιση στη σελίδα: μια αναδιαρθρωμένη πρόταση αξίας, ένα διαφορετικό μήκος φόρμας, μια αλλαγμένη παρουσίαση τιμολόγησης. Αυτός είναι ο λόγος για τον οποίο τα προγράμματα με περιορισμένη επισκεψιμότητα τείνουν να παράγουν πιο ενδιαφέρον έργο από τα προγράμματα με απεριόριστη επισκεψιμότητα, τα οποία έχουν την οικονομική δυνατότητα να δοκιμάσουν ασήμαντες πληροφορίες.

Μια επαναλαμβανόμενη πηγή σύγχυσης είναι το αν το αποτέλεσμα εκφράζεται σε σχετικούς ή απόλυτους όρους, και η διαφορά δεν είναι ασήμαντη. Σε ένα βασικό ποσοστό μετατροπής δύο τοις εκατό, μια σχετική βελτίωση δέκα τοις εκατό σημαίνει μετάβαση στο 2.2 τοις εκατό, μια απόλυτη αλλαγή 0.2 ποσοστιαίων μονάδων. Μια απόλυτη βελτίωση δέκα τοις εκατό θα σήμαινε μετάβαση στο δώδεκα τοις εκατό, την οποία δεν παράγει καμία ρεαλιστική αλλαγή. Οι υπολογιστές μεγέθους δείγματος, οι πλατφόρμες δοκιμών και τα ενδιαφερόμενα μέρη συχνά εναλλάσσονται μεταξύ των δύο συμβάσεων χωρίς να το αναφέρουν, και ένα σχέδιο που βασίζεται σε λανθασμένη ανάγνωση είτε θα καθορίσει ένα πείραμα που δεν μπορεί να ολοκληρωθεί είτε ένα που είναι υπερβολικά ισχυρό. Η ρητή αναφορά της σύμβασης σε κάθε σχέδιο δοκιμών, μαζί με το βασικό επίπεδο και το προκύπτον απόλυτο νούμερο, εξαλείφει μια ασάφεια που διαφορετικά επανεμφανίζεται κάθε φορά που συζητούνται αποτελέσματα με άτομα εκτός της λειτουργίας ανάλυσης.

Στην πράξη, οι αποφάσεις MDE λαμβάνονται συλλογικά κατά τον σχεδιασμό του οδικού χάρτη και όχι από έναν αναλυτή που εργάζεται μόνος του. A Υπηρεσία CRO Η δέσμευση συνήθως καταγράφει, για κάθε προγραμματισμένο πείραμα, τον βασικό ρυθμό, το MDE, το μέγεθος του δείγματος που προκύπτει και τον εκτιμώμενο χρόνο εκτέλεσης, έτσι ώστε τα ενδιαφερόμενα μέρη να μπορούν να δουν το κόστος κάθε ερώτησης πριν δεσμευτούν σε αυτήν. Για τους οργανισμούς που εκτελούν πειράματα σε πολλά ακίνητα ή αγορές, αυτή η τεκμηρίωση αποτρέπει επίσης το συνηθισμένο σφάλμα της εφαρμογής μιας ενιαίας σύμβασης MDE σε ιστότοπους με ριζικά διαφορετικά προφίλ επισκεψιμότητας, ένα μοτίβο που παρατηρείται συχνά σε επιχείρηση προγράμματα όπου ένα κεντρικό πρότυπο μετατίθεται σε ομάδες των οποίων η κίνηση δεν μπορεί να το υποστηρίξει.