Στατιστική Ισχύς

Η στατιστική ισχύς είναι η πιθανότητα ένα πείραμα να ανιχνεύσει μια γνήσια επίδραση δεδομένου μεγέθους, εάν η επίδραση αυτή υπάρχει όντως. Μια δοκιμή με ισχύ 80%, η πιο ευρέως χρησιμοποιούμενη σύμβαση, θα εντοπίσει σωστά μια πραγματική βελτίωση του καθορισμένου μεγέθους τέσσερις φορές στις πέντε και θα την αποτύχει την υπόλοιπη μία φορά στις πέντε. Η ισχύς είναι το αντίστοιχο του επιπέδου σημαντικότητας: η σημαντικότητα ελέγχει πόσο συχνά η δοκιμή φωνάζει «λύκος», η ισχύς ελέγχει πόσο συχνά δεν παρατηρεί τον λύκο.

Η ισχύς αποφασίζεται εκ των προτέρων, μαζί με το επίπεδο σημαντικότητας, το βασικό ποσοστό μετατροπής και το ελάχιστο ανιχνεύσιμο αποτέλεσμα, και όλα αυτά μαζί καθορίζουν το απαιτούμενο μέγεθος δείγματος. Η αύξηση της απαιτούμενης ισχύος από 80 σε 90 τοις εκατό αυξάνει σημαντικά την απαιτούμενη επισκεψιμότητα, γι' αυτό και το 80 τοις εκατό έχει γίνει το προεπιλεγμένο στις εμπορικές δοκιμές, παρόλο που τα υψηλότερα πρότυπα είναι συνηθισμένα στην κλινική έρευνα. Η επιλογή αυτή αντικατοπτρίζει μια επιχειρηματική αντιστάθμιση μεταξύ του κόστους της απώλειας μιας καλής ιδέας και του κόστους της επισκεψιμότητας που δαπανάται για την αναζήτησή της.

Οι δοκιμές χαμηλής ισχύος είναι το πιο διαδεδομένο και λιγότερο ορατό ελάττωμα στα προγράμματα βελτιστοποίησης. Οι δοκιμές που εκτελούνται για μια σταθερή ημερολογιακή περίοδο και όχι σε ένα υπολογισμένο μέγεθος δείγματος, είναι χαμηλής ισχύος εξ ορισμού κάθε φορά που η επισκεψιμότητα είναι χαμηλότερη από την υποτιθέμενη. Η συνέπεια δεν είναι απλώς η σπατάλη προσπάθειας, αλλά και τα συστηματικά παραπλανητικά συμπεράσματα: ένα πρόγραμμα χαμηλής ισχύος παράγει μια ροή ασαφών αποτελεσμάτων που καταγράφονται ως "καμία επίδραση", κάτι που με την πάροδο του χρόνου δημιουργεί μια ψευδή θεσμική πεποίθηση ότι μια ολόκληρη κατηγορία αλλαγών δεν έχει σημασία. Οι πραγματικές ευκαιρίες εγκαταλείπονται επειδή το όργανο μέτρησης δεν ήταν ποτέ αρκετά ευαίσθητο για να τις δει.

Υπάρχει μια δεύτερη, πιο ύπουλη συνέπεια. Σε ένα πείραμα χαμηλής ισχύος, οποιοδήποτε αποτέλεσμα που φτάνει σε σημαντικότητα πρέπει, αριθμητικά, να δείχνει ένα μεγάλο παρατηρούμενο αποτέλεσμα. Αυτό διογκώνει το φαινομενικό μέγεθος κάθε νίκης που αναφέρει το πρόγραμμα, ένα φαινόμενο που μερικές φορές ονομάζεται κατάρα του νικητή. Ένα πρόγραμμα που εκτελεί δοκιμές χαμηλής ισχύος θα αναφέρει επομένως ένα χαρτοφυλάκιο δραματικών νικών, καμία από τις οποίες δεν αναπαράγεται στο αναφερόμενο μέγεθος όταν τεθεί σε εφαρμογή, και το χάσμα μεταξύ των προβλεπόμενων και των πραγματοποιηθέντων εσόδων είναι αυτό που τελικά καταστρέφει την εμπιστοσύνη στην πρακτική.

Η βελτίωση της ισχύος δεν σημαίνει πάντα ότι πρέπει να περιμένετε περισσότερη επισκεψιμότητα. Η επιλογή μιας μέτρησης υψηλότερης στο funnel με μεγαλύτερο βασικό ρυθμό αυξάνει την ισχύ για τον ίδιο αριθμό επισκεπτών. Η μείωση της διακύμανσης χρησιμοποιώντας μια ανάλυση προσαρμοσμένη στις συνμεταβλητές ή περιορίζοντας τη δοκιμή σε ένα πιο ομοιογενές τμήμα κοινού, μπορεί να μειώσει σημαντικά τον χρόνο εκτέλεσης. Η δοκιμή πιο τολμηρών αλλαγών με μεγαλύτερα αναμενόμενα αποτελέσματα αυξάνει το μέγεθος του αποτελέσματος που πρέπει να ανιχνεύσει η δοκιμή και, ως εκ τούτου, μειώνει την απαίτηση δείγματος. Κάθε μία από αυτές είναι μια απόφαση σχεδιασμού που λαμβάνεται πριν από την κυκλοφορία και η καθεμία είναι πιο παραγωγική από την επέκταση μιας ήδη ασαφούς δοκιμής με την ελπίδα ότι οι αριθμοί θα αλλάξουν.

Η μείωση της απόκλισης αξίζει περισσότερη προσοχή από ό,τι συνήθως, επειδή βελτιώνει την ευαισθησία χωρίς να απαιτεί περισσότερη επισκεψιμότητα. Η καλύτερα καθιερωμένη τεχνική χρησιμοποιεί δεδομένα πριν από το πείραμα για κάθε επισκέπτη, όπως η συμπεριφορά του τις εβδομάδες πριν από τη δοκιμή, ως συνμεταβλητή στην ανάλυση, αφαιρώντας την απόκλιση που δεν έχει καμία σχέση με την επεξεργασία. Όταν ένα σημαντικό ποσοστό της επισκεψιμότητας είναι επισκέπτες που επιστρέφουν με ιστορικό, αυτό μπορεί να μειώσει σημαντικά το απαιτούμενο δείγμα, γεγονός που μειώνει τους χρόνους εκτέλεσης σε ολόκληρο το πρόγραμμα αντί να βελτιώνει μια μεμονωμένη δοκιμή. Η επιλογή μιας λιγότερο μεταβλητής μέτρησης έχει παρόμοιο αποτέλεσμα: η δυαδική μετατροπή είναι λιγότερο θορυβώδης από τα έσοδα ανά επισκέπτη, τα οποία κυριαρχούνται από έναν μικρό αριθμό μεγάλων παραγγελιών, επομένως μια δοκιμή που βασίζεται στη μετατροπή και αναφέρει τα έσοδα ως δευτερεύον μέτρο συχνά καταλήγει σε ένα συμπέρασμα πολύ νωρίτερα από μια που βασίζεται απευθείας στα έσοδα.

Στην πρακτική των συμβουλευτικών υπηρεσιών, η ανάλυση ισχύος είναι το σημείο όπου ένας οδικός χάρτης δοκιμών γίνεται ειλικρινής σχετικά με το τι μπορεί να προσφέρει. Πριν από ένα μετατροπής βελτιστοποίησης επιτόκιο Όταν ξεκινά το πρόγραμμα, ο υπολογισμός της εφικτής ισχύος με την τρέχουσα κίνηση λέει στον πελάτη πόσα πειράματα ανά τρίμηνο είναι ρεαλιστικά και ποιες ερωτήσεις θα χρειαστούν μια εντελώς διαφορετική μέθοδο. Για ιστότοπους όπου η αριθμητική δεν υποστηρίζει έναν συνεχή ρυθμό πειραματισμού, η πιο αποτελεσματική οδός είναι συνήθως η δομημένη έρευνα και η αξιολόγηση από ειδικούς, που παρέχονται μέσω ενός Έλεγχος UX, με τον πειραματισμό να προορίζεται για τον μικρό αριθμό ροών υψηλής επισκεψιμότητας και υψηλής αξίας όπου οι αριθμοί όντως λειτουργούν.