P-Τιμή

Μια τιμή p είναι η πιθανότητα να παρατηρηθεί ένα αποτέλεσμα τουλάχιστον τόσο ακραίο όσο αυτό που μετρήθηκε, υποθέτοντας ότι η υπό δοκιμή αλλαγή δεν είχε πραγματική επίδραση. Είναι ο αριθμός που αποτελεί τη βάση των περισσότερων ετυμηγοριών σημαντικότητας στα πειράματα μετατροπής: μια τιμή p κάτω από 0.05 αντιμετωπίζεται συμβατικά ως απόδειξη κατά της υπόθεσης μηδενικής επίδρασης και το αποτέλεσμα χαρακτηρίζεται ως σημαντικό στο επίπεδο του 95%.

Ο ορισμός περιέχει μια συνθήκη που συνήθως παραλείπεται στην πράξη και η παράλειψή της προκαλεί το μεγαλύτερο μέρος της σύγχυσης γύρω από την έννοια. Μια τιμή p 0.03 δεν σημαίνει ότι υπάρχει πιθανότητα 3% η αλλαγή να μην είχε κανένα αποτέλεσμα και δεν σημαίνει ότι υπάρχει πιθανότητα 97% η παραλλαγή να είναι καλύτερη. Περιγράφει πόσο εκπληκτικά θα ήταν τα δεδομένα σε έναν κόσμο όπου η αλλαγή δεν έκανε τίποτα. Η μετάφραση αυτού σε μια πιθανότητα σχετικά με την ίδια την υπόθεση απαιτεί πρόσθετες πληροφορίες, συγκεκριμένα πόσο εύλογη ήταν η υπόθεση πριν από τον έλεγχο, κάτι που ακριβώς οι Μπεϋζιανές μέθοδοι κάνουν τις σαφείς και συχνοτικές τιμές p να παραλείπουν.

Αυτό έχει εμπορική σημασία επειδή αλλάζει τον τρόπο με τον οποίο θα πρέπει να σταθμίζονται τα αποτελέσματα. Μια τιμή p 0.04 σε μια καλά αιτιολογημένη υπόθεση που βασίζεται στην παρατηρούμενη συμπεριφορά των χρηστών είναι πολύ ισχυρότερη απόδειξη από την ίδια τιμή p σε μια αυθαίρετη αλλαγή που δοκιμάζεται αυθόρμητα, παρόλο που οι δύο αριθμοί είναι πανομοιότυποι. Τα προγράμματα που δοκιμάζουν μεγάλους όγκους ιδεών χαμηλής ποιότητας θα συσσωρεύσουν σημαντικά αποτελέσματα περίπου με τον ρυθμό που υποδηλώνει το όριο, μία στις είκοσι μόνο τυχαία, και στη συνέχεια θα δυσκολευτούν να κατανοήσουν γιατί ο συνολικός επιχειρηματικός τους αντίκτυπος δεν ταιριάζει με το άθροισμα των αναφερόμενων νικών τους.

Το ίδιο το όριο του 0.05 δεν έχει καμία επιστημονική βάση. Πρόκειται για μια σύμβαση που κληρονομήθηκε από την στατιστική πρακτική των αρχών του εικοστού αιώνα και υιοθετήθηκε μαζικά από τη βιομηχανία βελτιστοποίησης. Η αντιμετώπισή της ως μια φωτεινή γραμμή ενθαρρύνει ένα συγκεκριμένο είδος κακής συλλογιστικής όπου μια τιμή p 0.049 είναι μια νίκη και το 0.051 είναι μια αποτυχία, όταν τα δύο αποτελέσματα είναι πρακτικά πανομοιότυπα. Καλύτερη πρακτική είναι να αναφέρεται η τιμή p μαζί με το μέγεθος του αποτελέσματος και το διάστημα εμπιστοσύνης και να αφήνεται η απόφαση να αντικατοπτρίζει την πλήρη εικόνα, συμπεριλαμβανομένου του κόστους της αλλαγής και των συνεπειών του λάθους.

Αρκετές συνήθεις πρακτικές διογκώνουν τις τιμές p με τρόπους που είναι αόρατοι στην τελική αναφορά. Ο επανειλημμένος έλεγχος των αποτελεσμάτων και η διακοπή όταν ξεπεραστεί το όριο αυξάνει δραματικά το πραγματικό ποσοστό ψευδώς θετικών αποτελεσμάτων. Η δοκιμή πολλών μετρήσεων και η αναφορά αυτής που έφτασε σε σημαντικότητα κάνει το ίδιο. Η τεμαχισμός σε τμήματα αφού δείτε τα σύνολα είναι πάλι το ίδιο σφάλμα, σε μεγαλύτερη κλίμακα. Υπάρχουν μέθοδοι διόρθωσης για πολλαπλές συγκρίσεις και υπάρχουν σχέδια διαδοχικών δοκιμών για συνεχή παρακολούθηση, αλλά η πιο αξιόπιστη προστασία είναι ένα προ-εγγεγραμμένο σχέδιο ανάλυσης που διορθώνει την κύρια μέτρηση, τα τμήματα και τον κανόνα διακοπής πριν από την άφιξη οποιωνδήποτε δεδομένων.

Η εξέταση της κατανομής των τιμών p σε όλο το ιστορικό ενός προγράμματος είναι μια αποκαλυπτική διάγνωση που λίγες ομάδες εκτελούν. Εάν τα πειράματα εκτελούνταν και αναλύονταν σωστά, και εάν οι περισσότερες δοκιμασμένες ιδέες δεν είχαν πραγματικό αποτέλεσμα, οι τιμές p σε όλο το χαρτοφυλάκιο θα ήταν περίπου ομοιόμορφα κατανεμημένες, με περίπου μία στις είκοσι να πέφτει κάτω από το συμβατικό όριο. Μια κατανομή που συγκεντρώνεται σε μεγάλο βαθμό ακριβώς κάτω από το όριο αποτελεί ισχυρή ένδειξη κανόνων διακοπής που καθορίζονται από τους αριθμούς και όχι από το σχέδιο, καθώς οι δοκιμές σταματούν τη στιγμή που διασχίζουν μια γραμμή και συσσωρεύονται ακριβώς σε αυτήν τη γραμμή. Η ανασκόπηση ενός έτους προηγούμενων πειραμάτων με αυτόν τον τρόπο κοστίζει μερικές ώρες και συχνά εξηγεί μια απόκλιση που έχει προβληματίσει μια επιχείρηση για πολύ περισσότερο καιρό, δηλαδή γιατί ένα χαρτοφυλάκιο αναφερόμενων νικών δεν έχει αλλάξει τις μετρήσεις που παρακολουθεί στην πραγματικότητα η ηγεσία.

Για μια συμβουλευτική εταιρεία, η χρήσιμη συνεισφορά συνήθως δεν αφορά τόσο τον σωστό υπολογισμό των τιμών p, κάτι που κάνει αυτόματα κάθε πλατφόρμα δοκιμών, όσο περισσότερο τον έλεγχο του τρόπου χρήσης τους. A Υπηρεσία CRO Η δέσμευση συνήθως καθιερώνει ένα γραπτό πρωτόκολλο ανάλυσης, ορίζει πρωτεύουσες και δευτερεύουσες μετρήσεις ανά πείραμα και αναφέρει τα αποτελέσματα σε μια συνεπή μορφή που περιλαμβάνει το μέγεθος και το διάστημα της επίδρασης αντί για μια μεμονωμένη ετυμηγορία. Σε μεγαλύτερους οργανισμούς, αυτό το πρωτόκολλο γίνεται μέρος του τρόπου με τον οποίο ανάλυση δεδομένων Η συνάρτηση πιστοποιεί τα αποτελέσματα πριν αυτά αναφερθούν στις αναφορές του διοικητικού συμβουλίου, γεγονός που εμποδίζει ένα χαρτοφυλάκιο στατιστικά εύθραυστων νικών να παρουσιαστεί ως αξιόπιστη πρόβλεψη εσόδων.