Μετρικό κιγκλίδωμα

Μια μέτρηση guardrail είναι ένα μέτρο που παρακολουθείται κατά τη διάρκεια ενός πειράματος, όχι για να προσδιοριστεί εάν η παραλλαγή κερδίζει, αλλά για να εντοπιστεί εάν προκαλεί απαράδεκτη ζημιά κάπου αλλού. Η κύρια μέτρηση απαντά στην ερώτηση που σχεδιάστηκε να θέσει η δοκιμή. Τα guardrails απαντούν στην ερώτηση που κανείς δεν έθεσε, αλλά όλοι θα έπρεπε. Ένα πείραμα ολοκλήρωσης αγοράς που βελτιστοποιεί τις ολοκληρωμένες παραγγελίες μπορεί να έχει guardrails σχετικά με τη μέση αξία παραγγελίας, το ποσοστό επιστροφών, τις επαφές εξυπηρέτησης πελατών, τον χρόνο φόρτωσης σελίδας και το ποσοστό σφάλματος, οποιοδήποτε από τα οποία θα μπορούσε να επιδεινωθεί με τρόπο που να καθιστά μια ονομαστική νίκη εμπορικά αρνητική.

Τα προστατευτικά κιγκλιδώματα υπάρχουν επειδή η βελτιστοποίηση δημιουργεί ισχυρά κίνητρα για τη μετακίνηση ενός αριθμού και σχεδόν οποιοσδήποτε αριθμός μπορεί να μετακινηθεί εις βάρος ενός άλλου. Η αφαίρεση των πληροφοριών κόστους αποστολής από μια σελίδα προϊόντος μπορεί να αυξήσει το ποσοστό προσθήκης στο καλάθι αγορών, ενώ παράλληλα αυξάνει περαιτέρω την εγκατάλειψη του καλαθιού αγορών. Τα επιθετικά μηνύματα επείγοντος μπορούν να αυξήσουν την άμεση μετατροπή, ενώ παράλληλα βλάπτουν την εμπιστοσύνη και αυξάνουν τις επιστροφές χρημάτων. Η απλοποίηση μιας φόρμας με την αφαίρεση των κατάλληλων ερωτήσεων μπορεί να αυξήσει τον όγκο των υποψήφιων πελατών, ενώ παράλληλα μειώνει την ποιότητα των υποψήφιων πελατών τόσο πολύ που η παραγωγή πωλήσεων μειώνεται. Σε κάθε περίπτωση, η κύρια μέτρηση βελτιώνεται και η επιχείρηση χειροτερεύει, και μόνο ένα προστατευτικό κιγκλίδωμα το εντοπίζει.

Τα αποτελεσματικά προστατευτικά κιγκλιδώματα επιλέγονται σκόπιμα ανά πείραμα αντί να εφαρμόζονται ως γενική λίστα, αν και ένα σταθερό σύνολο είναι χρήσιμο ως βάση. Το σταθερό σύνολο συνήθως καλύπτει την τεχνική εύρυθμη λειτουργία, συμπεριλαμβανομένων των ποσοστών σφάλματος και της απόδοσης της σελίδας, και την εύρυθμη λειτουργία της επιχείρησης, συμπεριλαμβανομένων των εσόδων ανά επισκέπτη και της αξίας παραγγελίας. Τα προστατευτικά κιγκλιδώματα ειδικά για κάθε δοκιμή καλύπτουν τους πιθανούς τρόπους με τους οποίους αυτή η συγκεκριμένη αλλαγή θα μπορούσε να προκαλέσει βλάβη, ένα ερώτημα που απαντάται καλύτερα από άτομα που κατανοούν τις συνέπειες κατά τη διάρκεια των δοκιμών: εξυπηρέτηση πελατών, εκπλήρωση παραγγελιών, πωλήσεις και οικονομικά, κανένας από τους οποίους συνήθως δεν συμβουλεύεται κατά τον σχεδιασμό των δοκιμών.

Τα προστατευτικά κιγκλιδώματα αναλύονται διαφορετικά από τις κύριες μετρήσεις. Η κύρια μέτρηση ελέγχεται για σημαντική βελτίωση. Τα προστατευτικά κιγκλιδώματα ελέγχονται για την απουσία σημαντικής βλάβης, η οποία είναι ένα ζήτημα μη κατωτερότητας και όχι ανωτερότητας. Στην πράξη, οι ομάδες ορίζουν εκ των προτέρων μια ανοχή, όπως όχι περισσότερο από ένα τοις εκατό σχετική μείωση στη μέση τιμή παραγγελίας, και αντιμετωπίζουν μια παραβίαση ως λόγο απόρριψης της παραλλαγής ανεξάρτητα από το κύριο αποτέλεσμα. Επειδή ελέγχονται πολλά προστατευτικά κιγκλιδώματα ταυτόχρονα, είναι λογικό να υπάρχει κάποια ανοχή για πολλαπλές συγκρίσεις, διαφορετικά ένα μεγάλο σύνολο προστατευτικών κιγκλιδωμάτων θα επισημαίνει περιστασιακά τυχαία βλάβη.

Ορισμένα προστατευτικά κιγκλιδώματα δεν μπορούν να μετρηθούν καθόλου εντός του παραθύρου δοκιμής. Τα ποσοστά επιστροφών, η απώλεια συνδρομών, η επαναλαμβανόμενη αγορά και η αξία διάρκειας ζωής επιλύονται εβδομάδες ή μήνες μετά το τέλος του πειράματος. Αυτά απαιτούν μια αναβολή μετά την κυκλοφορία ή μια καθυστερημένη ανάλυση παρακολούθησης και το γεγονός ότι δεν μπορούν να αξιολογηθούν άμεσα είναι ένας λόγος για να είμαστε πιο προσεκτικοί σχετικά με την κατηγορία των αλλαγών που τα επηρεάζουν εύλογα, όχι ένας λόγος για να τα αγνοήσουμε.

Ο καθορισμός της ανοχής απαιτεί μια σαφή συζήτηση σχετικά με το μέγεθος της βλάβης που θα ήταν απαράδεκτη, και αυτή η συζήτηση είναι ευκολότερη όταν διατυπώνεται με εμπορικούς παρά με στατιστικούς όρους. Μια μείωση κατά ένα τοις εκατό στη μέση αξία παραγγελίας σε μια μεγάλη βάση εσόδων μπορεί να κοστίσει περισσότερο από τα κέρδη βελτίωσης μετατροπής, και η δήλωση και των δύο σε νόμισμα καθιστά την ανταλλαγή προφανή σε όλους τους παρευρισκόμενους. Ο αυτοματισμός είναι αυτό που καθιστά τα προστατευτικά κιγκλιδώματα αποτελεσματικά στην πράξη: μια χειροκίνητη αναθεώρηση στο τέλος μιας δοκιμής είναι πολύ αργά για μια παραλλαγή που έχει βλάψει τα έσοδα για τρεις εβδομάδες, επομένως η χρήσιμη ρύθμιση είναι η συνεχής παρακολούθηση σε ένα μικρό σύνολο κρίσιμων μέτρων, με τα όρια ειδοποίησης να ορίζονται αρκετά χαλαρά ώστε να αποφεύγονται οι συνεχείς ψευδείς συναγερμοί και μια συμφωνημένη πορεία κλιμάκωσης όταν ενεργοποιείται κάποιος. Η ειδοποίηση θα πρέπει να φτάσει σε κάποιον που έχει την εξουσία να διακόψει αμέσως τη δοκιμή.

Ο ορισμός των κιγκλιδωμάτων είναι ένα από τα πιο ξεκάθαρα σημεία όπου οι εργασίες βελτιστοποίησης πρέπει να συνδέονται με την υπόλοιπη επιχείρηση και όχι να λειτουργούν ως μεμονωμένη ειδικότητα. A Υπηρεσία CRO Η εμπλοκή συνήθως καθορίζει το σύνολο των μόνιμων προστατευτικών κιγκλιδωμάτων κατά τη διάρκεια της εγκατάστασης και επανεξετάζει τα συγκεκριμένα για τη δοκιμή κιγκλιδώματα σε κάθε συνεδρία ιεράρχησης προτεραιοτήτων με τη συμβολή των επιχειρησιακών ενδιαφερόμενων μερών. e-commerce Σε αυτά τα περιβάλλοντα, η σύνδεση με την εκπλήρωση και τις αποδόσεις είναι ιδιαίτερα σημαντική, επειδή τα πιο δελεαστικά κέρδη μετατροπής είναι συχνά αυτά που ωθούν το κόστος στην εφοδιαστική αλυσίδα, εκεί που η ομάδα βελτιστοποίησης δεν το βλέπει ποτέ.