Ομάδα Holdout

Μια ομάδα που δεν συμμετέχει είναι ένα τυχαία επιλεγμένο τμήμα του κοινού που εξαιρείται σκόπιμα από μια αλλαγή, μια καμπάνια ή ένα ολόκληρο πρόγραμμα αλλαγών, έτσι ώστε το σωρευτικό αποτέλεσμα σε αυτήν την ομάδα να μπορεί να συγκριθεί με όλους τους άλλους. Ενώ ένα τυπικό πείραμα συγκρίνει δύο εκδοχές ενός πράγματος για μερικές εβδομάδες, ένα πείραμα που δεν συμμετέχει μετρά τον συνδυασμένο αντίκτυπο πολλών αποφάσεων σε διάστημα μηνών, απαντώντας σε ένα ερώτημα που οι μεμονωμένες δοκιμές δεν μπορούν: όντως όλη αυτή η εργασία ώθησε την επιχείρηση;

Η ανάγκη προκύπτει από ένα πολύ γνωστό λογιστικό πρόβλημα στα προγράμματα βελτιστοποίησης και μάρκετινγκ. Μεμονωμένα πειράματα αναφέρουν μεμονωμένες αυξήσεις και αυτές οι αυξήσεις συνοψίζονται σε ένα ετήσιο ποσό αντίκτυπου που παρουσιάζεται στην ηγεσία. Αλλά το άθροισμα είναι σχεδόν πάντα μεγαλύτερο από την πραγματικότητα, επειδή τα αποτελέσματα της νίκης επικαλύπτονται, αποδυναμώνονται, αλληλεπιδρούν και συχνά υπερεκτιμώνται από την πρόωρη διακοπή ή από την κατάρα του νικητή. Μια μακροχρόνια αναμονή δίνει μια ενιαία, άμεση μέτρηση της συμβολής ολόκληρου του προγράμματος, η οποία είτε επικυρώνει τα αναφερόμενα στοιχεία είτε αποκαλύπτει ένα κενό που χρειάζεται εξήγηση.

Οι αναστολές λαμβάνουν διάφορες μορφές. Μια αναστολή μετά την κυκλοφορία διατηρεί ένα μικρό ποσοστό χρηστών στον έλεγχο μετά την κυκλοφορία μιας νικηφόρας παραλλαγής, έτσι ώστε το αποτέλεσμα να μπορεί να παρακολουθείται για μήνες και να ελέγχεται για φθορά. Μια αναστολή σε επίπεδο προγράμματος αποκλείει ένα ποσοστό χρηστών από κάθε αλλαγή βελτιστοποίησης για ένα τρίμηνο ή περισσότερο. Μια αναστολή μάρκετινγκ καταστέλλει την επαφή της καμπάνιας για ένα τυχαίο υποσύνολο για να μετρήσει την σταδιακή και όχι την αποδιδόμενη απόκριση, η οποία δείχνει τακτικά ότι ένα σημαντικό μερίδιο των πιστωμένων μετατροπών θα είχε συμβεί ούτως ή άλλως. Κάθε απάντηση απαντά σε μια διαφορετική ερώτηση και η καθεμία απαιτεί η αποκλεισμένη ομάδα να επιλέγεται τυχαία και να διατηρείται σταθερή κατά την περίοδο μέτρησης.

Οι παράμετροι σχεδιασμού είναι απαιτητικές. Η ομάδα πρέπει να είναι αρκετά μεγάλη ώστε να ανιχνεύει το αναμενόμενο σωρευτικό αποτέλεσμα, κάτι που είναι συνήθως ευκολότερο από ό,τι για μια μεμονωμένη δοκιμή, επειδή το αποτέλεσμα που μετράται είναι μεγαλύτερο. Η ανάθεση πρέπει να διατηρείται σε όλες τις συνεδρίες, τις συσκευές όπου είναι δυνατόν και τα κανάλια, διαφορετικά η μόλυνση διαβρώνει τη σύγκριση. Ο αποκλεισμός πρέπει να εφαρμόζεται πραγματικά, κάτι που είναι πιο δύσκολο από ό,τι ακούγεται όταν δώδεκα ομάδες μεταφέρουν αλλαγές μέσω διαφορετικών μηχανισμών. Και ο οργανισμός πρέπει να αποδεχτεί το σκόπιμο κόστος της παρακράτησης βελτιώσεων από πραγματικούς πελάτες για μεγάλο χρονικό διάστημα, κάτι που αποτελεί απόφαση διακυβέρνησης και όχι αναλυτική.

Αυτό το κόστος είναι η κύρια αντίρρηση και αξίζει μια ευθεία απάντηση. Η παρακράτηση του πέντε τοις εκατό της επισκεψιμότητας από ένα πρόγραμμα που πραγματικά βελτιώνει τη μετατροπή συνεπάγεται απώλεια ορισμένων εσόδων. Το αντεπιχείρημα είναι ότι χωρίς μια παρακράτηση, κανείς δεν γνωρίζει αν το πρόγραμμα βελτιώνει καθόλου τη μετατροπή και το ποσό που δαπανάται για αυτό είναι συνήθως πολύ μεγαλύτερο από τα διαφυγόντα έσοδα από την αποκλεισμένη ομάδα. Οι οργανισμοί που έχουν εκτελέσει την πρώτη τους παρακράτηση σε επίπεδο προγράμματος συχνά διαπιστώνουν ότι το μετρούμενο αποτέλεσμα είναι ουσιαστικά μικρότερο από τα αθροιστικά αποτελέσματα των δοκιμών, κάτι που είναι άβολο, αλλά είναι ακριβώς η πληροφορία που χρειάζεται για την ορθολογική κατανομή του προϋπολογισμού.

Η εσωτερική συζήτηση σχετικά με μια αναμονή συνήθως προχωρά καλύτερα όταν το κόστος ποσοτικοποιείται και όχι ως αφαίρεση. Εάν το εκτιμώμενο αποτέλεσμα του προγράμματος είναι μια δεδομένη ποσοστιαία βελτίωση, τότε η παρακράτηση του πέντε τοις εκατό της επισκεψιμότητας συνεπάγεται απώλεια πέντε τοις εκατό αυτής της βελτίωσης, η οποία είναι συνήθως ένα μικρό ποσό μπροστά στο κόστος του ίδιου του προγράμματος και ασήμαντα μικρό μπροστά στον κίνδυνο συνέχισης των επενδύσεων σε κάτι του οποίου η συμβολή είναι άγνωστη. Βοηθά επίσης να θεωρηθεί η ομάδα ως ένα συνεχές μέσο μέτρησης και όχι ως στέρηση, καθώς ο ίδιος μηχανισμός υποστηρίζει την παρακολούθηση της φθοράς μετά την έναρξη και παρέχει τη βάση για οποιαδήποτε μεταγενέστερη αξίωση σχετικά με την αξία του προγράμματος. Όπου η παρακράτηση βελτιώσεων εγείρει ανησυχίες για τη δικαιοσύνη, όπως μπορεί να συμβεί σε υπηρεσίες με νομοθετικές ή συμβατικές υποχρεώσεις, η κατάλληλη απάντηση είναι μια μικρότερη ομάδα, μια μικρότερη περίοδος ή ένας γεωγραφικός σχεδιασμός αντί να εγκαταλειφθεί εντελώς η μέτρηση.

Η δημιουργία ενός holdout είναι συνήθως μια από τις πιο σημαντικές συστάσεις σε ένα διαχείριση ανάπτυξης εμπλοκή, επειδή αλλάζει τη βάση πάνω στην οποία κρίνεται ολόκληρο το πρόγραμμα από μια στοίβα μεμονωμένων αναφορών σε ένα μόνο μετρήσιμο αποτέλεσμα. Η εφαρμογή συνήθως απαιτεί την ικανότητα τμηματοποίησης κοινού και ανάλυσης ταυτότητας που διατηρείται από το ανάλυση δεδομένων λειτουργία, καθώς ένα holdout που διαρρέει σε κανάλια ή συσκευές δεν μετρά τίποτα απολύτως αξιόπιστο.