Ταχύτητα πειράματος

Η ταχύτητα πειράματος είναι ο ρυθμός με τον οποίο ένας οργανισμός ολοκληρώνει έγκυρα πειράματα, που συνήθως εκφράζεται ως δοκιμές που ολοκληρώνονται ανά μήνα ή ανά τρίμηνο. Είναι ένας από τους ισχυρότερους προγνωστικούς παράγοντες για το πόση αξία παράγει ένα πρόγραμμα δοκιμών, για έναν απλό λόγο: εάν μόνο μια μειοψηφία πειραμάτων παράγει μια ουσιαστική βελτίωση, τότε ο αριθμός των βελτιώσεων που διαπιστώνονται είναι σε μεγάλο βαθμό συνάρτηση του αριθμού των πειραμάτων που εκτελούνται. Ο διπλασιασμός του ρυθμού μάθησης, με όλες τις άλλες παραμέτρους σταθερές, διπλασιάζει περίπου το φαινόμενο σύνθετης μάθησης στις μετρήσεις που έχουν σημασία.

Η ταχύτητα περιορίζεται από τρεις ξεχωριστούς περιορισμούς και ο προσδιορισμός του ενός από αυτούς είναι το πρώτο βήμα για τη βελτίωσή της. Η επισκεψιμότητα θέτει ένα αυστηρό στατιστικό όριο: ένας ιστότοπος δεν μπορεί να εκτελεί περισσότερες ταυτόχρονες, επαρκώς τροφοδοτούμενες δοκιμές από όσες υποστηρίζει ο όγκος του. Η παραγωγική ικανότητα καλύπτει την παραγωγή ιδεών, τον σχεδιασμό, την κατασκευή και τη διασφάλιση ποιότητας και είναι συνήθως ο δεσμευτικός περιορισμός σε οργανισμούς όπου κάθε δοκιμή απαιτεί μηχανική εργασία. Η διαδικασία καλύπτει τους κύκλους έγκρισης, την αξιολόγηση των ενδιαφερόμενων μερών, την νομική έγκριση ή την έγκριση της επωνυμίας και την ολοκλήρωση της ανάλυσης και είναι συχνά το μεγαλύτερο κρυφό κόστος, με τις δοκιμές να παραμένουν αδρανείς σε ουρές για περισσότερο χρόνο από ό,τι ξοδεύουν για τη συλλογή δεδομένων.

Η αύξηση της ταχύτητας μέσω της μείωσης των προτύπων είναι αυτοκαταστροφική και δυστυχώς συνηθισμένη. Η μείωση των χρόνων εκτέλεσης κάτω από έναν πλήρη επιχειρηματικό κύκλο, η παράλειψη του υπολογισμού του μεγέθους του δείγματος, η εγκατάλειψη της διασφάλισης ποιότητας, η δοκιμή ό,τι είναι εύκολο αντί για αυτό που είναι σημαντικό και η διακοπή των δοκιμών με το πρώτο σημάδι σημασίας αυξάνουν τον αριθμό των ολοκληρωμένων πειραμάτων, ενώ μειώνουν τον αριθμό των πραγματικών ευρημάτων. Ένα πρόγραμμα που αναφέρει σαράντα δοκιμές ανά τρίμηνο με αναξιόπιστη μεθοδολογία παράγει λιγότερη αξία από ένα πρόγραμμα που αναφέρει δώδεκα δοκιμές που έχουν διεξαχθεί σωστά και προκαλεί μεγαλύτερη οργανωτική σύγχυση επειδή τα αποτελέσματά του αντιφάσκουν μεταξύ τους.

Οι παραγωγικοί μοχλοί αφορούν κυρίως την εξάλειψη του χρόνου αναμονής και όχι τη συμπίεση των ίδιων των δοκιμών. Διατήρηση ενός ιεραρχημένου ανεκτέλεστου όγκου ιδεών έτοιμων προς κατασκευή, ώστε η χωρητικότητα να μην μένει ποτέ αδρανής. Δημιουργία μιας επαναχρησιμοποιήσιμης βιβλιοθήκης στοιχείων και προτύπων δοκιμών, ώστε να μειώνεται ο χρόνος κατασκευής. Συμφωνία για μόνιμη έγκριση για μια καθορισμένη κατηγορία πειραμάτων χαμηλού κινδύνου, ώστε το καθένα να μην απαιτεί νέα έγκριση. Εκτέλεση μη επικαλυπτόμενων δοκιμών ταυτόχρονα σε διαφορετικές περιοχές του ιστότοπου. Αυτοματοποίηση της ανάλυσης και της αναφοράς, ώστε τα αποτελέσματα να είναι διαθέσιμα την ημέρα ολοκλήρωσης της δοκιμής και όχι δύο εβδομάδες αργότερα. Κανένα από αυτά δεν θέτει σε κίνδυνο την αυστηρότητα. Όλα αυτά μειώνουν τον ημερολογιακό χρόνο μεταξύ του ενός πειράματος και του επόμενου.

Η ταχύτητα θα πρέπει επίσης να διαβάζεται παράλληλα με τα μέτρα ποιότητας και όχι μεμονωμένα. Χρήσιμα συνοδευτικά στοιχεία περιλαμβάνουν το ποσοστό των δοκιμών που καταλήγουν σε έγκυρο συμπέρασμα αντί να εγκαταλείπονται, το ποσοστό που παράγει μια τεκμηριωμένη μάθηση ανεξάρτητα από το αποτέλεσμα, το μερίδιο των πειραμάτων που αφορούν σελίδες ή ροές υψηλής αξίας και το μετρούμενο σωρευτικό αποτέλεσμα του προγράμματος μέσω ενός holdout. Ένας πίνακας ελέγχου που δείχνει μόνο την ταχύτητα θα βελτιστοποιηθεί, όπως ήταν αναμενόμενο, με την εκτέλεση πιο απλών δοκιμών.

Η ταυτόχρονη εκτέλεση απαιτεί ιδιαίτερη προσοχή, επειδή είναι ο μοχλός που εφαρμόζεται συχνότερα απρόσεκτα. Η εκτέλεση αρκετών πειραμάτων ταυτόχρονα πολλαπλασιάζει την απόδοση όταν οι δοκιμές επηρεάζουν άσχετα μέρη της εμπειρίας και δημιουργεί μη ερμηνεύσιμα αποτελέσματα όταν επικαλύπτονται. Οι πρακτικοί κανόνες είναι να αντιστοιχίζεται κάθε δοκιμή στα βήματα της διοχέτευσης και στο κοινό που αγγίζει, να αποφεύγεται η εκτέλεση δύο δοκιμών που τροποποιούν το ίδιο βήμα ταυτόχρονα και να ελέγχονται για εφέ αλληλεπίδρασης όταν οι δοκιμές είναι γειτονικές αντί να υποτίθεται ότι είναι ανεξάρτητες. Ορισμένοι οργανισμοί επιλύουν αυτό το πρόβλημα διατηρώντας ένα κοινόχρηστο ημερολόγιο ενεργών πειραμάτων με τις επηρεαζόμενες περιοχές να καταγράφονται, κάτι που δεν είναι εντυπωσιακό αλλά αποτρέπει τη συνηθισμένη κατάσταση όπου δύο ομάδες δοκιμάζουν εν αγνοία τους αντικρουόμενες αλλαγές στην ίδια σελίδα και και οι δύο αναφέρουν ασαφή αποτελέσματα χωρίς να κατανοούν το γιατί.

Για τους περισσότερους οργανισμούς, η ταχύτερη οδός για υψηλότερη ταχύτητα δεν είναι ένα νέο εργαλείο, αλλά ένα σαφέστερο λειτουργικό μοντέλο: ποιος παράγει ιδέες, ποιος θέτει προτεραιότητες, ποιος κατασκευάζει, ποιος εγκρίνει και πόσο χρόνο επιτρέπεται να διαρκέσει κάθε βήμα. Η καθιέρωση αυτού του μοντέλου είναι ένα φυσιολογικό μέρος ενός... διαχείριση ανάπτυξης η εμπλοκή και ο ρυθμός που προκύπτει συνήθως εξαρτάται από την ύπαρξη αρκετών προετοιμασμένων, καλά τεκμηριωμένων υποθέσεων για να διατηρηθεί η ροή γεμάτη, όπου η συνεχής έρευνα χρηστών κερδίζει τη θέση του ως εισροή στον οδικό χάρτη δοκιμών και όχι ως περιστασιακό ξεχωριστό έργο.