Κατατάξτε το CRO σας σε εκκρεμότητα όταν οι ICE, PIE, PXL και RICE διαφωνούν

Κατατάξτε το CRO σας σε εκκρεμότητα όταν οι ICE, PIE, PXL και RICE διαφωνούν

Μόνο περίπου το ένα τρίτο των ιδεών που δοκιμάστηκαν στην πλατφόρμα πειραματισμού της Microsoft βελτίωσαν τη μέτρηση για την οποία είχαν σχεδιαστεί, και το Netflix έχει φέρει το δικό του ποσοστό επιτυχίας πιο κοντά στο ένα στις δέκα (Κοχάβι και Λόνγκμποταμ, 2015). Εάν το μεγαλύτερο μέρος του ανεκτέλεστου αρχείου σας είναι λανθασμένο, η σειρά με την οποία το δοκιμάζετε αποτελεί το μεγαλύτερο μέρος της απόδοσης που θα λάβετε. Αυτός ο οδηγός απευθύνεται σε υποψήφιους πελάτες CRO και κατόχους προϊόντων που έχουν ήδη περισσότερες ιδέες δοκιμών από ό,τι επισκεψιμότητα. Βαθμολογούμε τις ίδιες τρεις ιδέες με ICE, PIE, PXL και RICE, δείχνουμε γιατί οι τέσσερις τάξεις κατάταξης διαφωνούν, δίνουμε έναν κανόνα για την επιλογή μεταξύ τους και προσθέτουμε την πύλη που λείπει και στις τέσσερις: εάν μια δοκιμή μπορεί να φτάσει σε σημαντικότητα πριν από το τέλος του τριμήνου.

Σε τι στοιχηματίζει στην πραγματικότητα κάθε πλαίσιο

Και τα τέσσερα παράγουν έναν αριθμό και κανένα δεν μετρά το ίδιο πράγμα. Καθένα από αυτά δεν είναι τόσο ένα σύστημα βαθμολόγησης όσο μια συμπυκνωμένη άποψη για το τι κάνει ένα τεστ άξιο διεξαγωγής.

ΠλαίσιοΕίσοδοιΤύποςΠροέλευσηΤο στοίχημα που κωδικοποιεί
ICEΕπίδραση, Εμπιστοσύνη, Ευκολία, κάθε 1 έως 10Ι × Γ × ΕΣον Έλλις, σύμβουλος ανάπτυξηςΗ έμπειρη κρίση είναι το φθηνότερο σημάδι
PIEΔυναμικό, Σημασία, Ευκολία, κάθε 1 έως 10Μέσος όρος των τριώνΚρις Γκόουαρντ, WiderFunnel (τώρα Μετατροπή)Το πού δοκιμάζετε έχει μεγαλύτερη σημασία από το τι αλλάζετε
PXL~9 ερωτήσεις κυρίως δυαδικού τύπου, μερικές με στάθμιση 0 ή 2Άθροισμα, από ένα σταθερό μέγιστοPeep Laja, CXL, 27 Σεπτεμβρίου 2016Τα στοιχεία πίσω από μια ιδέα υπερτερούν της εμπιστοσύνης σε αυτήν
ΡΥΖΙΕμβέλεια (άτομα ανά περίοδο), Αντίκτυπος (0.25 έως 3), Εμπιστοσύνη (50/80/100%), Προσπάθεια (ανθρωπομήνες)(R × I × C) / EΣον ΜακΜπράιντ, Intercom, 5 Ιανουαρίου 2018Επίδραση βαθμολογίας ανά μονάδα εργασίας

Δύο διορθώσεις πριν υιοθετήσετε μία. Το PXL γράφτηκε ως επίθεση στα άλλα πλαίσια CRO: Το επιχείρημα του Laja είναι ότι αν μπορούσατε να μαντέψετε αξιόπιστα το δυναμικό ή την εμπιστοσύνη εκ των προτέρων, δεν θα χρειαζόσασταν δοκιμή. Και η κανονική σελίδα του PIE ορίζει τα κριτήρια αλλά δεν δημοσιεύει κλίμακα και κανέναν τύπο, επομένως κάθε ομάδα εφευρίσκει τον δικό της. Ο τομέας widerfunnel.com ανακατευθύνει τώρα στο conversion.com, επομένως το πλαίσιο που αναφέρουν τα περισσότερα deck CRO δεν έχει διατηρημένη κύρια προδιαγραφή.

Το ίδιο ανεκτέλεστο υπόλοιπο, με τέσσερις βαθμολογίες

Τρεις υποψήφιες δοκιμές σε έναν μεσαίου μεγέθους λιανοπωλητή. Τα στοιχεία είναι ενδεικτικά, όχι δεδομένα πελατών.

  • A. Ανάλυση δόσεων (taksit) εντός του μπλοκ τιμών της σελίδας προϊόντος. 180,000 θεατές PDP το μήνα, με την υποστήριξη αναλυτικών στοιχείων και αιτημάτων φωνής πελατών.
  • B. Καταργήστε την αναγκαστική δημιουργία λογαριασμού στο checkout. 12,000 checkouts ξεκινούν κάθε μήνα, με την υποστήριξη περιόδων σύνδεσης χρηστικότητας, ηχογραφήσεων, αναλυτικών στοιχείων και επαφών υποστήριξης.
  • C. Ξαναγράψτε τον τίτλο του πρωταγωνιστή της αρχικής σελίδας. 220,000 συνεδρίες στην αρχική σελίδα το μήνα, χωρίς υποστηρικτική έρευνα, προτεινόμενη σε ένα εργαστήριο.
ΔοκιμήΡΥΖΙICEPIEPXL (από 12)
Α: ανάλυση δόσεων144,000 (1ο)294 (2ο)7.0 (2ο)10 (1ο)
Β: χωρίς αναγκαστικό λογαριασμό18,000 (3ο)405 (1ο)6.3 (3ο)9 (2ο)
C: τίτλος ήρωα55,000 (2ο)144 (3ο)7.3 (1ο)6 (3ο)

Κάθε δοκιμή κερδίζει κάτω από τουλάχιστον ένα πλαίσιο. Η διαφωνία είναι τα πλαίσια που κάνουν τη δουλειά τους:

  • Το RICE βάζει την Α στην πρώτη γραμμή επειδή η Reach είναι ένας ακατέργαστος αριθμός εργαζομένων. Θα θάψει την εργασία ολοκλήρωσης αγοράς και λογαριασμού σε οποιαδήποτε κανονική διοχέτευση.
  • Το ICE βάζει το Β πρώτο επειδή ένας έμπειρος επαγγελματίας βαθμολογεί την αναγκαστική δημιουργία λογαριασμού με Impact 9, Confidence 9 και ICE πολλαπλασιάζει γνώμη με γνώμη. Αλλάξτε τον βαθμολογητή, αλλάξτε τον οδικό χάρτη.
  • Το PIE βάζει το C πρώτο. επειδή η αρχική σελίδα έχει την πιο πολύτιμη επισκεψιμότητα και το κείμενο είναι εύκολο να αποσταλεί. Το PIE δημιουργήθηκε για να επιλέγει σελίδες; ζητήθηκε να καταταχθεί αλλαγές, ανταμείβει τις φθηνές επεξεργασίες σε σημαντικά πρότυπα.
  • Το PXL βάζει το C τελευταίο επειδή το C βαθμολογείται με μηδέν και στις τέσσερις ερωτήσεις αποδεικτικών στοιχείων. Είναι το μόνο πλαίσιο που τιμωρεί δομικά μια διαίσθηση αντί να εμπιστεύεται τον βαθμολογητή ότι θα είναι ειλικρινής σχετικά με την Εμπιστοσύνη.

Ποιο να χρησιμοποιήσετε: επιλέξτε με βάση τον περιορισμό σύνδεσης

Δεσμευτικός περιορισμόςΧρήσηΕπειδή
Δεν υπάρχουν ακόμη ερευνητικά δεδομένα, οι πρώτες δέκα δοκιμέςICE, με γραπτές παρουσιάσειςΛειτουργεί μόνο με βάση την κρίση. Αντιμετωπίστε την έξοδο ως ουρά, όχι ως κατάταξη.
Η ομάδα συνεχίζει να δοκιμάζει απόψεις και να χάνειPXLΤα ερωτήματα σχετικά με τα δυαδικά στοιχεία είναι δύσκολο να διογκωθούν.
Μηχανική ικανότητα, όχι κυκλοφορίαΡΥΖΙΤο μόνο με παρονομαστή, άρα το μόνο που βελτιστοποιεί την απόδοση.
Επιλογή σελίδας ή προτύπου στο οποίο θα εργαστείτεPIEΦτιαγμένο για αυτήν την ερώτηση.
ΕπισκεψιμότηταΚανένας μόνος τουΚαι οι τέσσερις δεν γνωρίζουν αν μια δοκιμή μπορεί να ολοκληρωθεί. Προσθέστε την πύλη παρακάτω.

Λείπουν και οι τέσσερις πύλες: μπορεί να ολοκληρωθεί αυτή η δοκιμή;

Η εμβέλεια δεν είναι ανιχνευσιμότητα. Ελέγξτε την εφικτότητα πριν από τη βαθμολόγηση, χρησιμοποιώντας την κανονική προσέγγιση για μια αμφίπλευρη δοκιμή με σημαντικότητα 95% και ισχύ 80%:

n per variant ≈ 15.7 × p × (1 - p) / d²

όπου p είναι ο βασικός ρυθμός της μέτρησης που μετακινείτε και d είναι η απόλυτη αύξηση που θέλετε να εντοπίσετε. Εφαρμόζεται στο παραπάνω ανεκτέλεστο υπόλοιπο:

ΔοκιμήΜετρική και βασική τιμήMDEΑνά παραλλαγήΕβδ.
APDP θεατής για αγορά, 2.0%5% σχετική αναλογία (0.1 ποσοστιαίες μονάδες)~ 307,700~ 14
APDP θεατής για αγορά, 2.0%10% σχετική αναλογία (0.2 ποσοστιαίες μονάδες)~ 76,900~4
BΈναρξη αγοράς στο ταμείο, 55%5% σχετική αναλογία (2.75 ποσοστιαίες μονάδες)~ 5,140~4

Το τεστ RICE που κατατάχθηκε πρώτο δεν μπορεί να διαβαστεί για ένα τρίμηνο με την ευαισθησία που υποθέτουν οι περισσότερες ομάδες, ενώ το τεστ RICE που κατατάχθηκε τελευταίο τερματίζει σε ένα μήνα. Το Α βρίσκεται σε βάση 2% και το Β σε βάση 55%, και το μέγεθος του δείγματος καθορίζεται από p(1-p)/d², όχι από το πόσοι άνθρωποι είδαν τη σελίδα. Το A γίνεται επίσης εφικτό τη στιγμή που δηλώνετε 10% τη μικρότερη αύξηση που αξίζει να αξιοποιήσετε, γεγονός που καθιστά το ελάχιστο ανιχνεύσιμο αποτέλεσμα μια απόφαση ιεράρχησης προτεραιοτήτων και όχι μια στατιστική λεπτομέρεια. Αποφασίστε το στην ίδια συνάντηση με τη βαθμολόγηση και επιλέξτε μία αριθμομηχανή για τα πάντα, καθώς διαφορετικές προσεγγίσεις διακύμανσης δεν συμφωνούν ακριβώς: του Έβαν Μίλερ και την Υπολογιστής δοκιμών Switas A/B και οι δύο είναι καλά.

Κάδοι σκοπιμότητας

  • Δύο εβδομάδες ή λιγότερο. Πράσινο. Βαθμολόγησέ το και τρέξε το.
  • Δύο έως τέσσερις εβδομάδες. Κεχριμπάρι. Εκτελέστε το μόνο του, καλύπτοντας τουλάχιστον δύο πλήρεις εβδομαδιαίους κύκλους.
  • Τέσσερις έως οκτώ εβδομάδες. Κόκκινο για μια τυπική δοκιμή A/B. Αυξήστε το MDE, μετακινηθείτε σε μια μετρική υψηλότερης βάσης ή χρησιμοποιήστε μια διαδοχική σχεδίαση με έναν προ-εγγεγραμμένο κανόνα διακοπής.
  • Πάνω από οκτώ εβδομάδες. Μην το δοκιμάζετε A/B. Στείλτε το προϊόν με βάση την κρίση σας χρησιμοποιώντας μετρήσεις guardrail ή διεξάγετε μια ποιοτική μελέτη.

Αυτή η πύλη έχει μεγαλύτερη σημασία εδώ από ό,τι υποθέτει η αγγλόφωνη βιβλιογραφία CRO. Ο όγκος ηλεκτρονικού εμπορίου της Τουρκίας έφτασε τα 4.567 τρισεκατομμύρια λίρες σε περίπου 634,000 επιχειρήσεις το 2025 (Υπουργείο Εμπορίου, 12 Μαΐου 2026), κατά μέσο όρο περίπου 7.2 εκατομμύρια λίρες ανά επιχείρηση ετησίως, και η κατανομή είναι στρεβλωμένη προς μια χούφτα αγορές, επομένως ο τυπικός έμπορος βρίσκεται πολύ κάτω από αυτό. Ένας ιστότοπος που κάνει μερικές εκατοντάδες παραγγελίες το μήνα δεν μπορεί να υποστηρίξει μια δοκιμή ολοκλήρωσης αγοράς σε κανένα χρήσιμο MDE. Για αυτούς τους ιστότοπους, το ειλικρινές αποτέλεσμα της ιεράρχησης προτεραιοτήτων είναι ένας οδικός χάρτης έρευνας και μέτρησης, όχι ένας οδικός χάρτης δοκιμών.

Κάνοντας τα σκορ να έχουν κάποια σημασία

  1. Γράψτε τις άγκυρες πριν από τη βαθμολόγηση. Το Impact 3 στο RICE πρέπει να σημαίνει κάτι στο νόμισμά σας, για παράδειγμα "μετακινεί τη μετατροπή αγοράς κατά περισσότερο από 5% σε σχέση". Χωρίς άγκυρες, οι βαθμολογίες μεταβάλλονται εντός μίας μόνο περιόδου σύνδεσης.
  2. Ανώτατο όριο εμπιστοσύνης ανά επίπεδο αποδεικτικών στοιχείων. Δεν υπάρχουν όρια έρευνας στο 50%, μόνο αναλυτικά στοιχεία στο 80%, αναλυτικά στοιχεία συν ποιοτικά στοιχεία συν μια σχετική προηγούμενη νίκη στο 100%. Αυτό εισάγει το γνωστικό αντικείμενο της PXL στο RICE.
  3. Σκοράροντας στα τυφλά, συμφιλιώστε πρώτα τα μεγαλύτερα spreads. Τρία άτομα που βαθμολογούν ανεξάρτητα και στη συνέχεια συζητούν μόνο θέματα που διαφέρουν κατά τρία σημεία ή περισσότερο, χρειάζονται περίπου σαράντα λεπτά για τριάντα θέματα.
  4. Καταγράψτε την προβλεπόμενη βαθμολογία σε σχέση με το πραγματικό αποτέλεσμα. Μετά από δέκα μετρήσεις, ελέγξτε αν οι βαθμολογίες Impact συσχετίζονται καθόλου με τις παρατηρούμενες επιδράσεις. Εάν όχι, η κλίμακα είναι διακοσμητική και θα πρέπει να μεταβείτε σε PXL.
  5. Ποτέ μην συγκρίνετε βαθμολογίες μεταξύ πλαισίων. Μια βαθμολογία RICE 144,000 και μια βαθμολογία PXL 10 δεν έχουν καμία σχέση.

Πού καταρρέει αυτό

Αυτά τα πλαίσια κατατάσσουν τις ιδέες, δεν τις βελτιώνουν. Μια αδύναμη υπόθεση που βαθμολογείται με 11 στα 12 στο PXL εξακολουθεί να είναι αδύναμη και κανένα μοντέλο δεν θα σας πει ότι το πραγματικό πρόβλημα βρίσκεται πριν από τη σελίδα που δοκιμάζετε. Συγκεκριμένα όρια:

  • Η προσπάθεια είναι η λιγότερο αξιόπιστη εισροή και κανείς δεν την ξαναβαθμολογεί. Ο παρονομαστής του RICE είναι ο αριθμός που είναι πιο πιθανό να είναι λάθος κατά δύο φορές, και αυτό αλλάζει την κατάταξη περισσότερο από μια λανθασμένη βαθμολογία Impact.
  • Κανένα από τα τέσσερα μοντέλα δεν αλληλεπιδρά. Εκτελέστε τρεις δοκιμές σε ένα funnel ταυτόχρονα και οι βαθμολογίες δεν σας έλεγαν τίποτα για παρεμβολές.
  • Προσέγγιση ατόμων ανά μήνα διαλειμμάτων για εποχιακές επιχειρήσεις. Τα ταξίδια και η εκπαίδευση θα πρέπει να αξιολογούνται ως προς την Εμβέλεια σε έναν πλήρη εποχιακό κύκλο ή σε σχέση με την ίδια περίοδο πέρυσι.
  • Οι εξαρτήσεις είναι αόρατες. Μια βαθμολογία που μοιράζεται σε ένα backlog δοκιμών και έναν οδικό χάρτη προϊόντος κολακεύει επίσης όποια πλευρά έχει περισσότερη επισκεψιμότητα.

[ΑΠΑΙΤΟΥΝΤΑΙ ΕΣΩΤΕΡΙΚΑ ΔΕΔΟΜΕΝΑ: Ποσοστό νικών Switas ανά πυλώνα τους τελευταίους 24 μήνες, για την αντικατάσταση των αριθμών ποσοστού επιτυχίας του κλάδου με αριθμούς πρώτου μέρους.]

[ΑΠΑΙΤΟΥΝΤΑΙ ΕΣΩΤΕΡΙΚΑ ΔΕΔΟΜΕΝΑ: ένα ανώνυμο ανεκτέλεστο υπόλοιπο πελατών που βαθμολογείται βάσει δύο πλαισίων, για να αντικαταστήσει το ενδεικτικό παράδειγμα.]

Συχνές ερωτήσεις

Είναι το RICE καλύτερο από το ICE για εργασία CRO;

Όχι εγγενώς. Το RICE προσθέτει την προσέγγιση χρηστών και βάζει την προσπάθεια στον παρονομαστή, κάτι που βοηθά όταν η χωρητικότητα προβολής είναι το σημείο συμφόρησης, αλλά στρέφεται προς σελίδες υψηλής επισκεψιμότητας. Χρησιμοποιήστε το RICE όταν ο χρόνος μηχανικής είναι περιορισμένος, και το ICE όταν δεν είναι.

Ποια βαθμολογία είναι αρκετά υψηλή για να εκτελέσω μια εξέταση;

Κανένα από τα τέσσερα δεν έχει απόλυτο όριο. Οι βαθμολογίες είναι διατακτικές: σας λένε τι να κάνετε στη συνέχεια, όχι αν αξίζει να κάνετε κάτι. Η απόλυτη πύλη είναι η σκοπιμότητα. Εάν μια δοκιμή δεν μπορεί να φτάσει στη σημαντικότητα σε οκτώ εβδομάδες, η βαθμολογία της είναι άσχετη.

Μπορούμε να συνδυάσουμε δύο πλαίσια;

Ο συνδυασμός των εξόδων δεν έχει νόημα επειδή οι κλίμακες δεν σχετίζονται. Ο συνδυασμός των εισροών δεν είναι. Η επιβολή των ερωτήσεων εμπιστοσύνης με τα στοιχεία του PXL στο RICE είναι ένα καλά συμπεριφερόμενο υβρίδιο και αυτό που χρησιμοποιούμε πιο συχνά.

Λειτουργεί το PXL για ιστότοπους που δεν είναι ηλεκτρονικού εμπορίου;

Οι ερωτήσεις αποδεικτικών στοιχείων μεταφέρονται σε οποιοδήποτε προϊόν. Οι ερωτήσεις διάταξης υποθέτουν μια σελίδα μάρκετινγκ και είναι αδύναμες για τις ροές με σύνδεση. Αντικαταστήστε τες με ερωτήσεις σχετικά με το πόσο συχνά οι χρήστες συναντούν το στοιχείο στη ροή εργασιών.

Θα έπρεπε οι ιστότοποι με χαμηλή επισκεψιμότητα να χρησιμοποιούν καθόλου αυτά τα πλαίσια;

Ναι, για την εργασία αλληλούχισης, αλλά σταματήστε να αποκαλείτε την έξοδο οδικό χάρτη δοκιμών. Σε έναν ιστότοπο που δεν μπορεί να τροφοδοτήσει δοκιμές, η ίδια άσκηση παραγγέλνει ευρήματα ελέγχου UX, ερευνητικά ερωτήματα και εργασία κατασκευής.

Ποιος πρέπει να είναι στη συνεδρία βαθμολόγησης;

Τρία έως πέντε άτομα που βλέπουν διαφορετικά στοιχεία: αναλυτικά στοιχεία, έρευνα ή υποστήριξη, και όποιος είναι υπεύθυνος για την παράδοση. Η βαθμολόγηση από μόνη της παράγει αβέβαιες ανοησίες. Η βαθμολόγηση με δέκα άτομα παράγει μέσους όρους που δεν κατατάσσουν τίποτα.

Δοκιμάστε το αυτό στο δικό σας backlog

Πάρτε τα δέκα στοιχεία στην κορυφή της λίστας δοκιμών σας, εκτελέστε το καθένα από αυτά μέσω του παραπάνω τύπου σκοπιμότητας και μετρήστε πόσα επιβιώνουν με την ευαισθησία που υποθέσατε. Εάν περισσότερα από τα μισά δεν επιβιώνουν, η κατάταξη δεν ήταν ποτέ το πρόβλημά σας. CRO και ομάδα πειραματισμού εκτελεί αυτό το πέρασμα βαθμολόγησης και σκοπιμότητας ως το πρώτο βήμα μιας δέσμευσης.

Πηγές


Ίντσι Ντιντάρ
Γραμμένο από

Ίντσι Ντιντάρ

Με εμπειρία στην ανάπτυξη λογισμικού, ηγήθηκε ομάδων σχεδιασμού, εμπειρίας χρήστη και προϊόντων σε τομείς όπως το fintech, τα μέσα ενημέρωσης, το ηλεκτρονικό εμπόριο και τα ταξίδια. Τα τελευταία τρία χρόνια παρέχει συμβουλευτικές υπηρεσίες πλήρους απασχόλησης σε θέματα εμπειρίας χρήστη και σχεδιασμού — μεταξύ άλλων ως εξωτερική σύμβουλος εμπειρίας χρήστη για μια παγκόσμια συμβουλευτική εταιρεία management, βοηθώντας μάρκες και νεοσύστατες επιχειρήσεις με ελέγχους, βελτιστοποίηση μετατροπών και διαδικασίες σχεδιασμού.


Σχετικά άρθρα

Switas όπως φαίνεται στο

Magnify: Κλιμάκωση του Influencer Marketing με τον Engin Yurtdakul

Δείτε τη μελέτη περίπτωσης της Microsoft Clarity

Επισημάναμε το Microsoft Clarity ως ένα προϊόν που δημιουργήθηκε με γνώμονα πρακτικές, πραγματικές περιπτώσεις χρήσης από πραγματικούς ανθρώπους προϊόντων που κατανοούν τις προκλήσεις που αντιμετωπίζουν εταιρείες όπως η Switas. Χαρακτηριστικά όπως τα έντονα κλικ και η παρακολούθηση σφαλμάτων JavaScript αποδείχθηκαν ανεκτίμητα στον εντοπισμό της απογοήτευσης των χρηστών και των τεχνικών προβλημάτων, επιτρέποντας στοχευμένες βελτιώσεις που επηρέασαν άμεσα την εμπειρία χρήστη και τα ποσοστά μετατροπών.