Έρευνα χωρίς εποπτεία

Η μη συντονισμένη έρευνα είναι έρευνα χρηστών που διεξάγεται χωρίς την παρουσία συντονιστή, όπου οι συμμετέχοντες ολοκληρώνουν εργασίες και απαντούν σε ερωτήσεις μόνοι τους, καθοδηγούμενοι από γραπτές οδηγίες που παρέχονται μέσω μιας πλατφόρμας δοκιμών. Οι συνεδρίες συνήθως καταγράφονται, καταγράφοντας την δραστηριότητα της οθόνης, τα κλικ και συχνά την ηχητική αφήγηση και το βίντεο της κάμερας web, και τα αποτελέσματα αναλύονται στη συνέχεια.

Τα κύρια πλεονεκτήματά της είναι η κλίμακα, η ταχύτητα και το κόστος. Ενώ μια μελέτη με εποπτεία μπορεί να περιλαμβάνει οκτώ συμμετέχοντες σε διάστημα δύο εβδομάδων προγραμματισμού, μια μελέτη χωρίς εποπτεία μπορεί να συγκεντρώσει πενήντα ή περισσότερες συνεδρίες εντός μιας ημέρας, με ένα κλάσμα του κόστους ανά συμμετέχοντα και με τους συμμετέχοντες κατανεμημένους σε διάφορες ζώνες ώρας και γεωγραφικές περιοχές. Αυτό αλλάζει τον σκοπό για τον οποίο μπορεί να χρησιμοποιηθεί η έρευνα: καθίσταται εφικτό να γίνονται δοκιμές σε τακτική βάση, να συγκρίνονται διάφορες εναλλακτικές λύσεις σχεδιασμού, να συμπεριλαμβάνονται πολλαπλά τμήματα της αγοράς και να λαμβάνονται ποσοτικά μέτρα όπως το ποσοστό επιτυχίας και ο χρόνος εκτέλεσης της εργασίας με μεγέθη δείγματος που υποστηρίζουν πραγματική ακρίβεια.

Το αντάλλαγμα είναι η απώλεια της προσαρμοστικής ερωτηματολογίας. Ένας συντονιστής παρατηρεί σύγχυση και ρωτά γιατί, διερευνά ένα απροσδόκητο σχόλιο, ανακατευθύνει έναν συμμετέχοντα που έχει παρερμηνεύσει την εργασία και αναγνωρίζει πότε έχει συμβεί κάτι ενδιαφέρον που δεν ήταν μέρος του σχεδίου. Τίποτα από αυτά δεν είναι διαθέσιμο χωρίς συντονισμό. Οι συμμετέχοντες που παρερμηνεύουν μια οδηγία παράγουν άχρηστα δεδομένα, οι συμμετέχοντες που αντιμετωπίζουν μια τεχνική βλάβη απλώς εγκαταλείπουν και η ενδιαφέρουσα συμπεριφορά μένει ανεξήγητη επειδή κανείς δεν ήταν εκεί για να ρωτήσει γι' αυτήν.

Αυτό διαμορφώνει το αντικείμενο στο οποίο είναι κατάλληλη η μέθοδος. Η μη εποπτευόμενη εργασία αποδίδει καλά σε εστιασμένες, σαφώς καθορισμένες εργασίες με σαφή κριτήρια επιτυχίας, σε συγκριτικές μελέτες, σε συγκριτική αξιολόγηση και παρακολούθηση με την πάροδο του χρόνου, καθώς και σε ποσοτικές μελέτες πρώτου κλικ, δοκιμής δέντρων και προτιμήσεων. Αποδίδει κακώς σε διερευνητική έρευνα σε άγνωστους προβληματικούς χώρους, σε σύνθετα σενάρια πολλαπλών βημάτων που απαιτούν ρύθμιση, σε ευαίσθητα θέματα και σε οτιδήποτε όπου ο στόχος είναι η κατανόηση των κινήτρων παρά η παρατήρηση της συμπεριφοράς.

Ο σχεδιασμός των εργασιών και των οδηγιών έχει πολύ μεγαλύτερο βάρος από ό,τι στην εργασία υπό εποπτεία, επειδή οι οδηγίες αποτελούν ολόκληρο το πρωτόκολλο και δεν μπορούν να διευκρινιστούν. Οι εργασίες πρέπει να είναι σαφείς, διατυπωμένες στο λεξιλόγιο του συμμετέχοντα και όχι της διεπαφής, αρκετά ρεαλιστικές ώστε να προκαλούν γνήσια συμπεριφορά και αρκετά σύντομες ώστε να συγκρατούν την προσοχή. Ένας πιλοτικός γύρος με μια χούφτα συμμετεχόντων, αποκλειστικά για να βρεθεί διφορούμενη διατύπωση, αποτρέπει το μεγαλύτερο μέρος της σπατάλης που διαφορετικά θα συμβεί όταν πενήντα συνεδρίες φτάνουν απαντώντας σε μια ελαφρώς διαφορετική ερώτηση από την προβλεπόμενη.

Οι ίδιες οι ηχογραφήσεις είναι συχνά το πιο πολύτιμο αποτέλεσμα και το πιο παραμελημένο. Μια ποσοτική σύνοψη που δείχνει ότι το τριάντα τοις εκατό των συμμετεχόντων απέτυχαν σε μια εργασία είναι πειστική σε αφηρημένο επίπεδο, ενώ ένα δίλεπτο κλιπ ενός πραγματικού ατόμου που γίνεται ορατά απογοητευμένο σε μια συγκεκριμένη οθόνη αλλάζει τις αποφάσεις. Η δημιουργία ενός σύντομου κλιπ με στιγμιότυπα από μη εποπτευόμενες συνεδρίες κοστίζει μία ώρα και σταθερά κάνει περισσότερα για να εξασφαλίσει πόρους για διόρθωση από οποιαδήποτε αναφορά. Τα ίδια κλιπ είναι επίσης χρήσιμα για την οικοδόμηση κοινής κατανόησης εντός μιας ομάδας, καθώς τα άτομα που εφαρμόζουν μια διόρθωση σπάνια διαβάζουν την ανάλυση, αλλά παρακολουθούν με αξιοπιστία έναν πελάτη να δυσκολεύεται με κάτι που δημιούργησαν.

Η ποιότητα των συμμετεχόντων απαιτεί επίσης ενεργή διαχείριση. Οι συμμετέχοντες σε πάνελ που ολοκληρώνουν πολλές μελέτες αναπτύσσουν συνήθειες που διαφέρουν από τους πραγματικούς χρήστες και οι ερωτήσεις διαλογής παραπλανώνται εύκολα από άτομα που θέλουν το κίνητρο. Η διαλογή που βασίζεται σε επαληθεύσιμη συμπεριφορά και όχι σε αυτοαναφορά, οι έλεγχοι προσοχής κατά τη διάρκεια της συνεδρίας και η χειροκίνητη αναθεώρηση των καταγραφών πριν από την ένταξή τους στην ανάλυση είναι όλα απαραίτητα. Στην πράξη, οι περισσότεροι ώριμοι έρευνα χρηστών Τα προγράμματα εκτελούν και τις δύο λειτουργίες σκόπιμα: χωρίς εποπτεία για μέτρηση, σύγκριση και τακτική επικύρωση σε κλίμακα, και με εποπτεία για την διερευνητική εργασία όπου η κατανόηση του γιατί έχει μεγαλύτερη σημασία από το να μετράμε πόσο συχνά, με τα δύο να τροφοδοτούν τις ίδιες αποφάσεις σε ένα το σχεδιασμό του προϊόντος διαδικασία.