Progettazione del sondaggio

La progettazione di sondaggi è la pratica di costruire questionari che misurino ciò che si prefiggono di misurare, senza introdurre distorsioni attraverso la formulazione, l'ordine delle domande, le scale di misurazione o il campionamento. Si tratta di una vera e propria disciplina metodologica, e la facilità con cui è possibile creare e distribuire sondaggi con gli strumenti moderni nasconde quanto sia facile produrre risultati palesemente errati.

La formulazione delle domande è la fonte di errore più comune. Le domande suggestive implicano un'ipotesi o una risposta preferita e inevitabilmente producono la risposta che suggeriscono. Le domande a doppia canna chiedono di due cose contemporaneamente e non possono essere interpretate. Termini tendenziosi, quantificatori assoluti e gergo specialistico distorcono le risposte. Anche una formulazione apparentemente neutra modifica sostanzialmente i risultati: chiedere quanto qualcuno sia soddisfatto produce risposte diverse rispetto a chiedere quanto sia insoddisfatto, perché la formulazione influenza la direzione della risposta.

Anche le scale di valutazione richiedono la stessa attenzione. Il numero di punti, la presenza o meno di un punto intermedio neutro, l'etichettatura degli estremi e la direzione (da positiva a negativa) influenzano la distribuzione delle risposte. Le scale sbilanciate, con più opzioni positive che negative, tendono a sovrastimare i risultati. Le scale di concordanza sono vulnerabili al bias di acquiescenza, ovvero la tendenza ad essere d'accordo a prescindere dal contenuto, soprattutto tra gli intervistati che rispondono rapidamente. La coerenza è importante quanto la scelta specifica della scala, poiché modificarla tra un'indagine e l'altra invalida la tendenza che l'indagine si propone di rilevare.

L'effetto dell'ordine di presentazione delle domande è sottovalutato. Le prime domande influenzano l'interpretazione di quelle successive, un fenomeno che si accentua quando un sondaggio chiede informazioni su specifici attributi positivi prima di richiedere una valutazione complessiva. I sondaggi lunghi producono una qualità delle risposte in calo, poiché gli intervistati si accontentano, scegliendo la risposta che permette loro di completare il compito; di conseguenza, le domande successive ricevono sistematicamente dati di qualità inferiore rispetto a quelle precedenti. Per questo motivo, le domande sensibili o demografiche vengono convenzionalmente collocate alla fine del sondaggio, e qualsiasi sondaggio che richieda più di qualche minuto dovrebbe aspettarsi un degrado misurabile della qualità delle risposte.

Il campionamento è il punto debole della maggior parte delle indagini aziendali, e nessuna formulazione accurata può compensarlo. Un sondaggio distribuito a una mailing list, promosso su un sito web o compilato da chiunque scelga di rispondere, misura le persone che hanno scelto di rispondere, che sono sistematicamente diverse da coloro che non hanno risposto. Tassi di risposta bassissimi, a una sola cifra, sono comuni, e i risultati ottenuti da tali campioni descrivono una popolazione non rappresentativa e solitamente più coinvolta. Presentare questi risultati come se descrivessero l'intera base clienti è l'errore più grave nella pratica delle indagini commerciali.

La fase pilota è quella che più spesso viene saltata, ma è anche quella che permette di individuare gli errori più gravi. Condurre una bozza di sondaggio con un piccolo numero di partecipanti, idealmente seguita da una breve conversazione su come hanno interpretato ciascuna domanda, rivela ambiguità che sfuggono a chi le ha formulate. Domande apparentemente chiare si rivelano essere interpretate in due modi diversi, le scale di misurazione vengono comprese diversamente da quanto previsto e le istruzioni vengono completamente fraintese. Poiché il costo di una fase pilota è una frazione di quello di un sondaggio completo e della conseguente analisi di risultati non interpretabili, saltarla rappresenta un falso risparmio che porta a conclusioni affrettate basate su dati indifendibili.

La guida pratica che segue è di essere modesti su ciò che un sondaggio può fare. I sondaggi sono bravi a misurare atteggiamenti e stati auto-riferiti in un campione, a tracciare la stessa misura in modo coerente nel tempo e a quantificare temi già identificati attraverso il lavoro qualitativo. Sono scarsi nello spiegare il perché, nel prevedere il comportamento e nello scoprire qualsiasi cosa che il progettista non abbia pensato di chiedere. All'interno di un ricerca dell'utente programma sono più utili quando utilizzati dopo le interviste piuttosto che prima, per dimensionare modelli già compresi e le considerazioni di analisi e campionamento sono in genere gestite con il analisi dei dati in modo che i risultati siano ponderati e corredati da avvertenze, anziché essere riportati come fatti inoppugnabili.