Survey Design

Undersøkelsesdesign er praksisen med å konstruere spørreskjemaer som måler det de er ment å måle, uten å introdusere skjevheter gjennom formulering, rekkefølge, skalaer eller utvalg. Det er en genuin metodisk disiplin, og hvor enkelt det er å lage og distribuere spørreundersøkelser med moderne verktøy skjuler hvor lett det er å produsere resultater som med sikkerhet er feil.

Spørsmålsformulering er den vanligste feilkilden. Ledende spørsmål innebærer en antagelse eller et foretrukket svar og produserer pålitelig det svaret de antyder. Dobbeltløpede spørsmål spør om to ting samtidig og kan ikke tolkes. Lastede termer, absolutte kvantifikatorer og ukjent sjargong forvrenger alle svarene. Selv tilsynelatende nøytrale formuleringer endrer seg betydelig: å spørre om hvor fornøyd noen er gir andre svar enn å spørre om hvor misfornøyd, fordi rammen bestemmer retningen på svaret.

Skalaer krever like stor forsiktighet. Antall poeng, om et nøytralt midtpunkt tilbys, om endepunktene er merket, og om retningen går fra positiv til negativ, endrer alle fordelingen av svar. Ubalanserte skalaer med flere positive enn negative alternativer blåser opp resultatene. Enighetsskalaer er sårbare for samtykkeskjevhet, tendensen til å være enig uavhengig av innhold, spesielt blant respondenter som beveger seg raskt. Konsistens er like viktig som det spesifikke valget, siden det å endre en skala mellom bølger ugyldiggjør trenden som undersøkelsen er eksistert for å produsere.

Rekkefølgeeffekter undervurderes. Tidlige spørsmål rammer hvordan senere spørsmål tolkes, et fenomen som blir akutt når en undersøkelse spør om spesifikke positive egenskaper før det spørres om en samlet vurdering. Lange undersøkelser gir synkende svarkvalitet ettersom respondentene er tilfredse og velger det som fullfører oppgaven, slik at senere spørsmål systematisk får dårligere data enn tidligere spørsmål. Sensitive eller demografiske spørsmål plasseres vanligvis på slutten av denne grunn, og enhver undersøkelse som krever mer enn noen få minutter, bør forvente målbar forringelse.

Utvalg er der de fleste forretningsundersøkelser mislykkes fullstendig, og ingen mengde nøye formulering kompenserer. En undersøkelse som distribueres til en e-postliste, markedsføres på et nettsted eller besvares av den som velger å svare, måler personene som valgte å svare, som er systematisk forskjellige fra de som ikke gjorde det. Svarrater på lave ensifrede nivåer er vanlige, og resultater fra slike utvalg beskriver en ikke-representativ og vanligvis mer engasjert populasjon. Å presentere disse resultatene som om de beskrev kundebasen er den mest alvorlige feilen i kommersiell undersøkelsespraksis.

Pilottesting er det trinnet som oftest hoppes over, og det som fanger opp de mest skadelige feilene. Å kjøre et utkast til en undersøkelse med et lite antall respondenter, ideelt sett med en kort samtale etterpå om hvordan de tolket hvert spørsmål, avdekker tvetydigheter som er usynlige for personen som skrev dem. Spørsmål som virket klare viser seg å bli lest på to måter, skalaer forstås annerledes enn tiltenkt, og instruksjoner blir fullstendig oversett. Fordi kostnaden for et pilottest er en brøkdel av kostnaden ved å gjennomføre en fullstendig undersøkelse og analysere resultater som viser seg å være uforståelige, er det å hoppe over det en falsk økonomi som gir sikre konklusjoner fra data ingen kan forsvare.

Den praktiske veiledningen som følger er å være beskjeden om hva en undersøkelse kan gjøre. Undersøkelser er gode til å måle holdninger og selvrapporterte tilstander på tvers av et utvalg, til å spore det samme målet konsekvent over tid, og til å kvantifisere temaer som allerede er identifisert gjennom kvalitativt arbeid. De er dårlige til å forklare hvorfor, til å forutsi atferd og til å oppdage noe designeren ikke tenkte på å spørre om. Innenfor en brukerforskning program de er mest verdifulle når de brukes etter intervjuer snarere enn før, for å måle mønstre som allerede er forstått, og analyse- og utvalgshensyn håndteres vanligvis med dataanalyse funksjon slik at resultatene vektes og tas med forbehold i stedet for å rapporteres som enkle fakta.