Felmérés tervezése

A kérdőívek tervezése olyan kérdőívek készítésének gyakorlata, amelyek azt mérik, amit mérni szándékoznak, anélkül, hogy a megfogalmazás, a sorrend, a skálák vagy a mintavétel révén torzítást vezetnének be. Ez egy valódi módszertani tudományág, és a kérdőívek modern eszközökkel történő létrehozásának és terjesztésének egyszerűsége elrejti, milyen könnyű olyan eredményeket produkálni, amelyek magabiztosan tévesek.

A kérdés megfogalmazása a leggyakoribb hibaforrás. A rávezető kérdések egy feltételezést vagy egy preferált választ tartalmaznak, és megbízhatóan eredményezik az általuk sugallt választ. A kettős kérdések egyszerre két dologra kérdeznek rá, és nem értelmezhetők. A túlterhelt kifejezések, az abszolút kvantorok és az ismeretlen zsargon mind torzítják a válaszokat. Még a látszólag semleges megfogalmazás is jelentősen megváltoztatja az eredményeket: ha azt kérdezzük, hogy valaki mennyire elégedett, más válaszokat kapunk, mint ha azt kérdeznénk, hogy mennyire elégedetlen, mivel a keret meghatározza a válasz irányát.

A skálák egyenlő figyelmet igényelnek. A pontok száma, hogy van-e semleges középpont, hogy vannak-e felcímkézve a végpontok, és hogy a mutató pozitívból negatívba tart-e, mind befolyásolja a válaszok eloszlását. A kiegyensúlyozatlan skálák, amelyekben több a pozitív, mint a negatív válaszlehetőség, felfújják az eredményeket. Az egyetértési skálák érzékenyek az egyetértési torzításra, vagyis arra a tendenciára, hogy a válaszadók a tartalomtól függetlenül egyetértenek, különösen a gyorsan mozgó válaszadók körében. A következetesség ugyanolyan fontos, mint maga a konkrét választás, mivel a skála hullámok közötti megváltoztatása érvényteleníti azt a trendet, amelynek előállítására a felmérés szolgált.

A sorrendiség hatásait alábecsülik. A korai kérdések meghatározzák, hogy a későbbiek hogyan értelmeződnek, ez a jelenség akkor válik hangsúlyossá, amikor egy kérdőív konkrét pozitív tulajdonságokra kérdez rá, mielőtt egy általános értékelésre kérne. A hosszú kérdőívek a válaszok minőségének romlását eredményezik, ahogy a válaszadók elégedettebbek lesznek, és azt választják, ami befejezi a feladatot, így a későbbi kérdések szisztematikusan rosszabb adatokat kapnak, mint a korábbiak. Az érzékeny vagy demográfiai kérdéseket ezért hagyományosan a végére helyezik, és minden néhány percnél hosszabb kérdőív esetében mérhető romlás várható.

A mintavételezés az, ahol a legtöbb üzleti felmérés teljesen kudarcot vall, és ezt semmilyen gondos megfogalmazás nem ellensúlyozza. Egy levelezőlistára küldött, egy weboldalon népszerűsített vagy a válaszadó által megválaszolt felmérés azokat az embereket méri, akik úgy döntöttek, hogy válaszolnak, és akik szisztematikusan különböznek azoktól, akik nem tették. Az alacsony, egyszámjegyű válaszadási arányok gyakoriak, és az ilyen minták eredményei egy nem reprezentatív és általában jobban elkötelezett populációt írnak le. Az eredmények úgy való bemutatása, mintha az ügyfélkört írnák le, a kereskedelmi felmérési gyakorlatban a legsúlyosabb hiba.

A kísérleti felmérés a leggyakrabban kihagyott lépés, és ez az, amely a legkárosabb hibákat tárja fel. Egy kis számú válaszadóval lefuttatott vázlatos kérdőív, ideális esetben egy rövid utólagos beszélgetéssel arról, hogyan értelmezték az egyes kérdéseket, olyan kétértelműségeket tár fel, amelyek láthatatlanok a készítő számára. Az egyértelműnek tűnő kérdéseket kétféleképpen olvassák, a skálákat másképp értelmezik, mint ahogy szánták, és az utasításokat teljesen figyelmen kívül hagyják. Mivel egy kísérleti felmérés költsége töredéke egy teljes kérdőív kitöltésének és az értelmezhetetlennek bizonyuló eredmények elemzésének költségeinek, a kihagyása egy hamis megtakarítás, amely magabiztos következtetéseket von le olyan adatokból, amelyeket senki sem tud megvédeni.

A következő gyakorlati útmutatás az, hogy szerényen kell mérlegelni egy felmérés lehetőségeit. A felmérések jól alkalmasak az attitűdök és az önbevalláson alapuló állapotok mérésére egy mintán belül, ugyanazon mérési módszer következetes nyomon követésére az idő múlásával, valamint a kvalitatív munka során már azonosított témák számszerűsítésére. Gyengén magyarázzák meg a miérteket, nem jósolják meg a viselkedést, és nem fedeznek fel olyan dolgokat, amikre a tervező nem gondolt rákérdezni. Egy... felhasználói kutatás programban akkor a legértékesebbek, ha interjúk után, nem pedig előtte használják őket, hogy felmérjék a már megértett mintázatokat, és az elemzési és mintavételi szempontokat jellemzően a adatelemzés úgy működik, hogy az eredmények súlyozottak és kikötésekkel alátámasztottak legyenek, ahelyett, hogy egyértelmű tényként közölnék őket.