Valitse korttien lajittelu, puutestaus tai ensimmäisen napsautuksen testaus ennen valikon uudelleenpiirtämistä

Optimal Workshopin oma datajoukko, joka on koottu miljoonista puutestaustehtävistä, tallentaa 70 % tehtävien onnistumisprosentti oikean ensimmäisen klikkauksen jälkeen ja 24 % väärän klikkauksen jälkeenEnsimmäinen valitsema otsikko kantaa suurimman osan lopputuloksesta. Tuo numero ei kuitenkaan kerro, mikä tutkimus suoritetaan. Tiimit tekevät korttilajittelun, kun heillä on jo valikko ja he epäilevät vain sanamuotoja, testaavat puurakenteita, joiden sanastoa ei ole koskaan tarkistettu, ja väittelevät sitten tuloksista, jotka eivät koskaan ratkaisisi kysymystä. Tämä opas on tarkoitettu UX-liideille, tuotepäälliköille ja CRO-tiimeille, joilla on navigointiongelma ja kiinteä tutkimusbudjetti. Loppuun mennessä osaat sovittaa navigointipäätöksen yhteen kolmesta menetelmästä, määrittää tutkimuksen koon, asettaa läpäisykynnyksen ennen tiedonkeruuta ja todeta, mitä tulos ei voi todistaa.

Kolme menetelmää vastaavat kolmeen eri kysymykseen

Korttien lajittelu on generatiivista. Annat ihmisille sisältökohteesi ja annat heidän ryhmitellä ja nimetä ryhmät. Se kertoo, miten yleisösi jakaa toimialueen ja mitä sanoja he käyttävät. Se ei voi kertoa, toimiiko tietty valikko, koska tutkimuksessa ei ole valikkoa.

Puutestaus on arvioivaa. Riisut ehdotetun hierarkian pelkiksi tekstimäisiksi otsikoiksi, annat ihmisille tehtävän ja katsot, minne he menevät. Se kertoo, onko rakenne löydettävissä ja mikä haara nielee ihmiset. Kuten NN/g huomauttaa, pelkkä teksti -asetus poistaa tarkoituksella sijoittelun, värin ja kuvat, joten se eristää otsikon ja rakenteen laadun.

Ensimmäisen napsautuksen testaus on suppeampi. Yksi näyttö, yksi tehtävä, yksi tallennettu napsautus. Se kertoo yhdellä silmäyksellä, näkyykö aloituskohta oikein, eikä kerro mitään siitä, mitä tapahtuu kaksi tasoa alempana.

Väärän vaihtoehdon käyttäminen on yleinen epäonnistuminen. "Kukaan ei löydä palautuskäytäntöä" ei ole korttien lajittelukysymys. "Emme tiedä, merkitsevätkö 'ratkaisut' mitään ostajille" ei ole puutestauskysymys – puutesti mittaisi vain arvaustasi.

Kriteeritaulukko: valitse päätöksen, älä työkalun perusteella, johon sinulla on lisenssi

Päätöksentekosäännöt

• Ei rakennetta, tai sellaista, johon kukaan ei usko. Korttien lajittelu ensin – avoin, jos haluat sanastoa, suljettu, jos ylin taso on kiinteä ja vain sijoittelu on kyseenalainen.
• Kaksi ehdokasrakennetta ja kokous, joka ei lopu. Puu testaa molemmat. Se on ainoa kolmesta, joka ratkaisee rakenteellisen argumentin luvulla.
• Liikenne saapuu, mutta seuraava klikkaus on väärä. Testaa näyttöä ensimmäisellä napsautuksella. Älä rakenna arkkitehtuuria uudelleen yhden otsikon korjaamiseksi.
• Analytiikka näyttää jo, missä kohtaa ihmiset putoavat. Ohita etsintä. Testaa vuotava oksa puulla ja testaa sitten ensimmäisellä napsautuksella korvaavaa etikettiä.
• Uusi markkina-alue tai kieli. Korttien lajittelu kyseisellä kielellä kyseisen markkinan osallistujien kanssa. Käännetty ruokalista on testaamaton ruokalista.

Otoskoot ja kynnysarvot, joita voit puolustaa tarkastelussa

Korttien lajittelua varten Tullis ja Wood testasivat 168 käyttäjää ja analysoivat satunnaisia ​​osajoukkoja. Korrelaatio koko otoksen tulokseen oli 0.75 viidellä käyttäjällä, 0.90 15 käyttäjällä, 0.93 20 käyttäjällä, 0.95 30 käyttäjällä ja 0.98 60 käyttäjällä. Nielsenin tulkinta on seuraava: 15 käyttäjällä lopettaminen on mukavaa, 30 hyvin rahoitettujen projektien kohdalla. Käytettävyystestauksen viiden käyttäjän sääntö ei siirry – generatiivinen menetelmä tarvitsee riittävästi ihmisiä, jotta malli vakiintuu.

Puun testausta varten NN/g suosittelee vähintään 50 osallistujaa puuta kohden mielekkään puiden vertailun mahdollistamiseksi ja asettaa läpäisykynnykset Albertin ja Tullisin asteikkojen perusteella 98 tutkimuksessa: alle 40 % huono, 41–60 % kohtalainen, 61–80 % hyvä, 80–90 % erittäin hyvä, yli 90 % erinomainen. Sovi kynnysarvosta ennen kuin näet tiedot. Kriittisten tehtävien – kassalle maksaminen, hyvitys, ajanvaraus – tulisi läpäistä 90 %; mainosselaustehtävä voi läpäistä 70 %.

Lue suoruus menestyksen rinnalla, älä koskaan sen sijaan. Suuri menestys ja alhainen suoruus tarkoittavat, että ihmiset saapuvat perille harhailemalla: nimike on väärä, vaikka rakenne säilyykin. Tämä kaava on hyödyllisin signaali, jonka puutesti tuottaa.

Toimiva esimerkki

Verkkoapteekki, jonka pääotsikko on "Terveys" ja sen alla tukiartikkeli. Luvut ovat havainnollistavia, eivät asiakastietoja.

1. Puutesti, 60 osallistujaa, 8 tehtävää. "Ota selvää, korvaako reseptisi lääkkeesi." Onnistumisprosentti 58 %, suoraviivaisuus 22 % – kohtalainen rannekkeiden osalta, ja suoraviivaisuuden ero näkyy pakkauksen merkinnöissä.
2. Lue ensimmäisen napsautuksen taulukko. 41 % kategoriaan "Terveys", 33 % kategoriaan "Tuki", 18 % kategoriaan "Tili": kolme uskottavaa kotia tarkoittaa, että kategorian raja ei ole käyttäjien päässä.
3. Suljettu korttien lajittelu, 20 osallistujaa, käyttäen artikkelien otsikoita ja olemassa olevaa ylintä tasoa. Jos uutisotsikot jakautuvat kolmeen eri ryhmään, ylin taso on väärä, ei sanamuoto.
4. Kirjoita uudelleen ja testaa uudelleen. Uusi puu, samat 8 tehtävää, 60 uutta osallistujaa. Tavoitteena on yli 80 %:n onnistuminen ja yli 60 %:n suoruus.
5. Testaa uusi etiketti ensimmäisellä napsautuksella oikealla sivulla ennen lähettämistä. Puutestissä ei ollut visuaalista tuoksua; suoralla sivulla on.

[TARVITAAN SISÄISTÄ ​​TIETOA: korvaa tämä havainnollistava sarja anonymisoidulla Switas-puutestillä ennen/jälkeen, mukaan lukien onnistumis- ja suoruusluvut sekä tehtävien lukumäärä.]

Turkinkieliset etiketit ja miksi alueellinen tapaus ei ole kosmeettinen

Kaksi asiaa vaikeuttaa etikettien testaamista turkin ja useiden naapurikielten kielellä, ja molemmat ovat tärkeitä kaikille, jotka myyvät alueelle, eivätkä vain sieltä.

Ensinnäkin turkin kieli on agglutinatiivinen: merkitys pinoutuu vartalon päälle päätteinä, joten kategoria, joka koostuu kahdesta lyhyestä sanasta englanniksi, on usein yksi pitkä sana turkiksi. Englannin kieleen sopivat valikot täyttyvät, ja tiimit korjaavat tilanteen katkaisemalla – mikä on juuri se muuttuja, jota puutesti mittaa. Testaa otsikoita sen pituisina, jotka ne todellisuudessa renderöivät.

Toiseksi turkin kielessä on neljä I-kirjainta: pisteellinen İ (U+0130) ja i (U+0069), pisteetön I (U+0049) ja ı (U+0131). Turkin sääntöjen mukaan pienet kirjaimet i kartoittaa kohteeseen İ, Ei I, joten englanniksi kirjoitettu kirjainkokoa erottelematon haku epäonnistuu — hakusanalla "iptal" ei löydä tallennettua "IPTAL"-hakua. Jos sivustohaku, suodatinpalikat tai navigointipolun kirjainkoko -kutsu kulkee kieliasetuksista riippumattoman isojen kirjainten kutsun läpi, käyttäjät saavat tyhjän tulosjoukon olemassa olevalle termille. Sulje tämä pois ennen kuin syytät otsikkoa.

Myös vaatimustenmukaisuusetu on olemassa. WCAG 2.2:n onnistumiskriteeri 2.4.6, Otsikot ja nimikkeet, on tasolla AA ja edellyttää, että otsikot ja nimikkeet kuvaavat aihetta tai tarkoitusta. Nimike, joka on testattu 40 %:n onnistumisprosentilla, ei ole pelkästään konversio-ongelma; se on todiste vaatimustenmukaisuusväitettä vastaan.

Mitä nämä luvut eivät todista

Useimmin lainattu luku tässä on 87 %:n tehtävän onnistumisprosentti oikean ensimmäisen klikkauksen jälkeen verrattuna 46 %:iin väärän klikkauksen jälkeen. Luku on Baileyn ja Wolfsonin työstä vuosina 2006–2009. Suhtaudu tähän varoen: Optimal Workshopin oma, paljon suurempi aineisto antaa samalle vertailulle 70 % ja 24 %. Sama suunta, olennaisesti eri suuruudet – ja molemmat ovat laitteen sisällä mitattuja korrelaatioita, eivätkä todiste siitä, että klikkaustesti ennustaa sivuston toimintaa.

Tässä suhteessa Sauro, Schiavone, Du ja Lewis suorittivat 130 osallistujan kokeen vuonna 2023 vertaamalla staattisten kuvien ensimmäisiä klikkauksia live-sivustoihin: käyttäytyminen oli samanlaista, noin 6 %:n keskimääräinen absoluuttinen ero eri hotspot-alueiden välillä. He totesivat myös, etteivät he mitanneet loppupään tehtävien onnistumista ja että responsiiviset asettelut ja hiiren osoittimella varustetut valikot tuottivat todellisia eroja. Rehellinen väite on, että klikkaustestit toistavat, mihin ihmiset klikkaavat, eivätkä ennusta, viimeistelevätkö ihmiset tehtävän.

Puutestauksessa on rinnakkainen rajoitus. Kuric, Demcak ja Krajcovic vertasivat kolmea puutestausvarianttia saman arkkitehtuurin mukaisiin korkean tarkkuuden prototyyppeihin 180 osallistujalla ja 1 800 tehtävässä, eivätkä variantit olleet keskenään yhtäpitäviä; puun näkyvä variantti seurasi prototyypin käyttäytymistä tarkimmin, ja takaisinjäljitysmittarit erosivat merkittävästi. Jos työkalusi renderöi puun eri tavalla kuin se, josta vertailuarvo on peräisin, vertailuarvo ei siirry.

Missä tämä hajoaa

• Hakuja hallitsevat sivustot. Jos useimmat istunnot alkavat hakukentästä, optimoit polkua, jota harvat ihmiset käyttävät. Tarkista ensin istuntojen osuus, joissa on hakutapahtuma.
• Personoitu navigointi. Puutestaus olettaa yhden kiinteän hierarkian. Jos valikko eroaa segmenteittäin, testaat fiktiota.
• Hyvin pienet populaatiot. B2B- ja kliiniset yleisöt eivät usein pysty tarjoamaan 50 pätevää osallistujaa. Raportoi lukumäärien sijaan prosenttiosuudet ja sano ne toteen.
• Mikään kolmesta ei testaa ymmärrystä. He arvioivat löytämistä, eivät sen ymmärtämistä kerran löydettyään. Tämä vaatii käytettävyystestausta.
• Mikään niistä ei mittaa tuloja. Navigointikorjaus on kokeilua varten tehty hypoteesi, ei todistettu parannus. Lähetä se testin jälkeen.

Usein kysyttyjä kysymyksiä

Voinko suorittaa korttien lajittelun ja puutestin samoille osallistujille?

Ei samassa istunnossa. Lajittelu opettaa ihmisille mallisi, jotta he löytävät asioita, joita uusi vierailija ei löytäisi. Rekrytoi erilliset ryhmät tai jätä useita viikkoja väliin.

Kuinka monta osallistujaa tarvitsen korttikilpailuun?

Tullisin ja Woodin datassa viidentoista arvolla saat korrelaatiokertoimeksi 0.90 täyden otoksen tuloksen kanssa, ja 30 arvolla saat 0.95. Alle 15:n kuvio on epävakaa. Yli 30:n saa hyvin vähän kustannuksiin nähden.

Onko puutestiin todella välttämätöntä saada 50 osallistujaa?

Kahden puun kvantitatiiviseen vertailuun kyllä ​​– se on NN/g:n suositus. Yhden puun kohdalla, josta haluat löytää vain selvästi katkenneet oksat, 20–30 oksaa tuo esiin pahimmat rikkojat, mutta raportissa käytetään lukumääriä prosenttiosuuksien sijaan.

Mikä lasketaan läpäisyprosentiksi?

Päätä ennen juoksua. Käytä oletuksena Albertin ja Tullisin asteikkoa: yli 80 % on erittäin hyvä, 61–80 % on hyvä ja alle 40 % on huono. Nosta rima 90 prosenttiin tehtävissä, jotka liittyvät rahaan, lääkkeisiin tai laillisiin oikeuksiin.

Onnistuminen on korkeaa, mutta suoruus on vähäistä. Mitä korjaan?

Otsikko, ei rakenne. Ihmiset pääsevät oikeaan paikkaan tutkittuaan, mikä tarkoittaa, että kategoria on olemassa heidän mallissaan, mutta sanamuotosi ei viesti siitä. Kirjoita otsikko uudelleen ja testaa samat tehtävät uudelleen.

Poistaako tekoälytyökalu osallistujien tarpeen?

Ei näille menetelmille. Ne mittaavat, mitä tietty populaatio uskoo ja tekee; mallin arvaus kyseisestä populaatiosta on hypoteesi, ei data. Käytä malleja tehtävien laatimiseen ja avoimien otsikoiden ryhmittelyyn nopeammin.

Seuraava askel

Jos navigointiargumenttisi ei riitä ratkaisemaan analytiikkaa, halvin ratkaisu on puutesti molemmille ehdokasrakenteille etukäteen sovittujen kynnysarvojen avulla. Kirjoita tehtävät, aseta palkit ja suorita testi – tai anna meidän ajaa se ja ojennan sinulle listan katkenneista oksista paremmuusjärjestyksessä.

Lähteet

• Jakob Nielsen, Korttien lajittelu: Kuinka monta käyttäjää testataan, Nielsen Norman Group, 2004
• Tom Tullis ja Larry Wood, Kuinka monta käyttäjää on tarpeeksi korttien lajittelututkimukseen?, UPA 2004
• Page Laubheimer, Puiden testaus, osa 2: Tulosten tulkinta, Nielsen Norman Group, 19. tammikuuta 2024
• Samhita Tankala, Korttien lajittelu vs. puiden testaus, Nielsen Norman Group, 23. helmikuuta 2024
• Nielsen Norman Group, Puun testaus: Arvioi valikkotunnisteita ja luokkia
• Optimaalinen työpaja, oikeat ensimmäiset klikkaukset johtavat kolminkertaiseen tehtävien onnistumiseen, 13. huhtikuuta 2015
• Jeff Sauro, Will Schiavone, David Du ja Jim Lewis, Ennustavatko klikkaustestit sivustojen klikkauksia reaaliajassa?, MeasuringU, 21. maaliskuuta 2023
• Eduard Kuric, Peter Demcak ja Matus Krajcovic, Tietoarkkitehtuurin validointi: Puutestausvarianttien ja prototyyppikäyttäjätestauksen metodologinen vertailu, Information and Software Technology 183, heinäkuu 2025
• W3C, Onnistumiskriteerin 2.4.6 ymmärtäminen: Otsikot ja nimikkeet, WCAG 2.2
• Tex Texin, Turkin kansainvälistyminen: Pisteellinen ja pisteetön turkkilainen kirjain I