Heuristisk evaluering

Heuristisk evaluering er en ekspertvurderingsmetode, hvor specialister undersøger en grænseflade i forhold til et sæt etablerede brugervenlighedsprincipper og registrerer, hvor den overtræder dem. Den blev udviklet af Jakob Nielsen og Rolf Molich i 1990 og blev designet som et hurtigt og billigt alternativ til brugertestning, der var i stand til at finde en betydelig andel af brugervenlighedsproblemer uden at rekruttere deltagere.

Metodens procedure er vigtigere end det specifikke heuristiske sæt, der anvendes. Hver evaluator gennemgår grænsefladen uafhængigt, typisk med to gennemgange, én for at blive fortrolig med flowet og én for at inspicere det systematisk. Resultaterne registreres med det overtrådte princip, placeringen og et estimat af alvorligheden baseret på hyppighed, indvirkning og vedvarende karakter. Først efter at alle evaluatorer er færdige uafhængigt, kombineres resultaterne, da diskussion under evalueringen forårsager konvergens og reducerer dækningen. Nielsens egen forskning tyder på, at tre til fem evaluatorer identificerer et stort flertal af de problemer, en større gruppe ville finde, med kraftigt faldende udbytte ud over det.

Dens primære fordele er hastighed og omkostninger. En grundig evaluering af et betydeligt flow kan gennemføres på få dage uden rekrutterings-, planlægnings- eller incitamentsbudgetter, og den kan anvendes på arbejde, der endnu ikke er bygget, herunder wireframes og prototyper. Den producerer også resultater udtrykt i form af etablerede principper, hvilket giver dem en begrundelse ud over individuelle meninger og gør dem lettere at forsvare i interessentdiskussioner.

Dens begrænsninger er ligeledes veldokumenterede. Ekspert-anmeldere er ikke brugere: de kender grænsefladekonventioner indgående, de deler ikke domæneforvirringen eller den følelsesmæssige kontekst hos rigtige kunder, og de kan ikke pålideligt identificere problemer, der opstår på grund af manglende kendskab til emnet. Metoden producerer også falske positiver, idet den markerer overtrædelser, der ikke væsentligt påvirker rigtige brugere, og den har en tendens til at overidentificere overfladiske problemer, mens den underidentificerer dybere konceptuelle uoverensstemmelser mellem produktet og brugerens mentale model. Evaluatorens kvalitet dominerer resultaterne: metoden er kun så god som de mennesker, der anvender den.

Af disse grunde forstås heuristisk evaluering bedst som et supplement til brugertestning snarere end en erstatning for den. Den praktiske rækkefølge, der fungerer godt, er først at køre en ekspertgennemgang, rette de åbenlyse overtrædelser og derefter præsentere den forbedrede version for rigtige brugere, så testsessionerne ikke opsluges af problemer, som enhver specialist kunne have identificeret. At køre dem den anden vej spilder deltagernes tid på defekter, der ikke krævede forskning for at opdage.

Alvorlighedsvurdering fortjener mere opmærksomhed, end den normalt får, fordi den afgør, om outputtet er brugbart. En liste med fyrre fund uden prioritering er vanskelig at handle på og har en tendens til at blive adresseret i den rækkefølge, der er nemmest, hvilket betyder, at kosmetiske problemer bliver løst, mens alvorlige problemer stadig eksisterer. En vurdering af hvert fund ud fra, hvor mange brugere det påvirker, hvor meget det hæmmer dem, og om det kan overvindes, når det først er lært, producerer en rangering, der er relateret til forretningsmæssige konsekvenser. Tilføjelse af et estimat af afhjælpningsindsatsen sammen med alvorsgraden gør listen til en plan, der adskiller de punkter med høj alvor og lav indsats, der bør rettes med det samme, fra de punkter med høj alvor og høj indsats, der skal indgå i en køreplan.

Fordi outputtet er en prioriteret opgørelse over defekter med alvorlighedsvurderinger, knyttes det direkte til en afhjælpningsefterslæb, hvilket er grunden til, at det danner rygraden i de fleste UX-revision arbejde. Resultater opdeles typisk i elementer, der kan rettes med det samme uden validering, fordi den nuværende adfærd simpelthen er defekt, og elementer, der repræsenterer et designvalg, der er værd at teste, som derefter indgår i en eksperimentel efterslæb. CRO-tjeneste program i stedet for at blive sendt udelukkende baseret på ekspertvurdering.