Datakvalitet

Datakvalitet beskriver huruvida data är lämpliga för de ändamål de används för, och det är begränsningen som avgör värdet av allt som byggs ovanpå dem. Sofistikerad analys, maskininlärningsmodeller och dashboards för ledningspersonal ärver alla kvaliteten på sina indata, och organisationer investerar regelbundet kraftigt i det analytiska lagret samtidigt som de underliggande data inte granskas.

De konventionella dimensionerna utgör en användbar checklista. Noggrannhet handlar om huruvida värden korrekt beskriver verkligheten. Fullständighet handlar om huruvida förväntade värden finns. Konsekvens handlar om huruvida samma faktum representeras identiskt över olika system. Aktualitet handlar om huruvida data är tillräckligt aktuella för det beslut den stöder. Validitet handlar om överensstämmelse med definierade format och regler. Unikhet handlar om huruvida entiteter representeras en gång snarare än dupliceras.

De flesta kvalitetsproblem uppstår vid insamling snarare än i bearbetning. Fritextfält där kontrollerade värden behövdes, formulär som tillåter osannolika poster, valfria fält som systematiskt hoppas över och processer som gör att samma kund kan skapas upprepade gånger introducerar alla fel som ingen nedströms rengöring helt reparerar. Att åtgärda inkasso är mer effektivt och betydligt billigare än ständig åtgärd, även om det kräver att system som andra äger ändras.

Dubblettregister är det mest ihållande problemet med kunddata och det mest betydande. Utan tillförlitlig identitetshantering dyker samma person upp flera gånger, vilket förvränger kundantal, delar upp köphistoriken, undergräver beräkningen av livstidsvärdet och skapar det synliga misslyckandet att kontakta en person flera gånger med olika meddelanden. Deduplicering kräver avsiktliga matchningsregler och kontinuerlig tillämpning snarare än en engångsrensning.

Mätning är det som omvandlar kvalitet från ett intryck till en hanterad egenskap. Att profilera data för att kvantifiera fullständighet, validitet och dupliceringsfrekvens, spåra dessa mått över tid och sätta tröskelvärden som utlöser utredning gör försämring synlig innan den påverkar beslut. Organisationer som inte mäter kvalitet upptäcker problem genom att något som var beroende av den misslyckats.

Ägarskap är det organisatoriska villkor utan vilket ingenting förbättras. Kvalitetsproblem uppstår vanligtvis i ett system, upptäcks i ett annat och påverkar ett tredje, och i avsaknad av tilldelat ansvar betraktar varje funktion det rimligen som någon annans problem. Att utse en ägare för varje betydande dataset, som är ansvarig för dess kvalitet snarare än bara för dess tillgänglighet, är det som förvandlar identifierade problem till åtgärdade.

Äldre data utgör ett beslut som organisationer ofta skjuter upp. Historiska register som samlats in under tidigare processer, från förvärvade system eller innan validering existerade är ofta dåliga, och att åtgärda dem kan vara dyrare än det analytiska värde de har. Att uttryckligen avgöra vilka historiska perioder som är tillförlitliga, dokumentera gränsen och exkludera resten från analysen är mer ärligt än att i tysthet blanda ihop tillförlitlig och otillförlitlig historia.

Ändamålsenlighet är den indikator som håller ansträngningen proportionell. Data som är tillräckliga för att identifiera en riktad trend kan vara helt otillräckliga för finansiell rapportering eller för en modell som fattar automatiserade beslut om individer. Att definiera den erforderliga standarden per användning, snarare än att sträva efter enhetlig perfektion, styr åtgärden där konsekvenserna av fel är störst och undviker dyrt arbete med data vars oprecision inte spelar någon roll.

Eftersom orsakerna vanligtvis ligger i operativa system och processer snarare än i analysfunktionen, kräver förbättringar samarbete från team vars mål inte inkluderar datakvalitet. I praktiken fastställs mätning och profilering av uppgifter analytics, korrigeringarna på infångningssidan kräver ändringar som levereras via produktutveckling, och där bristerna har sitt ursprung i hur former och processer utformas, ligger lösningen ofta hos UX revision arbeta med gränssnitten som samlar in data från första början.