Tietojen laatu

Datan laatu kuvaa sitä, sopiiko data käyttötarkoitukseensa, ja juuri tämä rajoite määrittää kaiken sen päälle rakennetun arvon. Kehittyneet analyysit, koneoppimismallit ja johdon kojelaudat perivät kaikki syötteidensä laadun, ja organisaatiot investoivat säännöllisesti paljon analyyttiseen kerrokseen jättäen taustalla olevan datan tutkimatta.

Perinteiset ulottuvuudet tarjoavat hyödyllisen tarkistuslistan. Tarkkuus koskee sitä, kuvaavatko arvot todellisuutta oikein. Täydellisyys koskee sitä, ovatko odotetut arvot läsnä. Johdonmukaisuus koskee sitä, esitetäänkö sama tosiasia identtisesti eri järjestelmissä. Ajantasaisuus koskee sitä, onko data riittävän ajankohtaista sen tukeman päätöksen tekemistä varten. Validius koskee vaatimustenmukaisuutta määriteltyjen muotojen ja sääntöjen kanssa. Ainutlaatuisuus koskee sitä, esitetäänkö entiteetit kerran vai kahdennetaan.

Useimmat laatuongelmat syntyvät pikemminkin tallennuksessa kuin käsittelyssä. Vapaat tekstikentät, joissa tarvittiin kontrolloituja arvoja, lomakkeet, jotka sallivat epätodennäköisiä merkintöjä, järjestelmällisesti ohitettavat valinnaiset kentät ja prosessit, jotka mahdollistavat saman asiakkaan luomisen toistuvasti, aiheuttavat kaikki virheitä, joita mikään jatkopuhdistus ei täysin korjaa. Tietojen keräämisen korjaaminen on tehokkaampaa ja huomattavasti halvempaa kuin jatkuva korjaus, vaikka se edellyttääkin muiden omistamien järjestelmien muuttamista.

Kaksoiskappaleet ovat asiakastietojen itsepintaisin ja seurauksellisin ongelma. Ilman luotettavaa henkilöllisyyden selvitystä sama henkilö esiintyy useita kertoja, mikä vääristää asiakasmääriä, jakaa ostohistorian, heikentää elinkaaren arvon laskemista ja johtaa näkyvään epäonnistumiseen, jossa yhteen henkilöön otetaan yhteyttä useita kertoja eri viesteillä. Kaksoiskappaleiden poistaminen vaatii harkittuja yhteensopivuussääntöjä ja jatkuvaa soveltamista kertaluonteisen siivouksen sijaan.

Mittaaminen muuntaa laadun vaikutelmasta hallituksi ominaisuudeksi. Datan profilointi täydellisyyden, pätevyyden ja päällekkäisyyksien kvantifioimiseksi, näiden mittareiden seuraaminen ajan kuluessa ja tutkimuksen käynnistävien kynnysarvojen asettaminen tekevät heikkenemisestä näkyvää ennen kuin se vaikuttaa päätöksiin. Organisaatiot, jotka eivät mittaa laatua, löytävät ongelmia jonkin siitä riippuneen asian vikaantumisen kautta.

Omistajuus on organisaation edellytys, jota ilman mikään ei parane. Laatuongelmat saavat tyypillisesti alkunsa yhdestä järjestelmästä, ne havaitaan toisessa ja vaikuttavat kolmanteen, ja ilman nimettyä vastuuta jokainen toiminto kohtuudella pitää sitä jonkun toisen ongelmana. Omistajan nimeäminen jokaiselle merkittävälle tietojoukolle, joka on vastuussa sen laadusta eikä pelkästään sen saatavuudesta, muuttaa tunnistetut ongelmat korjatuiksi.

Perintötietoihin perustuvat päätökset organisaatiot usein lykkäävät päätöksentekoa. Aiempien prosessien mukaisesti, hankituista järjestelmistä tai ennen validointia kerätyt historiatiedot ovat usein heikkolaatuisia, ja niiden korjaaminen voi olla kalliimpaa kuin niiden analyyttinen arvo. On rehellisempää päättää yksiselitteisesti, mitkä historialliset ajanjaksot ovat luotettavia, dokumentoida niiden rajat ja jättää loput pois analyysistä kuin sekoittaa hiljaa luotettavaa ja epäluotettavaa historiaa.

Tarkoitukseen sopivuus on se määrite, joka pitää työmäärän oikeasuhteisena. Suuntatrendin tunnistamiseen riittävä data voi olla täysin riittämätöntä taloudelliseen raportointiin tai malliin, joka tekee automatisoituja päätöksiä yksilöistä. Vaaditun standardin määrittäminen käyttötarkoituskohtaisesti yhdenmukaisen täydellisyyden tavoittelun sijaan ohjaa korjaavia toimia sinne, missä virheiden seuraukset ovat suurimmat, ja välttää kalliin työn datan parissa, jonka epätarkkuudella ei ole merkitystä.

Koska syyt ovat yleensä operatiivisissa järjestelmissä ja prosesseissa eikä analytiikkatoiminnoissa, parantaminen vaatii yhteistyötä tiimeiltä, ​​joiden tavoitteisiin ei kuulu datan laatu. Käytännössä mittaaminen ja profilointi toteutetaan data-analytiikka, tallennuspuolen korjaukset edellyttävät muutosten toimittamista tuotekehitys, ja jos puutteet johtuvat lomakkeiden ja prosessien suunnittelusta, korjaustoimenpide on usein UX-tarkastus työskennellä niiden käyttöliittymien parissa, jotka alun perin keräävät dataa.