Datavarehus

Et datalager er et sentralt arkiv som konsoliderer data fra en organisasjons driftssystemer til en struktur designet for analyse snarere enn for transaksjonsbehandling. Data hentes ut fra kildesystemer, transformeres til konsistente formater og definisjoner, og lastes inn i lageret, hvor de kan spørres på tvers av kilder uten å påvirke systemene som produserte dem.

Problemet den løser er fragmentering. En organisasjons informasjon ligger vanligvis i en handelsplattform, et kunderelasjonssystem, en finanspakke, markedsføringsverktøy, støtteprogramvare og flere regneark, hver med sine egne definisjoner, identifikatorer og historikk. Spørsmål som strekker seg over mer enn ett av disse kan ikke besvares uten manuell avstemming, og det er derfor analyser som burde ta minutter tar dager, og hvorfor forskjellige avdelinger produserer forskjellige tall for samme måleenhet.

Å skille analytiske arbeidsbelastninger fra driftsmessige er den andre grunnen, og det er en praktisk nødvendighet snarere enn en preferanse. Komplekse analytiske spørringer som kjøres mot produksjonsdatabaser forringer ytelsen til systemene kunder og ansatte er avhengige av, og driftsskjemaer er optimalisert for registrering av transaksjoner i stedet for aggregering på tvers av dem. Et lager tillater analyse uten begrensninger uten driftsrisiko.

Forskjellen fra en datasjø gjelder struktur og timing. Et lager pålegger skjemaer og transformasjoner før lasting, noe som produserer konsistente, spørringsklare data på bekostning av forhåndsdesignarbeid og redusert fleksibilitet. En innsjø lagrer rådata i sin opprinnelige form og bruker struktur når de leses, noe som bevarer fleksibilitet og detaljer samtidig som det legger tolkningsbyrden på hver forbruker. Moderne arkitekturer kombinerer i økende grad begge deler, lagrer rådata og bygger modellerte lag over dem.

Modellering er der mesteparten av verdien og mesteparten av vanskeligheten ligger. Å bestemme hvordan forretningsenheter defineres, hvordan målinger beregnes, hvordan sakte endrede attributter håndteres og hvordan kilder avstemmes, koder organisasjonens forståelse av seg selv. Lagre som replikerer kildesystemstrukturer uten dette arbeidet, flytter ganske enkelt fragmenteringen, og avstemmingsproblemet dukker opp igjen ved spørringstid.

Definisjonsstyring er viktigere enn teknologi. Et lager som inneholder tre inntektsberegninger, eller to definisjoner av en aktiv kunde, produserer uenighet med større effektivitet enn systemene det erstattet. Å bli enige om definisjoner, dokumentere dem, implementere hver enkelt én gang og kreve at rapporter bruker den avtalte versjonen er det som gjør en enkelt kilde til sannhet reell snarere enn ambisiøs.

Oppdateringsfrekvens er en designbeslutning som ofte tas som standard og deretter angres. Kontinuerlig lasting av data er teknisk mulig og sjelden nødvendig, siden de fleste forretningsbeslutninger tas i daglige eller ukentlige rytmer, og kostnadene for nær sanntidsbehandling er betydelige. Ved å tilpasse oppdateringsfrekvensen til hvordan dataene faktisk brukes, i stedet for hvor oppdaterte de teoretisk sett kan være, unngår man å betale for valuta som ingen handler ut fra.

Kostnaden har endret form i stedet for å forsvunne med skyplattformer. Lagring er billig, og databehandling belastes etter bruk, noe som fjerner den store startinvesteringen og introduserer en variabel kostnad som skaleres med spørrevolumet. Dårlig skrevne spørringer, unødvendig oppdateringsfrekvens og dashbord som beregner store aggregater på nytt i hver visning, kan føre til regninger som overrasker organisasjoner som forventer at skyøkonomi skal være gjennomgående billigere.

Fordi arbeidet spenner over ingeniørfag, modellering og organisatorisk enighet om definisjoner, mislykkes det oftere på det siste av disse enn på teknologien. I praksis ligger modelleringen og definisjonsstyringen bak. dataanalyse, rørledningene og infrastrukturen med produktutvikling eller IT avdeling, og omfanget settes vanligvis best av beslutningene organisasjonen faktisk må ta, snarere enn av en ambisjon om å konsolidere alt.