Datawarehouse

Een datawarehouse is een centrale opslagplaats die gegevens uit de operationele systemen van een organisatie consolideert in een structuur die is ontworpen voor analyse in plaats van voor transactieverwerking. Gegevens worden uit bronsystemen geëxtraheerd, omgezet naar consistente formaten en definities en in het datawarehouse geladen, waar ze kunnen worden opgevraagd uit verschillende bronnen zonder de systemen te beïnvloeden die de gegevens hebben gegenereerd.

Het probleem dat wordt aangepakt, is fragmentatie. De informatie van een organisatie bevindt zich doorgaans in een e-commerceplatform, een klantrelatiesysteem, een financieel pakket, marketingtools, ondersteunende software en diverse spreadsheets, elk met zijn eigen definities, identificaties en geschiedenis. Vragen die betrekking hebben op meer dan één van deze systemen kunnen niet worden beantwoord zonder handmatige afstemming. Dit verklaart waarom analyses die minuten zouden moeten duren, dagen in beslag nemen en waarom verschillende afdelingen verschillende cijfers produceren voor dezelfde indicator.

Het scheiden van analytische en operationele taken is de tweede reden, en het is eerder een praktische noodzaak dan een voorkeur. Complexe analytische query's die worden uitgevoerd op productiedatabases verminderen de prestaties van de systemen waar klanten en medewerkers van afhankelijk zijn, en operationele schema's zijn geoptimaliseerd voor het registreren van transacties in plaats van voor het aggregeren ervan. Een datawarehouse maakt onbelemmerde analyses mogelijk zonder operationeel risico.

Het verschil met een datawarehouse zit hem in de structuur en de timing. Een datawarehouse legt een schema en transformatie op vóór het laden, waardoor consistente, queryklare data ontstaat, maar dit gaat ten koste van ontwerpwerk vooraf en een beperkte flexibiliteit. Een datalake slaat ruwe data op in de oorspronkelijke vorm en past structuur toe wanneer de data wordt gelezen. Dit behoudt flexibiliteit en detail, terwijl de interpretatieverantwoordelijkheid bij de gebruiker ligt. Moderne architecturen combineren steeds vaker beide: ruwe data wordt opgeslagen en daar bovenop worden gemodelleerde lagen gebouwd.

Modelleren is waar de meeste waarde, maar ook de meeste moeilijkheden, schuilen. De manier waarop bedrijfsentiteiten worden gedefinieerd, hoe meetwaarden worden berekend, hoe langzaam veranderende attributen worden behandeld en hoe bronnen worden afgestemd, weerspiegelt het zelfbeeld van de organisatie. Datawarehouses die de structuur van bronsystemen repliceren zonder dit werk te doen, verplaatsen de fragmentatie simpelweg, waardoor het afstemmingsprobleem zich opnieuw voordoet tijdens het uitvoeren van query's.

Definitiebeheer is belangrijker dan technologie. Een datawarehouse met drie verschillende omzetberekeningen, of twee definities van een actieve klant, leidt efficiënter tot meningsverschillen dan de systemen die het verving. Het vaststellen van definities, deze documenteren, elke definitie eenmalig implementeren en vereisen dat rapporten de overeengekomen versie gebruiken, maakt van één betrouwbare bron van waarheid een realiteit in plaats van een utopie.

De vernieuwingsfrequentie is een ontwerpbeslissing die vaak standaard wordt genomen en waar men later spijt van krijgt. Het continu laden van gegevens is technisch mogelijk, maar zelden nodig, aangezien de meeste zakelijke beslissingen op dagelijkse of wekelijkse basis worden genomen en de kosten van bijna realtime verwerking aanzienlijk zijn. Door de updatefrequentie af te stemmen op hoe de gegevens daadwerkelijk worden gebruikt, in plaats van op hoe actueel ze theoretisch zouden kunnen zijn, wordt voorkomen dat er wordt betaald voor gegevens waar niemand iets mee doet.

De kostenstructuur is veranderd in plaats van verdwenen met cloudplatformen. Opslag is goedkoop en rekenkracht wordt per gebruik gefactureerd, waardoor de grote investering vooraf vervalt en er variabele kosten ontstaan ​​die meegroeien met het queryvolume. Slecht geschreven queries, onnodig frequente vernieuwingen en dashboards die grote aggregaties voor elke weergave opnieuw berekenen, kunnen leiden tot rekeningen die organisaties verrassen die verwachten dat cloudkosten overal lager zullen zijn.

Omdat het werk engineering, modellering en organisatorische overeenstemming over definities omvat, mislukt het vaker op dat laatste punt dan op de technologie zelf. In de praktijk liggen de modellering en het governanceproces rond definities bij elkaar. Data analyticsde pijpleidingen en infrastructuur met productontwikkeling of de IT afdelingEn de reikwijdte wordt doorgaans het best bepaald door de beslissingen die de organisatie daadwerkelijk moet nemen, in plaats van door de ambitie om alles te consolideren.