Data warehouse

Wat is een data warehouse?

Een data warehouse is een centrale databank die bedoeld is voor rapportering en analyse. Het verzamelt gegevens uit verschillende bronsystemen (ERP, CRM, webshop, boekhoudpakket), structureert die in een consistent model en bewaart ze historisch. Analisten, dashboards en AI-toepassingen halen er hun data uit zonder de onderliggende operationele systemen te belasten.

Je kan een data warehouse zien als het geheugen van een organisatie. Operationele systemen leven in het hier en nu: hoeveel voorraad heb je vandaag, welke factuur stuur je vandaag uit. Een warehouse beantwoordt vragen over evolutie: hoe is onze omzet de laatste drie jaar geëvolueerd, welke klanten haakten af na welke interactie, hoe verhoudt ons resultaat zich tot vorig kwartaal.

De klassieke definitie komt van Bill Inmon: een subject-oriented, integrated, time-variant, non-volatile verzameling data ter ondersteuning van beslissingen. Die vier eigenschappen zijn vandaag nog steeds relevant, ook al zien warehouses er technisch heel anders uit dan in de jaren negentig.

Waarvoor gebruik je een data warehouse?

1. Management-rapportering
   Maandelijkse omzetrapporten, kwartaalanalyses, bestuurs-dashboards. Klassiek, maar nog altijd de grootste gebruiker.

2. Zelfbedieningsanalyse
   Business-gebruikers bouwen zelf rapporten in tools zoals Power BI zonder de operationele systemen te belasten of zelf SQL te moeten schrijven tegen tien verschillende databases.

3. Historische analyse en trends
   Operationele systemen overschrijven oude waardes (klantadres, productprijs). Een warehouse bewaart de geschiedenis, zodat je kan kijken hoe dingen evolueerden.

4. Data-integratie
   Eén plaats waar klant-id uit CRM en klant-id uit facturatie samenkomen tot één klantbeeld. Zonder warehouse moet elke analist die integratie telkens opnieuw doen.

5. Basis voor AI en ML
   Machine learning-modellen hebben opgeschoonde, historische, gestructureerde data nodig. Het warehouse is vaak het vertrekpunt.

Hoe is een data warehouse opgebouwd?

Een klassiek warehouse kent meerdere lagen die elk hun eigen rol hebben.

Staging-laag
De ruwe data uit de bronsystemen komt hier binnen, zo min mogelijk bewerkt. Bedoeld om de last op de bronnen te beperken en de rest van de pipeline herstartbaar te maken.

Integratie-laag of data vault
De data wordt opgeschoond, ontdubbeld en samengebracht rond bedrijfsentiteiten (klant, product, order). Hier woont de waarheid die alle rapporten delen.

Presentatielaag of data marts
Op deze laag bouwt men star-schema's (feitentabellen omringd door dimensietabellen) die geoptimaliseerd zijn voor snelle rapportering. De Kimball-methodiek is hier de klassieker.

Daarnaast zijn er twee typische modelleringsstromingen:

• Kimball (dimensionele modellering)
  Pragmatisch, business-vriendelijk, star-schema's per onderwerp. Snel te bouwen, goed voor rapportering.

• Inmon (genormaliseerd)
  Eerst één groot genormaliseerd bedrijfsmodel, daarna data marts. Rigoureuzer, maar trager om eerste waarde op te leveren.

Technisch draaien moderne warehouses vaak op columnar storage. Bij kolomgebaseerde opslag bewaart het systeem alle waarden van één kolom naast elkaar. Dat is ideaal voor aggregaties (sommen, gemiddelden) over miljarden rijen en veel efficiënter dan rijgebaseerde opslag van klassieke transactionele databases.

Data warehouse versus operationele database

Beide zijn databases, maar hun doel en inrichting zijn fundamenteel anders.

Een operationele database (OLTP) ondersteunt dagelijkse transacties. Veel kleine lees- en schrijfoperaties, sterke normalisatie om redundantie te vermijden, focus op actuele toestand. Denk aan de database onder een webshop die per seconde honderden bestellingen verwerkt.

Een data warehouse (OLAP) ondersteunt analyse. Weinig maar grote lees-operaties, denormalisatie om joins te beperken, focus op historische en samengestelde waarden. Denk aan een rapport dat drie jaar verkoopdata samenvat per regio en productcategorie.

De twee worden niet door elkaar gebruikt. Rapporten rechtstreeks tegen een operationele database draaien belast dat systeem en vertraagt de business. Transacties uitvoeren op een warehouse mislukt of is pijnlijk traag. Daarom vertalen ETL- of ELT-pipelines de operationele data dagelijks of continu naar het warehouse.

Cloud data warehouses

De voorbije tien jaar zijn cloud-warehouses de standaard geworden. De grote spelers:

• Snowflake
  Pure cloud-warehouse, multi-cloud, gescheiden opslag en rekenkracht, makkelijke data-sharing tussen organisaties.

• Google BigQuery
  Serverless, betalen per query, diep verweven met het Google Cloud-ecosysteem.

• Amazon Redshift
  AWS-warehouse, sterk als je al diep in AWS zit, met uitbreiding Redshift Spectrum voor bevraging van S3-data.

• Microsoft Fabric Warehouse
  Onderdeel van Microsoft Fabric, gebouwd op OneLake, diep geïntegreerd met Power BI en Azure.

• Databricks SQL Warehouse
  SQL-laag bovenop een lakehouse, sterk voor teams die analyse en ML willen combineren.

De keuze tussen deze platformen hangt minder af van raw performance (ze zijn allemaal goed genoeg) en meer van welk ecosysteem je al gebruikt, welke tools je team kent en hoe je data-governance wil inrichten.

Data warehouse versus lakehouse

De opkomst van het lakehouse-concept deed de vraag ontstaan of een klassiek warehouse nog nodig is.

Een klassiek warehouse blinkt uit in gestructureerde data, voorspelbare performance, sterke governance en eenvoudige SQL-toegang. Minder geschikt voor ongestructureerde data (documenten, beelden) of experimentele machine learning-workloads.

Een lakehouse combineert een data lake (flexibele opslag van alle soorten data in open formaten) met warehouse-achtige features (ACID-transacties, SQL, performance). Geschikter voor organisaties die één platform willen voor BI én data science.

In moderne architecturen bestaan beide vaak samen. Het lakehouse bewaart ruwe en half-bewerkte data voor experimenten en ML. Het warehouse (of een gestructureerde laag binnen het lakehouse) bedient de zelfbedieningsrapportering met strakke definities en strikte beveiliging. Microsoft Fabric is een goed voorbeeld van een platform dat beide in één omgeving samenbrengt.