Data vault

Wat is een data vault?

Een data vault is een manier om je data warehouse te modelleren waarbij je van elke bron alles bijhoudt: elke waarde, elke wijziging, samen met het moment van laden en het systeem waar ze vandaan kwam. Verhuist een klant, dan overschrijf je het oude adres niet. Er komt een rij bij, en het oude adres blijft staan.

De methode is bedacht door Dan Linstedt. Hij beschreef ze in 2002 als een set genormaliseerde, uniek gelinkte tabellen die de historiek van één of meer bedrijfsdomeinen volgen. In gewone taal: een warehouse-laag die nooit iets vergeet en waarin elk cijfer traceerbaar blijft tot aan zijn bron.

Je kan een data vault vergelijken met het archief van een notaris. Elke akte blijft bewaard, met datum en herkomst erbij. Een nieuwe versie komt er gewoon bij te liggen, met de oude er nog achter.

De drie bouwstenen: hubs, links en satellites

Een data vault bestaat uit drie soorten tabellen. Neem als voorbeeld een webshop die klanten en bestellingen bijhoudt.

De hub: de zakelijke sleutel

Een hub bevat alleen de business key: het nummer of de code waarmee de business iets herkent, zoals het klantnummer. Geen naam, geen adres. Alleen die sleutel, plus twee metadatakolommen: wanneer de rij geladen werd en uit welk bronsysteem ze kwam.

De hub Klant zegt dus enkel: klant 4712 bestaat, en we zagen hem voor het eerst op 3 maart in het CRM. Meer niet.

De link: de relatie

Een link legt de relatie tussen hubs vast. Klant 4712 plaatst bestelling 88041: dat is één rij in de link tussen de hub Klant en de hub Bestelling. Ook hier alleen sleutels en dezelfde metadata, geen bedragen of omschrijvingen.

De satellite: de eigenschappen met historiek

Alles wat een klant of bestelling beschrijft, hangt als satellite aan een hub of link: naam, adres, telefoonnummer, status. Elke wijziging wordt een nieuwe rij met een nieuwe laaddatum. Wil je weten op welk adres klant 4712 woonde toen bestelling 88041 vertrok, dan lees je dat gewoon af.

Eigenschappen die in een ander tempo veranderen, zet je in aparte satellites. Adresgegevens apart van marketingvoorkeuren bijvoorbeeld, zodat je niet telkens alles kopieert als er één veld wijzigt.

Waarom teams voor een data vault kiezen

• Auditeerbaarheid. Elke rij draagt zijn laadmoment en zijn bron mee. Vraagt een revisor of een toezichthouder waar een cijfer vandaan komt, dan toon je het antwoord in plaats van het te reconstrueren.

• Bronnen aankoppelen zonder verbouwen. Een nieuw boekhoudpakket of een overgenomen bedrijf erbij? Je voegt hubs, links en satellites toe naast wat er al staat. De bestaande tabellen en laadjobs blijven ongemoeid.

• Parallel laden. Hubs, links en satellites hangen nauwelijks van elkaar af. Klanten, producten en bestellingen kunnen tegelijk geladen worden, wat bij grote volumes laadtijd bespaart.

De plaats in de architectuur

Een data vault is geen rapportagelaag. De tabellen zijn gebouwd om te schrijven en te bewaren, niet om leesbaar te zijn voor wie een omzetgrafiek wil.

Daarom staat de vault bijna altijd in het midden van de architectuur. Vooraan komt de ruwe data binnen, in het midden integreert de vault alle bronnen met volledige historiek, en daarbovenop bouw je ster-schema's of data marts waar Power BI en andere rapporttools op werken. Op een lakehouse valt dat samen met de medallion-lagen: ruwe data in bronze, de vault in silver, dimensionele modellen in gold. Zowel Microsoft als Databricks beschrijven die opstelling in hun documentatie.

Rapportbouwers zien de vault zelf dus zelden. Zij werken op de sterren erboven, die je telkens opnieuw kan opbouwen vanuit de vault.

Data vault versus dimensioneel modelleren en normalisatie

Versus dimensioneel modelleren (Kimball)

De twee methodes lossen een ander probleem op. Dimensioneel modelleren maakt data leesbaar en snel voor rapportage: één feittabel, dimensies errond, klaar. Een data vault maakt data integreerbaar en bewaarbaar: alles blijft, alles is traceerbaar, maar niemand wil er rechtstreeks een rapport op bouwen.

Het is dus geen of-of. De gangbare combinatie is een vault aan de achterkant en Kimball-sterren aan de voorkant.

Versus een genormaliseerde kopie van je bronnen

Je kan je bronnen ook gewoon genormaliseerd overnemen in een integratielaag, zoals de school van Bill Inmon voorschrijft. Dat werkt, tot een bron van structuur verandert of twee systemen elkaar tegenspreken. Dan moet je die laag verbouwen, en elke aanpassing raakt de tabellen en laadjobs die er al staan.

De data vault splitst sleutels, relaties en eigenschappen precies om dat te vermijden: een nieuwe structuur betekent nieuwe tabellen ernaast, geen gesleutel aan bestaande. En waar een klassieke genormaliseerde laag historiek apart moet regelen, is historiek in een vault de standaard.

Waar moet je op letten bij een data vault

Het aantal tabellen groeit hard. Wat in de bron één klantentabel is, wordt in de vault een hub, een handvol satellites en een paar links. Met tientallen bronnen zit je snel aan honderden tabellen, en elke vraag aan de vault vergt een lange reeks joins. Vandaar dat je de rapportagelaag erboven vanaf dag één moet meerekenen.

De methode vraagt ook discipline en tooling. De laadpatronen zijn zo repetitief dat teams ze genereren in plaats van met de hand te schrijven. Zonder die automatisering en zonder strikte naamafspraken loopt een vault-project vast.

En wees eerlijk over de schaal. Een KMO met een boekhoudpakket, een CRM en een paar Excels heeft aan een rechtstreeks ster-schema meestal genoeg. Een data vault loont pas bij veel bronnen, veel structuurwijzigingen of harde audit-eisen. Wie er te vroeg aan begint, betaalt de complexiteit zonder de voordelen te zien.

FAQ over data vault

1. Is een data vault een beveiligingsproduct?
Nee. De naam doet denken aan een kluis voor wachtwoorden of sleutels, zoals Azure Key Vault, maar een data vault is een modelleermethode voor je data warehouse. Met beveiliging heeft ze niets te maken.

2. Vervangt een data vault het ster-schema?
Nee, ze vullen elkaar aan. De vault bewaart en integreert aan de achterkant, het ster-schema serveert aan de voorkant. De meeste vault-architecturen bouwen hun rapportagelaag als dimensionele marts bovenop de vault.

3. Heb ik als KMO een data vault nodig?
Meestal niet. Met een paar bronnen is rechtstreeks dimensioneel modelleren sneller en goedkoper. Denk pas aan een vault bij veel bronnen, veel wijzigingen of strenge audit-verplichtingen.

4. Wat is Data Vault 2.0?
De huidige versie van de methode. Ze breidt het oorspronkelijke datamodel uit met een volledige werkwijze en architectuur, met laadpatronen die parallel verwerken op grote volumes makkelijker maken.

5. Werkt een data vault op een lakehouse?
Ja. Databricks en Microsoft beschrijven allebei hoe je een vault bouwt op Delta-tabellen, met de vault in de silver-laag en dimensionele modellen in gold.