Metadata

Wat is metadata?

Metadata is data over data. Alles wat beschrijft wat een dataset is, waar ze vandaan komt, hoe vers ze is en hoe je ze mag gebruiken. Niet de cijfers zelf dus, wel het verhaal errond.

Denk aan het etiket op een bokaal confituur. De inhoud is het product, het etiket vertelt wat erin zit, tot wanneer ze houdbaar is en voor welke allergenen je moet opletten. Zonder etiket moet je de bokaal openen en zelf proeven. Met etiket weet je in één oogopslag of je ze kan gebruiken.

Je maakt trouwens elke dag metadata zonder erbij stil te staan. Elke foto op je telefoon krijgt automatisch een datum, een locatie en het toesteltype mee. Daardoor kan je zoeken op "foto's van vorige zomer aan zee" zonder door duizenden beelden te scrollen.

Voor bedrijfsdata werkt het net zo. Een tabel met klantorders is de data. De metadata zegt welke kolommen erin zitten, wie de eigenaar is, wanneer ze het laatst ververst werd en wat "omzet" in die tabel precies betekent.

De drie soorten metadata

Technische metadata
Kolomnamen, datatypes, sleutels, bestandsgroottes. Dit is de laag die systemen grotendeels zelf bijhouden. Amazon S3 slaat bijvoorbeeld bij elk bestand automatisch de grootte, het bestandstype en de laatste wijzigingsdatum op. Een database kent zijn eigen schema.

Business metadata
Wat betekent dit veld? Wie is eigenaar? Telt "omzet" inclusief of exclusief btw? Deze laag kan geen scanner voor je invullen: ze zit in de hoofden van je mensen tot iemand ze opschrijft.

Operationele metadata
Wanneer liep de laatste refresh, via welke pijplijn, hoe lang duurde die, en hoe vaak wordt de tabel eigenlijk geraadpleegd. Handig om te zien of een dataset nog leeft of al maanden stof vergaart.

Tools zoals Microsoft Purview houden die lagen naast elkaar bij: technische metadata komt binnen via scanners, business metadata via beschrijvingen en glossary-termen, operationele metadata via de runs van je pijplijnen.

Wat levert goede metadata op?

Vindbaarheid
Wie een rapport wil bouwen, zoekt eerst wat er al bestaat. Zonder metadata vindt die persoon niks en bouwt alles opnieuw. Zo ontstaan drie versies van hetzelfde klantenbestand.

Vertrouwen in cijfers
Een cijfer in een dashboard is maar zoveel waard als je weet waar het vandaan komt. Staat er bij de bron wie ze beheert en wanneer ze laatst ververst werd, dan hoeft niemand het nog in vraag te stellen tijdens de vergadering.

Impact inschatten voor je iets wijzigt
Wil je een kolom hernoemen of een bron vervangen, dan wil je vooraf weten welke rapporten daarop draaien. Die keten van bron naar rapport is zelf ook metadata: data lineage.

AI die je data begrijpt
De reden waarom metadata de laatste jaren hoog op de agenda staat. Vraag je aan Copilot of een AI-agent "hoeveel omzet draaiden we vorig kwartaal in Wallonië?", dan moet die eerst uitzoeken welke tabel omzet bevat en welke kolom de regio is. Daarvoor gebruikt hij de namen, beschrijvingen, relaties en datatypes uit je model. Hoe beter die beschrijvingen, hoe juister de antwoorden. Microsoft bouwde er in Power BI zelfs een aparte functie voor, Prep data for AI, waarmee je je model klaarmaakt voor Copilot. Een tabel die "tbl_fct_v3" heet zonder één regel uitleg, daar kan de slimste AI niks mee.

Waar wordt metadata bijgehouden?

Op twee plekken, en je hebt ze allebei nodig.

Ten eerste in de systemen zelf. Elke database kent zijn schema, elke cloudopslag houdt bestandseigenschappen bij, een Power BI-model draagt zijn eigen beschrijvingen en relaties mee. Dat werkt prima, tot je dertig systemen hebt en niemand nog het overzicht heeft.

Daarom verzamelen organisaties hun metadata daarnaast op één centrale plek: een data catalog zoals Microsoft Purview of de AWS Glue Data Catalog. Scanners halen de technische metadata automatisch op uit de bronsystemen, mensen vullen de businesscontext aan. Goed om te weten: zo'n catalog bevat alleen metadata, nooit de onderliggende data zelf.

Waarom metadata bijhouden een proces is en geen project

Veel organisaties pakken metadata aan als een eenmalige inhaalbeweging: drie maanden documenteren, alles beschreven, klaar. Zes maanden later klopt de helft niet meer. Zo loopt het meestal:

• Niemand vult het in. Documenteren staat op ieders takenlijst en dus op niemands takenlijst. Velden blijven leeg.

• Beschrijvingen verouderen in stilte. Een kolom krijgt een nieuwe betekenis, een bron wordt vervangen, maar de beschrijving vertelt nog het oude verhaal. Foute metadata is erger dan geen metadata: ze wekt vertrouwen dat ze niet verdient.

• Twee definities van dezelfde KPI. Sales telt een order als omzet bij bestelling, finance pas bij facturatie. Beide teams rapporteren "omzet" en elke maand opnieuw is het discussiëren welk cijfer juist is.

De oplossing is een ander soort afspraak, eerder dan een groter documentatieproject. Geef elke belangrijke dataset een eigenaar met naam en gezicht, iemand die je kan bellen als een veld rare waardes geeft. En maak metadata-onderhoud deel van elke wijziging: past iemand een pijplijn of een berekening aan, dan hoort de bijgewerkte beschrijving bij dezelfde taak, niet in een map "later documenteren".

Automatiseer daarnaast wat te automatiseren valt. Technische en operationele metadata kunnen scanners en pijplijnen zelf actueel houden. Dan blijft de menselijke inspanning beperkt tot wat echt mensenwerk is: betekenis en eigenaarschap.

Waar moet je op letten bij het gebruik van metadata

Begin bij de datasets die er echt toe doen
De cijfers die naar de directie of naar klanten gaan, verdienen volledige metadata: eigenaar, definities, versheid. De rest volgt later of nooit. Alles tegelijk documenteren is de snelste weg naar opgeven.

Kies één referentieplek
Definities die verspreid staan over een wiki, een Excel en drie hoofden, lopen gegarandeerd uiteen. Spreek af waar de waarheid staat en verwijs vanuit de rest daarnaartoe.

Meet of het gebruikt wordt
Operationele metadata vertelt je welke datasets vaak geraadpleegd worden en welke nooit. Gebruik dat: datasets waar niemand naar kijkt, hebben ook geen uitgebreide documentatie nodig.

FAQ over metadata

1. Is metadata hetzelfde als een data catalog?
Nee. Metadata is de beschrijvende informatie zelf, een data catalog is de plek waar je ze centraal verzamelt en doorzoekbaar maakt. Metadata bestaat ook zonder catalog, verspreid over je systemen.

2. Wordt metadata niet gewoon automatisch aangemaakt?
Deels. Technische en operationele metadata halen scanners en systemen zelf op. Business metadata niet: wat een veld betekent en wie eigenaar is, moet iemand opschrijven.

3. Waarom is metadata plots zo belangrijk voor AI?
AI-assistenten en agents redeneren op namen, beschrijvingen en relaties, niet op de data zelf. Kloppen die niet, dan pakken ze de verkeerde tabel of interpreteren ze een veld fout, en krijg je een fout antwoord dat er zelfverzekerd uitziet.

4. Hoeveel metadata is genoeg?
Genoeg dat een collega die de dataset niet kent, ze kan vinden, begrijpen en juist gebruiken zonder eerst drie mensen aan te spreken. Meer hoeft niet.