Data catalog

Wat is een data catalog?

Een data catalog is een centrale, doorzoekbare inventaris van alle data-assets in je organisatie: tabellen, views, dashboards, rapporten, bestanden, API's. Bij elk asset komt metadata: wie is eigenaar, welke kolommen zitten erin, waar komt de data vandaan, hoe vers is ze, welke kwaliteitsscore heeft ze, en wie mag ze gebruiken.

Zonder catalog leven data-assets verspreid over tientallen systemen (SQL Server, Fabric, Databricks, Snowflake, SharePoint, Excel op de netwerkschijf). Niemand weet wat er bestaat. Nieuwe medewerkers bouwen rapporten vanaf nul omdat ze niet vinden wat er al ligt. Met een catalog zoekt iemand één keer op "klantsegmentatie" en ziet welke datasets, welke dashboards en welke eigenaar relevant zijn.

Je kan een data catalog vergelijken met de bibliotheekcatalogus van vroeger: een kaartenbak die niet de boeken zelf bewaart, maar wel zegt waar ze staan, wie ze schreef, waarover ze gaan en of ze uitgeleend zijn. Een moderne catalog doet dat voor tabellen, dashboards en API's, en wordt automatisch bijgewerkt.

Welke informatie staat er in een data catalog?

Een volwassen catalog combineert meerdere lagen metadata.

Technische metadata
Kolommen, datatypes, primaire en foreign keys, partitionering, grootte, laatste refresh. Wordt meestal automatisch opgehaald door scanners die verbinding maken met bronsystemen. Microsoft Purview Unified Catalog, Atlan en OpenMetadata scannen bijvoorbeeld je Fabric-workspaces, Snowflake-accounts en dbt-projecten zonder handmatige input.

Business metadata
Een business glossary met termen in gewone taal: "Actieve klant = iemand met minstens één order in de afgelopen 90 dagen". Gekoppeld aan de technische tabellen zodat iedereen op dezelfde definitie werkt.

Ownership
Wie is eigenaar, wie is steward, welk team is eindverantwoordelijk. Daaraan hangt wie je kan bellen als een kolom rare waardes geeft.

Lineage
De keten van transformaties: welke bron voedt welke tussenlaag voedt welk rapport. Onmisbaar bij audits en bij het inschatten van impact voordat je iets wijzigt.

Data quality-scores
Completeness, uniqueness, geldigheid per regel, percentage nulls. Regels die in je warehouse of via aparte tools worden uitgevoerd en terugschrijven naar de catalog.

Classificaties
Gevoeligheidsniveau (public, internal, confidential), PII-flags, retentieregels, regulatoire tags. Ze sturen welke toegangspolicies van toepassing zijn.

Active versus passive catalogs

Een belangrijk onderscheid in het veld.

Passive catalogs
De klassieke variant: iemand vult de catalog handmatig of via periodieke scans. Binnen zes maanden loopt de inhoud achter op de werkelijkheid. Nieuwe tabellen ontbreken, oude blijven staan. Gebruikers vertrouwen het niet meer en gebruiken de catalog niet.

Active catalogs
Continu aangesloten op je bronsystemen. Wijzigingen in schema, nieuwe tabellen, refreshes, lineage-aanpassingen worden automatisch opgepikt. Quality-scores worden herberekend. Glossary-termen die niet meer gebruikt worden, flaggen zichzelf. Dat is de standaard geworden bij moderne tools zoals Microsoft Purview Unified Catalog, Atlan, Collibra en OpenMetadata.

De active/passive-as is de belangrijkste keuze bij tool-selectie. Een passieve catalog kost minder om te beginnen maar levert binnen een jaar amper waarde op. Actief bijgehouden maakt het verschil tussen een tool die gebruikt wordt en een tool waar de organisatie alleen over praat.

Data catalog versus data governance

Beide termen worden vaak door elkaar gebruikt. Ze zijn niet hetzelfde.

Een data catalog is een tool, een inventaris. Het beantwoordt de vraag "wat hebben we en waar staat het?". Data governance is het geheel van spelregels, rollen en processen dat bepaalt wat er mét die data mag: wie beslist, wie mag wat zien, welke kwaliteit aanvaardbaar is, hoe wijzigingen worden beheerd.

De catalog is de vindplaats, governance is de regelset. In de praktijk functioneert de ene niet zonder de andere. Een catalog zonder governance wordt een zoekmachine zonder toegangsregels. Governance zonder catalog wordt een beleid op papier dat niemand kan uitvoeren omdat de data-assets niet eens gedocumenteerd zijn.

Microsoft Purview is een voorbeeld van hoe de twee in één product kunnen zitten: Purview Unified Catalog voor de inventaris en discovery, plus data governance-features als access-policies, quality rules en compliance controls erbovenop. Andere spelers bouwen het modulair op (Atlan + Monte Carlo, Collibra + aparte DLP-tooling).

Waar moet je op letten bij het opzetten van een data catalog

Een lege catalog is erger dan geen catalog
Een tool uitrollen zonder content, eigenaars of processen, leidt tot een verlaten UI die mensen één keer openen. Begin klein: vijf tot tien kritieke datasets met volledige metadata, eigenaars, definities en quality-checks. Breid daarna uit.

Niemand voelt zich verantwoordelijk zonder benoemde stewards
Elke governance-domein moet een steward hebben die definities onderhoudt, issues oppakt en nieuwe assets goedkeurt. Zonder die rol is metadata binnen een week gedateerd.

Tool-first in plaats van proces-first
Een Purview-licentie kopen voordat je weet welke datasets, welke business-termen en welke owners je wil vastleggen, is geld in het water. Begin bij de processen (wie beslist wat), vul daarna de tool.

Over-automatisering zonder menselijke context
Automatische scanners vinden tabellen, niet hun bedoeling. "sales_fct_v3" is niet vanzelf begrijpelijk. Menselijke beschrijvingen, glossary-koppelingen en voorbeelden blijven nodig, hoe slim de AI-copilot ook wordt.

Ingebedde vindbaarheid
Mensen openen geen extra tool als ze in hun SQL-editor of Power BI zitten. De sterkste catalogs integreren zich in de werkomgevingen waar data al gebruikt wordt: VS Code-plugins, Slack-bot, Power BI-sidebar. Zonder die integratie blijft adoptie beperkt tot data-professionals.