Data fabric

Wat is een data fabric?

Een data fabric is een softwarelaag die verspreide data uit al je systemen met elkaar verbindt, zonder die data eerst naar één centrale plek te verhuizen. Je klantendata staat in het CRM, je verkoopcijfers in een data warehouse, je facturen in de boekhouding en je logs in de cloud. Een data fabric legt daar een laag overheen die weet waar alles staat, wat het betekent en hoe je het mag gebruiken.

De sleutel is metadata: data over je data. Waar komt een tabel vandaan, wie is de eigenaar, hoe vaak wordt ze bevraagd, welke gevoeligheidsregels gelden. Een data fabric verzamelt die metadata over al je bronnen en gebruikt ze om data te vinden, te koppelen en beschikbaar te stellen. De data zelf blijft staan waar ze staat.

De term is groot geworden door analistenbureau Gartner, dat een data fabric omschrijft als een ontwerpconcept: een geïntegreerde laag van data en de processen die ze verbinden, gebouwd op continue analyse van vindbare metadata. Het is dus geen product dat je koopt, maar een aanpak die je opbouwt uit bestaande bouwstenen.

Vergelijk het met een centrale bibliotheekcatalogus voor een stad met twintig bibliotheken. De boeken blijven in hun eigen gebouw staan, maar één catalogus vertelt je waar elk boek ligt en of je het mag ontlenen. Je verhuist de boeken niet, je maakt ze vindbaar.

Data fabric versus Microsoft Fabric

Dit is de belangrijkste verwarring om meteen uit de weg te ruimen. Data fabric en Microsoft Fabric delen een woord, maar zijn twee verschillende dingen.

Een data fabric is een architectuurconcept, een manier om verspreide data te verbinden via metadata. Elke leverancier kan er een bouwen en er bestaat geen officiële definitie die je afvinkt.

Microsoft Fabric is een concreet product: een SaaS-platform van Microsoft dat opslag, dataverwerking en rapportering samenbrengt in één omgeving, met OneLake als gedeelde opslag en Power BI voor rapporten. Dat is een specifieke dienst met een prijskaartje, geen algemeen ontwerpprincipe.

Je kan een data-fabric-aanpak deels realiseren binnen Microsoft Fabric, net zoals binnen Snowflake of een zelfgebouwde stack. Maar het concept en het gelijknamige product hebben geen technische band. De naamgelijkenis is toeval.

De onderdelen van een data fabric

Een data fabric koop je niet als één stuk software. Je bouwt hem uit een aantal samenwerkende onderdelen.

Active metadata
Gewone metadata is passief: schema's, definities en logs die ergens stilstaan. Een data fabric maakt die metadata actief door het gebruik van je data continu te analyseren: welke tabellen worden vaak samen bevraagd, welke query's zijn traag, welke datasets raken verouderd. Op basis daarvan doet het systeem voorstellen of neemt het zelf actie, bijvoorbeeld een vaak gebruikte combinatie klaarzetten voor snellere toegang.

Een knowledge graph of semantische laag
Een knowledge graph legt de betekenis en de relaties tussen je data vast: dat een klant in het CRM dezelfde klant is als in de boekhouding, dat een factuur bij een order hoort. Zo weet de fabric waar data staat én hoe de stukken onderling samenhangen.

Datavirtualisatie
Met datavirtualisatie bevraag je data uit meerdere bronnen alsof ze in één database zit, terwijl ze fysiek verspreid blijft. Je haalt een klantoverzicht op dat onderliggend uit drie systemen komt, zonder die systemen eerst samen te voegen.

Een data catalog en governance
De data catalog is de vindplaats: een doorzoekbaar overzicht van alle datasets met hun beschrijving, eigenaar en herkomst. Daaraan hangt data governance vast: wie mag wat zien, welke classificatie geldt, hoe lang bewaar je data. In een fabric horen die regels centraal vastgelegd en automatisch afgedwongen te zijn.

Automatisering
Boven op die lagen loopt de automatisering die pijplijnen laat draaien, koppelingen voorstelt en beleid afdwingt. Dit neemt werk uit handen dat anders manueel werk zou zijn, zoals telkens opnieuw uitzoeken waar een cijfer vandaan komt.

Data fabric versus data mesh

Data fabric en data mesh worden vaak in één adem genoemd en soms als tegengestelden voorgesteld. Dat klopt niet. Ze pakken een ander soort probleem aan en ze sluiten elkaar niet uit.

Een data fabric is technologie-gedreven. Het vertrekt vanuit metadata en automatisering en legt een slimme laag over je bestaande systemen. De intelligentie zit centraal, in de tooling.

Een data mesh is organisatie-gedreven. Het vertrekt vanuit mensen en verantwoordelijkheden: elk businessdomein wordt eigenaar van zijn eigen data en biedt die aan als product. De verandering zit in wie waarvoor verantwoordelijk is, niet in een specifieke technologie.

De twee kunnen elkaar versterken. Een organisatie die kiest voor domeineigenaarschap (mesh) heeft nog altijd een laag nodig die al die domeindata vindbaar en koppelbaar maakt (fabric). Gartner verwacht zelfs dat organisaties die het ene invoeren, binnen enkele jaren ook het andere oppikken. Kort door de bocht: een data mesh regelt wie de data bezit, een data fabric regelt hoe je die data terugvindt en verbindt.

Een data fabric in de praktijk

Neem een groothandel met vier systemen: een CRM voor klanten, een webshop, een ERP voor voorraad en facturatie, en een marketingtool in een andere cloud. De vraag van de zaakvoerder is simpel: wat is de totale waarde van klant X over alle kanalen heen?

Zonder fabric betekent dat vier keer inloggen, vier exports naar Excel en manueel matchen op naam of e-mail, met het risico dat dezelfde klant twee keer opduikt onder een andere schrijfwijze.

Met een data-fabric-aanpak gebeurt het anders. De catalog kent alle vier de bronnen. De knowledge graph weet dat klant X in het CRM dezelfde is als in de webshop en het ERP. Via datavirtualisatie stel je één vraag en krijg je één overzicht, samengesteld uit alle bronnen, terwijl de data in de systemen blijft staan. De governance-regels zorgen dat een medewerker enkel de klanten van zijn eigen regio ziet.

Waar moet je op letten bij het gebruik van een data fabric

Het is geen kant-en-klaar product
Geen enkele leverancier verkoopt "de" data fabric in één doos. Elke verkoper die dat belooft, verkoopt in werkelijkheid een catalog, een integratietool of een virtualisatielaag onder die vlag. Je bouwt een fabric op uit onderdelen, dat kost tijd en afstemming.

Metadata van slechte kwaliteit geeft een slechte fabric
De hele aanpak steunt op correcte, complete metadata. Zijn je bronnen slecht gedocumenteerd en weet niemand wat een kolom betekent, dan verbindt de fabric verkeerde dingen met elkaar. Begin bij een gezonde data catalog en duidelijke definities.

Datavirtualisatie lost niet alles op
Bevragen op de plek waar data staat is handig, maar bij zware analytische query's over grote volumes is fysiek samenbrengen in een warehouse soms sneller. Een fabric vervangt je warehouse of lakehouse niet, hij legt er een vindbare laag overheen.

Automatisering vraagt toezicht
Een fabric die zelf koppelingen legt, kan ook foute koppelingen leggen. Houd zicht op wat het systeem automatisch doet, zeker rond gevoelige data en toegangsrechten.