Medaillon-architectuur

Wat is medaillon-architectuur?

Medaillon-architectuur deelt de data in een lakehouse op in lagen met elk een eigen taak. De bekende namen zijn Brons voor brongetrouwe data, Zilver voor herbruikbare en opgeschoonde data, en Goud voor dataproducten die voor een duidelijke doelgroep zijn gemaakt.

De kleuren beschrijven de staat en het bedoelde gebruik van de data. Ze schrijven geen specifieke technologie, opslagplaats of drie fysieke kopieën voor. Een laag heeft pas nut als ze een duidelijke afspraak vastlegt over kwaliteit, eigenaarschap, toegang of prestaties.

Databricks gebruikt Brons, Zilver en Goud voor dit lakehousepatroon. Ook Microsoft Fabric beveelt medaillon-architectuur aan om data in OneLake te organiseren. Het idee achter de lagen is ouder dan beide platformen. Datawarehouses maken al langer een onderscheid tussen aangeleverde data, geïntegreerde data en modellen voor rapportering.

Vergelijk het met een keuken. Brons registreert wat aan de achterdeur werd geleverd. Zilver is de gedeelde werkbank waar ingrediënten worden gecontroleerd en op dezelfde manier voorbereid. Goud is een gerecht voor een bepaalde kaart. Die tussenstap is alleen zinvol wanneer meerdere gerechten dezelfde voorbereiding gebruiken.

Wat hoort in elke laag?

Brons: wat leverde de bron aan?

Brons bewaart data zo dicht mogelijk bij de vorm waarin de bron ze aanleverde. Bestanden, wijzigingen uit databanken, API-antwoorden en gebeurtenissen landen er met voldoende laadmetadata om de bron, het tijdstip en de verwerkingsbatch terug te vinden. Zo is Brons een herstartpunt en een onderdeel van de audit trail.

Brons betekent niet dat elke technische bewerking verboden is. Een platform kan relationele data in Delta-tabellen plaatsen, een bestand uitpakken of laadmetadata toevoegen. De hoofdregel is dat de inname de betekenis van de bron niet stilzwijgend vervangt door een bedrijfsinterpretatie.

Zilver: wat is er gebeurd, in een consistente vorm?

Zilver maakt van brongebonden records betrouwbare, herbruikbare data. Hier controleer je datatypes, standaardiseer je eenheden en tijdstippen, behandel je dubbele records, zet je ongeldige records apart en verbind je sleutels uit verschillende systemen. Meestal blijft het detailniveau hoog genoeg voor verkenning en nieuwe toepassingen.

De precieze taak van Zilver is voorkomen dat elk Goud-product hetzelfde integratiewerk opnieuw uitvoert. Zilver vangt de eigenaardigheden van bronsystemen op en biedt stabiele entiteiten of gebeurtenissen aan. Een klant kan er bijvoorbeeld een bruikbaar gemeenschappelijk nummer krijgen, ook al gebruiken CRM, facturatie en klantendienst elk een andere sleutel.

Regels die slechts voor een rapport gelden, horen meestal niet in Zilver. Een fout geschreven datum herstellen hoort er wel thuis. Beslissen dat iemand een actieve klant is zodra die in de voorbije 90 dagen kocht, is een bedrijfsdefinitie en past vaker in Goud.

Goud: wat heeft een afnemer nodig?

Goud publiceert data voor een benoemd doel en een bekende doelgroep. De laag kan dimensionele modellen, gecertificeerde cijfers, aggregaties, kenmerken voor machine learning of detailtabellen met afgesproken bedrijfsbetekenis bevatten. Goud is dus een contract, geen synoniem voor een samenvattingstabel.

Eenzelfde Zilver-model voor verkoop kan verschillende Goud-producten voeden. Finance heeft erkende omzet per boekhoudperiode nodig, Sales volgt de omzetting van opportuniteiten en een AI-model gebruikt historische klantkenmerken. Elk product kan een eigen detailniveau, versheid, eigenaar en toegangsbeleid hebben.

Schema: elke laag beantwoordt een andere vraag. Zilver vormt het herbruikbare contract tussen de broninname en de dataproducten.

Heb je altijd drie lagen nodig?

Nee. Medaillon is een ontwerppatroon, geen verplichte route langs drie vakjes. Rechtstreeks van Brons naar Goud gaan is verdedigbaar wanneer een eenvoudige bron slechts een afnemer voedt, de bewerking gemakkelijk te testen is en er geen integratielogica bestaat die andere producten kunnen hergebruiken.

Een klein dagelijks rapport kan bijvoorbeeld een nette toepassingstabel in Brons laden en meteen een Goud-model publiceren. Een aparte Zilver-laag zou dan alleen een tussentijdse query een nieuwe naam geven. Je krijgt een extra dataset om te beheren, zonder een nuttige afspraak toe te voegen.

Zilver loont zodra meerdere producten dezelfde opschoning nodig hebben, bronnen samengevoegd moeten worden of bronschema's onafhankelijk van de afnemers veranderen. De laag geeft analisten en data scientists ook toegang tot betrouwbaar detail voordat een bedrijfsberekening informatie samenvoegt of weglaat.

Een bruikbare test is deze: als een Goud-product morgen verdwijnt, blijft de opschonings- en integratielogica dan nuttig voor iets anders? Bij een ja hoort die logica waarschijnlijk in Zilver. Bij een nee kan een directe stroom van Brons naar Goud duidelijker zijn.

Data hoeft ook niet alleen vooruit te bewegen. Een data-engineer kan naar Brons terugkeren om een tabel opnieuw op te bouwen nadat een regel is gecorrigeerd. Een analist kan Zilver raadplegen om een opvallend resultaat in Goud te onderzoeken. Maak de productieafhankelijkheden wel expliciet, zodat een rapport niet toevallig op een ongedocumenteerde tussentabel steunt.

Welke laag gebruik je als bron?

Gebruik de hoogste laag die nog het detail en de versheid bevat die je taak nodig heeft. Goud is het normale startpunt voor gedeeld gebruik, maar Zilver en Brons hebben elk legitieme specialistische toepassingen.

1. Gebruik Goud voor gedeelde beslissingen en toepassingen. Terugkerende dashboards, gecertificeerde semantische modellen, operationele rapporten en toepassingen gebruiken normaal een Goud-product. De definities, eigenaar en verwachte prestaties horen bij dat product.

2. Gebruik Zilver voor betrouwbaar detail. Analisten werken op Zilver wanneer ze opgeschoonde records nodig hebben voordat die voor een bepaalde bedrijfsvraag worden gevormd. Data scientists gebruiken het vaak voor verkenning en het maken van kenmerken, omdat het detail bewaard blijft terwijl laadproblemen al zijn weggewerkt.

3. Gebruik Zilver bewust voor fijnmazige realtime-analyse. Een controlescherm kan individuele gebeurtenissen nodig hebben die een Goud-model al heeft samengevat. Fabric Real-Time Intelligence ondersteunt dat patroon. Geef de Zilver-dataset dan een beschreven schema en toegangsbeleid, in plaats van elk rapport ongecontroleerd langs Goud te laten passeren.

4. Gebruik Brons om de bron te onderzoeken of verwerking te herhalen. Data-engineers en beheerteams gebruiken Brons om laadfouten te onderzoeken, een verwerking opnieuw uit te voeren of een resultaat met het oorspronkelijke record te vergelijken. Ook controlewerk kan brongetrouwe data vereisen. Brons is geen goede vaste bron voor KPI's, omdat de records nog niet door de verdere kwaliteitscontroles zijn gegaan.

Terugkerend rechtstreeks gebruik is een ontwerpsignaal. Als meerdere teams telkens dezelfde Zilver-tabel gebruiken, maak er dan een beheerd Goud-product voor. Als veel mensen Brons nodig hebben, verdient dat brongebruik mogelijk een eigen gecontroleerde toegang.

Schema: kies de hoogste laag die nog het detail en de versheid bevat die je taak vraagt.

Een uitgewerkt voorbeeld

Neem een webwinkel met bestellingen uit de webshop, facturen uit een ERP-systeem, klanten uit een CRM en klikgebeurtenissen van de website.

Brons bewaart de uittreksels en gebeurtenissen met laadmetadata. De webshop levert mogelijk JSON, het ERP relationele tabellen en het CRM gebruikt voor dezelfde klant een andere sleutel. Brons beweert niet dat die records al met elkaar overeenstemmen.

Zilver leest de gebeurtenissen in, zet tijdstippen om naar een gemeenschappelijke standaard, verwijdert dubbele leveringen en koppelt broncodes aan gedeelde klant- en productcodes. Ongeldige records gaan naar een aparte wachtrij en verdwijnen niet stilzwijgend. De tabellen voor bestellingen, facturen, klanten en interacties zijn daarna herbruikbaar.

Goud publiceert meerdere producten. Een financieel model bepaalt de erkende omzet. Een verkoopmodel beschrijft bestellingen en retouren. Een klantmodel levert goedgekeurde kenmerken voor het voorspellen van klantverloop, terwijl een product voor operationele opvolging de recente gebeurtenissen op detailniveau bijhoudt.

Een ontbrekende factuur kan je achterwaarts volgen. De analist ziet het verschil in Goud, controleert of de factuur door de kwaliteitsregels in Zilver kwam en vergelijkt ze daarna met het ERP-record in Brons. Elke laag beantwoordt haar eigen vraag, zonder dat het rapport zelf de bronproblemen moet uitzoeken.

Alternatieven en aanvullende architecturen

Medaillon deelt data in volgens bewerkingsgraad en gebruik. Andere architecturen vertrekken van bedrijfsmodellen, historiek, verwerkingssnelheid of eigenaarschap. Sommige vervangen de drielagenstroom. Andere passen er net binnen of lopen ernaast.

Gelaagd datawarehouse

Een klassiek datawarehouse gaat vaak van staging naar een geïntegreerd bedrijfsmodel en daarna naar datamarts. Die taken lijken op Brons, Zilver en Goud. Het datawarehouse verwacht doorgaans wel gestructureerde relationele data en verwerking waarbij het doelschema vooraf vastligt.

Dimensioneel modelleren

Dimensioneel modelleren begint bij bedrijfsprocessen en stelt ze voor met feiten en dimensies. Dat werkt goed voor BI. Een Goud-laag bevat daarom vaak sterschema's. Dimensioneel modelleren en medaillon vullen elkaar meestal aan.

Staging, tussenmodellen en marts

SQL-projecten voor datatransformatie gebruiken vaak stagingmodellen voor een lichte opschoning van bronnen, tussenmodellen voor herbruikbare bewerkingen en marts voor de afnemers. Dat ligt dicht bij medaillon, maar de namen beschrijven de taak in plaats van het kwaliteitsniveau. Ook hier moet een tussenlaag haar bestaan verdienen.

Data Vault

Data Vault scheidt controleerbare bronhistoriek in een Raw Vault van afgeleide regels in een Business Vault en modellen voor afnemers in information marts. Overweeg dit wanneer veel veranderende bronnen geïntegreerd moeten worden zonder hun historiek te verliezen. Voor een klein dataplatform wegen de extra modelleer- en laadregels vaak niet op tegen de voordelen.

Lambda- en Kappa-architectuur

Lambda gebruikt een afzonderlijk batchpad en realtimepad die samenkomen in de laag voor afname. Kappa verwerkt data via een gebeurtenissenstroom en bouwt de toestand opnieuw op door bewaarde gebeurtenissen af te spelen. Deze patronen beantwoorden vooral een vraag over snelheid. Een streamingoplossing kan haar data dus nog altijd in Brons, Zilver en Goud opdelen.

Data mesh

Data mesh legt het eigenaarschap bij bedrijfsdomeinen die dataproducten publiceren. Het beantwoordt vooral wie verantwoordelijk is voor de data, terwijl medaillon beschrijft hoe data van toestand verandert. Een verkoopdomein en een financieel domein kunnen elk hun eigen medaillonstroom gebruiken.

Hoe medaillon-architectuur je organisatie voorbereidt op AI

Medaillon kan beheerde data leveren voor artificiële intelligentie, maar het is alleen de databasis. AI in productie vraagt ook modelbeheer, een manier om kenmerken of kennis aan te bieden, evaluaties, monitoring en regels voor wat een model of agent mag raadplegen.

Voorspellende machine learning

Brons bewaart historische waarnemingen, Zilver maakt consistente gebeurtenissen en entiteiten, en Goud kan trainingssets of goedgekeurde kenmerken publiceren. Een feature store kan naast de Goud-producten staan wanneer meerdere modellen dezelfde berekende invoer nodig hebben en die invoer bij training en voorspelling exact gelijk moet zijn.

MLOps beheert wat buiten de datalagen valt: experimenten, code, datasetversies, goedkeuring van modellen, ingebruikname, monitoring en hertraining. Een medaillonstroom kan trainingsdata voorbereiden, maar beheert op zichzelf geen model in productie.

Generatieve AI en RAG

Voor RAG kan Brons de oorspronkelijke documenten en hun bronmetadata bewaren. Zilver kan de uitgelezen tekst, gestandaardiseerde metadata, toegangsrechten en tekststukken bevatten. Goud kan per toepassing een collectie voor zoekopdrachten of goedgekeurde gestructureerde hulpmiddelen voor een assistent publiceren.

Een vector database is een mogelijke component om die kennis aan te bieden, geen vervanging voor de datastroom. De organisatie moet nog altijd wijzigingen en verwijderingen van documenten verwerken, rechten toepassen, bronverwijzingen bewaren en de kwaliteit van zoekresultaten testen.

Realtime-AI

Fraudedetectie, aanbevelingen en operationele meldingen kunnen een gebeurtenisgestuurd of Kappa-achtig pad nodig hebben. Historische data uit Zilver of Goud kan het model trainen, terwijl een stroom de actuele kenmerken en aanvragen voor voorspellingen levert. De onlinestroom moet dezelfde definities gebruiken als de training, anders leert het model op andere data dan het in productie krijgt.

Dataproducten en beheer

AI-toepassingen steunen beter op beheerde data-, kenmerk- en kennisproducten dan op willekeurige tabellen. Elk product beschrijft zijn betekenis, versheid, kwaliteitscontroles, toegelaten gebruik en wijzigingsbeleid. Het beheer omvat ook modellen, prompts, zoekindexen, evaluaties en de rechten van agents.

Schema: medaillon bereidt beheerde data voor. MLOps, LLMOps en patronen voor afname zorgen dat AI-toepassingen ermee kunnen werken.

Medaillon-architectuur in Fabric

In Fabric kan je de lagen opzetten als afzonderlijke lakehouses of warehouses. Als de toegangsgrenzen dat toelaten, kan je ze ook met schema's van elkaar scheiden. Afzonderlijke workspaces geven meer controle per laag, maar vragen ook meer beheer.

1. Land Brons waar mogelijk in het bronformaat. Data Factory-pipelines, mirroring, snelkoppelingen en streamingtools kunnen brondata naar OneLake brengen. Voor relationele bronnen zijn Delta Lake-tabellen ook een mogelijke keuze.

2. Bouw Zilver met notebooks, dataflows of materialized lake views. Die bewerkingen voeren controles, standaardisatie, ontdubbeling en koppelingen uit en schrijven daarna herbruikbare detailtabellen weg.

3. Publiceer Goud in een lakehouse of warehouse. Een warehouse past bij een relationele laag voor afname en een team dat vooral in SQL werkt. Een lakehouse kan Goud aanbieden via zijn SQL analytics endpoint.

4. Koppel afnemers aan het juiste contract. De meeste gedeelde Power BI-modellen gebruiken Goud. Voor bewust gekozen fijnmazige of realtime-analyse kan Zilver beter passen.

Alle lagen kunnen binnen OneLake staan, het logische datalake van Fabric. De bewerkte tabellen in Brons, Zilver en Goud blijven wel afzonderlijke datasets. Met snelkoppelingen kan je in bepaalde ontwerpen een fysieke kopie in Brons vermijden, op voorwaarde dat de bronlocatie en het beheer dat toelaten.

Waar moet je op letten bij medaillon-architectuur?

Lagen zonder afspraken

Een map met de naam Zilver zegt op zichzelf weinig. Beschrijf welke controles zijn uitgevoerd, wie eigenaar is, hoe vers de dataset moet zijn en welke wijzigingen afnemers mogen verwachten.

Goud als verzamelbak

Als elk team tabellen publiceert zonder eigenaar of afgesproken betekenis, weet niemand nog welk cijfer klopt. Houd Goud beheerd en documenteer voor belangrijke producten de data lineage.

Zilver als verplichte tussenstop

Sla geen tussendataset op alleen om de kleurenreeks te vervolledigen. Voeg Zilver toe wanneer hergebruik, kwaliteitscontrole, herstel of gescheiden toegang er een echte taak van maakt.

Gekopieerde logica in Goud

Als verschillende Goud-producten dezelfde bronkoppelingen en correcties herhalen, verplaats die stabiele logica dan naar Zilver. Bedrijfsdefinities die echt verschillen, blijven in hun benoemde Goud-product.

Zwakke bewaring in Brons

Brons overschrijven haalt het betrouwbare herstartpunt weg. Leg vast of de inname alleen toevoegt of met versies werkt, bewaar genoeg metadata om een lading te volgen en bepaal de bewaartermijn volgens herstel- en wettelijke behoeften.

Dezelfde rechten voor elke laag

Brons en Zilver kunnen persoonsgegevens, ongeldige records of data in quarantaine bevatten die niet voor elke Goud-afnemer bestemd zijn. Ken toegang toe per laag en per product, en documenteer de uitzonderingen.