Medaillon-architectuur

Wat is de medaillon-architectuur?

De medaillon-architectuur is een manier om je data in een lakehouse in drie duidelijke lagen te organiseren: brons, zilver en goud. Elke laag heeft een andere kwaliteit, een andere doelgroep en een andere bedoeling. Data stroomt van laag naar laag, en wordt bij elke stap schoner, gestructureerder en dichter bij wat de business nodig heeft.

De term werd gepopulariseerd door Databricks rond 2020 en is intussen de standaardaanpak in zowat elke lakehouse-implementatie, ook in Microsoft Fabric. Het is geen nieuwe technologie, eerder een herdoop van patronen die data warehouses al jaren hanteerden (staging, cleansed, presentation), aangepast voor de realiteit van een lake.

Je kan je de lagen voorstellen als drie stappen in een keuken. Brons is de toelevering aan de achterdeur: ruwe ingrediënten zoals ze net binnenkwamen. Zilver is de mise en place: gewassen, gesneden, klaar om te koken. Goud is het bord dat de zaal ingaat: presenteerbaar, geportioneerd, afgewerkt.

Wat zit in elke laag?

Bronslaag (raw)
Een exacte kopie van de brondata, zo dicht mogelijk bij het origineel. Je bewaart ze zoals ze binnenkomen, met minimale transformatie: hooguit een timestamp, een bron-identifier en een load_date-kolom. Brons is je audit trail en je herstart-punt. Als er later iets misgaat in zilver of goud, kan je altijd opnieuw beginnen vanaf hier.

Zilverlaag (cleansed, conformed)
Hier worden de data opgeschoond, gestandaardiseerd en samengevoegd. Duplicaten eruit, datatypes correct gezet, foutieve records apart gelegd, sleutels gematcht tussen bronnen. Zilver is de versie waarop data-engineers en data scientists werken: betrouwbaar, maar nog niet gecureerd per business-vraag.

Goudlaag (business-ready)
Aggregaties, dimensionele modellen en specifieke datasets per gebruiksgeval. Hier wonen de tabellen die je rapporten en dashboards voeden. Een goudlaag kan meerdere varianten bevatten: een finance-goudlaag, een sales-goudlaag, een operations-goudlaag, elk met eigen semantiek en granulariteit.

Waarom drie lagen?

Duidelijkheid over kwaliteit
Rapporten steunen op goud, experimenten op zilver, herstel op brons. Iedereen in de organisatie weet welke data ze in handen hebben.

Herhaalbaarheid
Als een transformatie fout blijkt te zijn, kan je vanaf de vorige laag opnieuw beginnen zonder de brondata opnieuw te moeten ophalen.

Scheiding van zorgen
Brons is een probleem van data-engineering. Zilver is een probleem van data-engineering én data-quality teams. Goud is vaak een samenwerking met business-analisten. De drie lagen creëren natuurlijke overdrachtspunten.

Kostenbeheersing
Je kan goedkoop hot blijven maken wat nog veranderen kan en kouder zetten wat stabiel is. Brons staat soms op colder storage, goud draait op snelle compute.

Hoe implementeer je medaillon in Fabric?

In Microsoft Fabric ontstaat een medaillon-architectuur vrij natuurlijk:

1. Brons in een lakehouse. Data Factory-pipelines landen ruwe bestanden of tabellen in een brons-lakehouse, geformatteerd als Delta boven Parquet.

2. Zilver via notebooks of dataflows. Spark-notebooks of Dataflows Gen2 lezen brons, passen cleansing-regels toe en schrijven weg naar een zilver-lakehouse.

3. Goud als lakehouse of warehouse. Voor BI-rapportering is een Fabric Data Warehouse bovenop zilver vaak handig, omdat SQL-performance en RLS er out of the box werken.

4. Power BI op goud. Het semantisch model van Power BI steunt enkel op de goudlaag, nooit rechtstreeks op brons of zilver.

Alle lagen wonen op dezelfde OneLake-opslag, zonder kopieën. De indeling zit in workspaces, schema's en mappen, niet in verschillende fysieke systemen.

Valkuilen

Lagen voor de lagen
Drie lagen zijn een richtlijn, geen dogma. Voor sommige use cases is brons plus goud genoeg, voor andere introduceer je een platina-laag voor sterk geaggregeerde KPI's of een extra zilver-substap voor enrichment. Laat de architectuur de use case dienen, niet omgekeerd.

Goud als vergaarbak
Elke afdeling die zijn eigen tabellen in de goudlaag dumpt zonder governance maakt er binnen een jaar een nieuwe data swamp van. Houd goud curated en gedocumenteerd, bij voorkeur met data lineage.

Te weinig bronsdiscipline
Een brons die af en toe overschreven wordt, is geen audit trail. Voeg altijd een laadtijdstempel toe en bewaar elke batch apart of als versie in Delta. Anders verlies je het grote voordeel van herstartbaarheid.

Vergeten toegangsscheiding
Zilver bevat ongezuiverde data en soms persoonsgegevens die niet voor iedereen bedoeld zijn. Zet andere rechten op brons en zilver dan op goud, en documenteer waarom.