Landing zone

Wat is een landing zone?

Een landing zone is de eerste halte voor data die binnenkomt in een data lake of lakehouse: de plek waar bestanden en records recht van de bron neerkomen, bewaard precies zoals ze aankwamen. Er wordt hier niks gekuist, hernoemd, samengevoegd of hervormd. Een CSV-export komt binnen als die CSV, een database-extract met zijn oorspronkelijke kolommen en eigenaardigheden, een API-antwoord als de JSON die terugkwam. De enige regel van een landing zone is: vang alles op, verander niks.

Die discipline van de onaangeroerde kopie is de hele bedoeling. Omdat de landing zone de brondata bewaart zoals ze was op het moment van aankomst, is ze zowel een bewijs van wat je echt ontvangen hebt als een veilig herstartpunt. Blijkt een opkuisstap later fout te zitten, dan kan je herbouwen vanaf de landing zone zonder terug naar het bronsysteem te gaan en opnieuw om de data te vragen. Dat laatste is vaak traag, aan een limiet gebonden, of gewoon niet meer mogelijk omdat de bron intussen veranderd is.

In medallion-architectuur, het patroon met drie lagen (bronze, silver en gold) dat gangbaar is in een lakehouse, is de landing zone de bronze-laag, of zit ze er net voor. Bronze is de ruwe laag, silver is waar het opkuisen en gelijkschakelen gebeurt, en gold zijn de gebruiksklare tabellen die de rapporten voeden. Alles verderop gaat ervan uit dat de ruwe data eerst trouw is opgevangen, en dat is de job van de landing zone.

Wat er binnenkomt, en in welk formaat

Data komt in een landing zone binnen in de vorm die de bron produceert, uit veel bronnen tegelijk: operationele databases, SaaS-tools zoals een CRM, event streams, platte bestandsexports en feeds van derden. De landing zone dwingt ze op de weg naar binnen niet in één gemeenschappelijk formaat. Dat gelijkschakelen hoort in de volgende laag.

De sterke afspraak is dat een landing zone append-only is. Nieuwe data wordt toegevoegd, bestaande data wordt nooit ter plaatse aangepast. Elke aankomst krijgt meestal een stempel van wanneer ze neerkwam en waar ze vandaan kwam, en wordt als een eigen batch bewaard in plaats van de vorige te overschrijven. Net die geschiedenis laat je vragen beantwoorden zoals hoe zag deze tabel er vorige dinsdag uit, en ze maakt een propere herverwerking mogelijk. Een landing zone die bij elke load overschreven wordt, is geen echte landing zone, maar gewoon een map.

Ruwe aankomsten worden vaak eerst in hun oorspronkelijke formaat bewaard, en daarna omgezet naar een efficiënt kolomformaat zoals Parquet eens ze in de lake zitten, zodat latere verwerking ze snel leest. Het ruwe origineel wordt doorgaans ook bijgehouden, zodat de exacte bytes die je ontving nooit verloren gaan.

Landing zone tegenover staging area

Deze twee worden door elkaar gehaald omdat ze allebei vroeg in de stroom zitten, maar ze doen verschillend werk. Een landing zone houdt ruwe data in rust, onaangeroerd, zolang je ze wil bewaren. Een staging area is een werkruimte waar data tijdelijk staat terwijl ze gekuist en getransformeerd wordt, en die daarna meestal weer leeggemaakt wordt zodra dat werk klaar is.

Simpel gezegd: de landing zone is waar de data staat, de staging area is waar de data bewerkt wordt. Sommige teams draaien ze als twee aparte plekken, waarbij ruwe data eerst neerkomt en daarna naar staging gekopieerd wordt om te verwerken. Andere vouwen beide ideeën in één bronze-laag. Beide is prima, zolang de onaangeroerde ruwe kopie ergens overleeft.

Een woordje over de andere landing zone

De term wordt voor twee dingen gebruikt, en het loont om duidelijk te zijn welke je bedoelt. In cloudplatform-opzet gebruiken Azure en AWS landing zone allebei voor iets anders: de basisinrichting van accounts, netwerk, identiteit en beveiliging waar nieuwe workloads in uitgerold worden. Dat is een infrastructuur- en governancebegrip, geen data-opslagbegrip. Deze uitleg gaat over de data-landing-zone, de ruwe binnenkomstlaag in een data lake. Zegt een collega landing zone, dan bespaart een korte check van welke betekenis hij bedoelt je een verwarrend gesprek.

Waar moet je op letten bij een landing zone

Ruw wil niet zeggen ongereguleerd. Brondata bevat vaak persoonlijke of gevoelige informatie in haar meest volledige, niet-gemaskeerde vorm. De landing zone is dikwijls de minst beveiligde laag en tegelijk de meest blootgestelde. Zet de toegangsrechten hier minstens even strikt als overal elders, en weet wat erin zit.

Ze groeit eindeloos als je haar laat begaan. Append-only en alles bewaren zijn goede standaarden, maar zonder bewaarregels wordt de landing zone een steeds hogere rekening. Beslis hoe lang ruwe aankomsten het bewaren waard zijn en archiveer of wis op een vast schema.

Een landing zone zonder catalogus wordt een moeras. Een hoop ruwe bestanden die niemand kan beschrijven, is erger dan nutteloos, want mensen vertrouwen ze niet en bouwen ernaast dezelfde extracts opnieuw. Hou bij wat er binnenkwam, van waar en wanneer, zodat de ruwe laag een bron blijft in plaats van een stortplaats.

Weersta de drang om al bij binnenkomst op te kuisen. Vanaf het moment dat je waarden begint te fixen tijdens het inladen, stopt de landing zone een trouwe kopie van de bron te zijn, en verlies je de mogelijkheid om te bewijzen wat je echt ontvangen hebt. Hou het transformeren voor de volgende laag.