Data lake

Wat is een data lake?

Een data lake is één centrale plek waar je ruwe data bewaart in het formaat waarin ze binnenkomt. Tabellen uit je ERP, JSON uit een API, logbestanden, sensordata, maar evengoed PDF's, foto's en video. Alles mag erin, zonder dat je vooraf een structuur moet vastleggen.

Dat is meteen het kernidee: eerst bewaren, later structureren. Een data warehouse eist structuur op het moment dat je data laadt (schema-on-write). Een data lake draait dat om: je bewaart de bestanden zoals ze zijn en legt pas een schema op wanneer je ze leest (schema-on-read). Hetzelfde bestand kan zo door een rapport, een script en een machine learning-model elk op hun eigen manier gelezen worden.

Die aanpak werkt omdat de onderliggende opslag goedkoop is en meegroeit zonder bovengrens. Je betaalt per opgeslagen terabyte, niet per databaseserver. Daardoor kan je het je permitteren om alles bij te houden, ook data waarvan je vandaag nog niet weet of je ze ooit nodig hebt.

Waar komt de term vandaan?

De term komt van James Dixon, oprichter en CTO van softwarebedrijf Pentaho. In een blogpost van oktober 2010 zette hij het beeld neer dat de naam verklaart. Een data mart, een rapporteringsdatabank voor één afdeling of onderwerp, is als gebotteld water: gezuiverd, verpakt en klaar voor consumptie. Een data lake is het meer zelf. Het water zit er in zijn natuurlijke staat, stroomt binnen vanuit een bron, en gebruikers komen kijken, duiken erin of nemen er stalen uit.

Zijn punt was praktisch. Wie data samenvat en verpakt voor rapportering, gooit onderweg detail weg. Het lake bewaart alles op het fijnste niveau, zodat je ook vragen kan beantwoorden die je bij het bouwen niet had voorzien.

Dixons post ging nog over Hadoop-clusters. Vandaag draait een data lake bijna altijd op objectopslag in de cloud, maar het idee zelf is niet veranderd.

De technologie in de praktijk

Een modern data lake is een grote verzameling bestanden op objectopslag, georganiseerd in mappen.

Opslag
Azure Data Lake Storage (gebouwd bovenop Azure Blob Storage), Amazon S3 en Google Cloud Storage zijn de gangbare fundamenten. Ze leggen geen limiet op de hoeveelheid data en rekenen lage prijzen per terabyte, met nog lagere tarieven voor data die je zelden opvraagt.

Bestandsformaten
Ruwe aanleveringen komen vaak binnen als CSV of JSON. Voor analytisch werk zet je data om naar Parquet, een kolomgebaseerd formaat dat sterk comprimeert en snel aggregeert. Documenten, beelden en audio blijven gewoon staan in hun eigen formaat.

Bevraging
Engines zoals Apache Spark of een SQL-query-engine leggen het schema op tijdens het lezen. Meerdere teams kunnen zo met verschillende tools op dezelfde bestanden werken, zonder de data te kopiëren.

Waarvoor gebruik je een data lake?

1. Bronarchief voor je warehouse
   Je bewaart elke aanlevering uit je bronsystemen onaangeroerd. Loopt er iets mis in je pipeline of veranderen je rapporteringsregels, dan herlaad je vanuit het lake in plaats van de bronsystemen opnieuw te belasten.

2. Data voor machine learning
   Modellen trainen het best op gedetailleerde, onbewerkte data. In een warehouse zijn die details vaak al samengevat; het lake heeft ze nog.

3. Logs, clickstreams en sensordata
   Grote volumes, halfgestructureerd en zelden vooraf te modelleren. Precies het soort data waarvoor een warehouse te duur en te strak is.

4. Documenten en beelden
   Facturen, contracten, productfoto's, inspectiebeelden. In een warehouse kunnen die nergens heen. In een lake staan ze naast de rest, klaar voor OCR of AI-toepassingen.

Data lake versus data warehouse versus lakehouse

Een data lake legt structuur pas op bij het lezen en heeft de laagste opslagkost per terabyte van de drie. De gebruikers zijn vooral data engineers en data scientists: mensen die met code of query-engines overweg kunnen. Een business-gebruiker kan met een map vol Parquet-bestanden weinig aanvangen.

Een data warehouse eist structuur bij het laden. Dat maakt de opslag en de pipelines duurder, maar levert snelle, voorspelbare SQL en strak beheerde definities op. De gebruikers zijn analisten en rapportbouwers, die er met tools zoals Power BI zelfstandig mee werken.

Een lakehouse legt tabelformaten met warehouse-eigenschappen bovenop lake-opslag. De opslag blijft goedkoop, maar je hebt engineering-werk nodig om governance en performance op warehouse-niveau te krijgen. In ruil bedient het beide groepen op één platform, van ruwe bestanden tot rapporteringstabellen.

In de praktijk sluiten de drie elkaar niet uit. Veel organisaties gebruiken het lake als goedkoop bronarchief en zetten er een warehouse of een gestructureerde lakehouse-laag bovenop voor de rapportering.

Waar moet je op letten bij het gebruik van een data lake?

De data swamp
Zonder afspraken wordt het meer een moeras: mappen zonder eigenaar, bestanden zonder documentatie, drie versies van dezelfde export en niemand die nog weet welke klopt. Dit is het bekendste risico van een data lake, en het sluipt erin omdat wegschrijven zo makkelijk is.

De remedie is metadata en structuur. Een medaillon-architectuur deelt het lake op in lagen: brons voor ruwe data, zilver voor opgeschoonde data, goud voor rapporteringsklare tabellen. Een data catalog documenteert wat waar staat en wie de eigenaar is. Vaste naamgeving per zone doet de rest.

Toegang en privacy
Ruwe exports bevatten vaak persoonsgegevens die je in een warehouse bewust zou weglaten of afschermen. In een lake belanden ze ongefilterd. Regel dus toegangscontrole per map of bestand en bepaal vooraf welke zones gevoelige data mogen bevatten, ook met het oog op GDPR.

Kleine datavolumes
Een KMO met alleen boekhouddata en een CRM heeft zelden een data lake nodig. Die data is klein en al gestructureerd; een warehouse of zelfs een degelijke rapporteringsdatabank volstaat. Een lake begint te lonen bij grote volumes, veel verschillende bronnen of ongestructureerde bestanden die je nergens anders kwijt kan.

FAQ over data lakes

Is een data lake een database?
Nee. Een database beheert structuur, transacties en indexen. Een data lake bewaart bestanden en laat de interpretatie over aan de tools die ze lezen.

Vervangt een data lake mijn data warehouse?
Meestal niet. Het lake bewaart de ruwe data goedkoop en volledig, het warehouse serveert de opgeschoonde cijfers aan je rapporten. Ze vullen elkaar aan, en in een lakehouse groeien beide rollen naar elkaar toe.

Kan Power BI rechtstreeks op een data lake rapporteren?
Het kan, zodra je data als tabellen beschikbaar is: via een SQL-endpoint of via Direct Lake in Microsoft Fabric. In de praktijk rapporteer je beter op een opgeschoonde laag met vaste definities dan op ruwe bestanden.

Wat is het verschil met OneLake?
OneLake is de ingebouwde data lake van Microsoft Fabric: één lake voor je hele organisatie, automatisch beschikbaar, zonder dat je zelf opslagaccounts moet opzetten. Technisch bouwt het voort op Azure Data Lake Storage.