Datapijplijn (data pipeline)

Wat is een datapijplijn?

Een datapijplijn is een geautomatiseerde keten van stappen die data van een bronsysteem naar een bestemming brengt. De pijplijn haalt de data op, bewerkt ze onderweg en schrijft het resultaat weg waar je het wil gebruiken, meestal een data warehouse of lakehouse. Dat gebeurt vanzelf: op een vast schema of zodra er iets gebeurt in de bron.

Het klassieke voorbeeld: elke nacht om twee uur haalt een pijplijn de facturen en betalingen uit je boekhoudpakket, zet ze om naar een uniform formaat en laadt ze in het warehouse. Om acht uur staat het managementrapport klaar met de cijfers van gisteren, zonder dat iemand een export heeft gedraaid.

Je kan een datapijplijn vergelijken met een lopende band in een fabriek. Aan de ene kant gaan grondstoffen erop, aan elk station gebeurt een bewerking, en aan het einde rolt een afgewerkt product eraf. De band draait zonder dat er iemand naast moet staan.

De onderdelen van een datapijplijn

Hoe verschillend pijplijnen er ook uitzien, ze bestaan vrijwel altijd uit dezelfde zes onderdelen.

Bron
Waar de data vandaan komt: je boekhoudpakket, CRM, webshop, een database, een API of gewoon een map met CSV-bestanden.

Extractie
De stap die de data ophaalt. Een connector logt in op de bron en leest de gegevens uit, ofwel volledig, ofwel enkel wat er sinds de vorige run veranderd is. Voor dat laatste bestaan technieken zoals Change Data Capture.

Transformatie
Opkuisen en klaarzetten: datums naar een uniform formaat, dubbele records eruit, tabellen uit verschillende bronnen aan elkaar koppelen, bedrijfslogica toepassen zoals omzet per vestiging berekenen.

Bestemming
Waar het resultaat landt. Meestal een data warehouse of lakehouse, soms een ander operationeel systeem dat de data nodig heeft.

Planning
Wat de pijplijn doet starten. Een schema (elke nacht, elk kwartier) of een trigger: een nieuw bestand dat binnenkomt, een bestelling die geplaatst wordt.

Monitoring en logging
Elke run laat sporen na: gestart, geslaagd of gefaald, hoeveel rijen gelezen en geschreven. Zonder dat vaar je blind.

Batch of streaming?

Een batch-pijplijn draait op vaste momenten en verwerkt dan een groot pakket in één keer. De nachtelijke load van je boekhouddata is een batch. Voor rapportering is dat bijna altijd genoeg: wie zijn omzetcijfers 's ochtends bekijkt, heeft niets aan een update per seconde.

Een streaming-pijplijn verwerkt events continu, van zodra ze gebeuren. Denk aan een webshop die bij elke bestelling meteen de voorraad bijwerkt, of fraudedetectie waar een verdachte transactie binnen seconden een reactie vraagt. Dat kan, maar het kost meer: de pijplijn moet altijd draaien en tegen haperingen in de aanvoer kunnen.

Los daarvan kies je binnen een batch-pijplijn nog de volgorde van de stappen: transformeer je de data voor ze in het warehouse landt, of laad je eerst alles ruw in en transformeer je daarna? Dat is precies het verschil tussen ETL en ELT.

Ons advies voor de meeste KMO's: begin met batch. Streamen loont pas als er binnen enkele minuten iets met de data moet gebeuren, en dat is bij rapportering zelden het geval.

Wanneer volstaat een geplande refresh?

Niet elke datastroom verdient een pijplijn. Power BI kan met een geplande refresh zelf je bron bevragen en de transformatie in Power Query doen. Voor één rapport op één propere bron is dat prima, en elke laag die je niet bouwt, hoef je ook niet te onderhouden.

Een echte pijplijn wordt de betere keuze zodra een van deze situaties opduikt:

• Je combineert meerdere bronnen. Boekhouding, CRM en webshop samenbrengen in Power Query per rapport wordt snel onhoudbaar. Eén pijplijn naar een warehouse doet het werk één keer.

• Je wil historiek bewaren die de bron overschrijft. Veel systemen kennen alleen de actuele stand: de voorraad van nu, de status van nu. Wil je evolutie zien, dan moet een pijplijn periodiek een foto nemen en bijhouden.

• Meerdere rapporten gebruiken dezelfde logica. Als drie rapporten elk hun eigen definitie van marge berekenen, krijg je drie verschillende marges. Een pijplijn legt de berekening op één plek.

• De refresh duurt te lang of belast de bron. Een zware query op je operationele database tijdens de werkuren vertraagt iedereen die met dat systeem werkt. Een pijplijn haalt de data 's nachts op en het rapport leest daarna uit het warehouse.

• De data moet ook ergens anders naartoe. Naar een ander systeem, een klantenportaal of een AI-toepassing bijvoorbeeld. Een rapport-refresh krijgt dat niet gedaan, een pijplijn wel.

Wat maakt een pijplijn betrouwbaar?

Een pijplijn schrijf je één keer, maar hij draait honderden keren per jaar zonder toezicht. Betrouwbaarheid zit in vier gewoontes.

Idempotentie
Je moet elke run veilig opnieuw kunnen draaien zonder dubbele rijen of halve resultaten. Faalt de nachtelijke load halverwege, dan herstart je hem gewoon. Dat principe heet idempotentie en het komt overal in data-engineering terug.

Foutafhandeling en retries
Een bron die dertig seconden onbereikbaar is, mag de hele nachtelijke load niet doen stranden. Laat de pijplijn tijdelijke fouten zelf opvangen door een stap een paar keer opnieuw te proberen, en pas alarm slaan als het probleem blijft.

Alerting bij falen
Een gefaalde run die niemand opmerkt, is erger dan de fout zelf. Zorg dat een mislukking meteen een melding stuurt naar iemand die er iets mee doet, via mail, Teams of je monitoringtool.

Logging
Als het rapport rare cijfers toont, wil je binnen vijf minuten kunnen zien welke run wanneer draaide, hoeveel rijen erdoor gingen en welke stap faalde. Zonder logs wordt elke vraag een zoektocht.

Datapijplijn versus implementatiepijplijn

Beide heten pipeline, en dat zorgt geregeld voor spraakverwarring in projecten. Het verschil zit in wat er door de buis gaat.

Een implementatiepijplijn (deployment pipeline) verplaatst software: code wordt gebouwd, getest en uitgerold van een ontwikkelomgeving naar productie. Dat is het terrein van CI/CD.

Een datapijplijn verplaatst data: gegevens stromen van een bronsysteem naar een warehouse, lakehouse of ander doelsysteem.

De twee raken elkaar wel: de definitie van je datapijplijn is zelf code of configuratie, en die rol je best via een implementatiepijplijn uit van test naar productie.

Tools voor datapijplijnen

Data Pipelines in Microsoft Fabric
Onderdeel van Data Factory in Fabric. Je bouwt pijplijnen visueel uit activiteiten voor dataverplaatsing, transformatie en control flow (condities, lussen, foutafhandeling), en start ze handmatig, op schema of via een event zoals een nieuw bestand dat in je data lake landt. Monitoring zit ingebouwd.

Azure Data Factory
De zelfstandige Azure-dienst met hetzelfde gedachtegoed, nog volop in gebruik in bestaande Azure-omgevingen. Microsoft positioneert Data Factory in Fabric als de volgende generatie.

Apache Airflow
Open source. Je schrijft pijplijnen als Python-code, plant ze in, en draait gefaalde taken of volledige historische periodes opnieuw wanneer dat nodig is. Sterk bij complexe afhankelijkheden, maar het vraagt een technisch profiel in huis.

Waar moet je op letten bij het bouwen van datapijplijnen

Stille failures
De gevaarlijkste pijplijn is er een die groen kleurt maar nul rijen laadt, omdat de bron een leeg bestand aanleverde of een filter stilletjes alles wegfilterde. Controleer daarom niet alleen of de run slaagde, maar ook of het resultaat plausibel is: verwacht volume, verse datums.

Afhankelijkheden tussen pijplijnen
Pijplijn B leest wat pijplijn A schrijft. Zolang dat op los zand staat ("A is meestal klaar tegen drie uur") gaat het ooit mis: A loopt uit en B rekent verder op de data van gisteren. Maak de volgorde expliciet door B pas te starten als A geslaagd is, of door beide in één orkestratie te zetten.

Wie krijgt de alert?
Een foutmelding naar een gedeelde mailbox die niemand opent, is geen alerting. Spreek af wie reageert, langs welk kanaal de melding komt en wat de eerste stappen zijn. Een alert zonder eigenaar is een vinkje op een checklist, geen vangnet.

Te veel in één pijplijn
Eén reuzenketen die alles doet, moet bij elke fout volledig opnieuw beginnen en is na een jaar door niemand nog te doorgronden. Knip het werk in kleinere pijplijnen die elk één ding doen en apart herstartbaar zijn.

FAQ over datapijplijnen

1. Is een datapijplijn hetzelfde als ETL?
Niet helemaal. ETL beschrijft de volgorde van de stappen (extract, transform, load). De datapijplijn is het geheel dat die stappen uitvoert, inclusief planning, monitoring en foutafhandeling. Een pijplijn kan ook ELT volgen, of data verplaatsen zonder transformatie.

2. Heb ik een datapijplijn nodig voor Power BI?
Vaak niet. Voor één rapport op één propere bron volstaat een geplande refresh met Power Query. Een pijplijn loont zodra je bronnen combineert, historiek wil opbouwen of dezelfde logica in meerdere rapporten nodig hebt.

3. Kan je een datapijplijn bouwen zonder te programmeren?
Ja. Tools zoals Data Factory in Microsoft Fabric laten je pijplijnen visueel samenstellen, met kant-en-klare connectoren naar zowat elke gangbare bron. Code-first tools zoals Apache Airflow geven meer controle, maar vragen Python-kennis.

4. Hoe vaak moet een datapijplijn draaien?
Zo vaak als er beslissingen op de data volgen. Voor de meeste rapportering volstaat één run per nacht. Elk kwartier of realtime is pas nodig als iemand binnen minuten op de cijfers reageert, zoals bij voorraadbeheer of fraudedetectie.