Streaming data

Wat is streaming data?

Streaming data is data die continu binnenkomt en verwerkt wordt zodra ze ontstaat. Geen nachtelijke lading die alles in één keer overzet, maar een gestage stroom van kleine berichten: elke bestelling, elke meting, elke betaling wordt meteen doorgestuurd.

Het verschil met batch vat je in één beeld. Batch is een emmer die je elke nacht leegkiept in je warehouse. Streaming is een kraan die blijft lopen: de data stopt nooit, dus de verwerking stopt ook niet.

De eenheid van streaming data is een event: een klein bericht dat vastlegt dat er iets gebeurd is, met een tijdstip erbij. "Klant 4212 rekende om 14u32 een mandje van 87 euro af." Zet je die events chronologisch achter elkaar, dan heb je een event log: het volledige verslag van wat er gebeurde, in de volgorde waarin het gebeurde.

Waar komt streaming data vandaan?

Elke plek waar dingen op hun eigen ritme gebeuren, is een mogelijke bron. Een paar herkenbare:

• Kassasystemen. Elke ticketlijn is een event: product, prijs, tijdstip, vestiging. Wie tien winkels heeft, heeft tien stromen die samen één beeld van de verkoop vormen.

• Sensoren en machines. Temperatuur, druk, toerental, foutcodes. Een productielijn kan gerust duizenden metingen per minuut sturen.

• Webshop-clicks. Elke paginaweergave en elk winkelmandje. Samen tonen ze waar bezoekers afhaken.

• Betalingen. Elke transactie is een event dat je meteen wil registreren, en soms ook meteen wil beoordelen.

De bouwstenen: producenten, broker en consumers

Een streamingarchitectuur heeft drie rollen. Producenten zijn de systemen die events sturen: de kassa, de sensor, de webshop. Consumers zijn de toepassingen die de events verwerken: een dashboard bijwerken, een alert sturen, de data wegschrijven.

Daartussen zit de event-broker, het sorteercentrum van het geheel. De broker neemt berichten aan, bewaart ze een tijd en geeft ze door aan iedereen die zich op de stroom abonneert. Zender en ontvanger hoeven elkaar niet te kennen en hoeven niet even snel te werken: valt een consumer even uit, dan leest die nadien gewoon verder waar hij gebleven was.

Apache Kafka is de open-source referentie onder de brokers. Kafka ordent events in topics (vergelijk het met mappen waar de events als bestanden in zitten), laat meerdere afnemers dezelfde stroom lezen, elk op eigen tempo, en bewaart berichten zodat je kan terugspoelen.

In Microsoft Fabric heet de tegenhanger Eventstream. Je klikt bronnen aan, past zonder code transformaties toe zoals filteren of optellen per tijdsvenster, en stuurt het resultaat naar een lakehouse, een eventhouse of een alert. Een eventstream heeft bovendien een Kafka-endpoint: toepassingen die al Kafka spreken, sluiten er rechtstreeks op aan.

Batch of streaming: wanneer kies je wat?

De keuze draait om drie vragen: hoe vers moet de data zijn, hoeveel complexiteit kan je aan, en wat mag het kosten?

Versheid
Een batch-run geeft je de stand van vannacht of van een uur geleden. Een stream geeft je de stand van enkele seconden geleden. De vraag is wie er iets met die extra versheid doet.

Complexiteit
Faalt een batch-run, dan herstart je hem en is er even later niets aan de hand. Een stream draait dag en nacht en moet pieken en haperende bronnen zelf opvangen. Dat zijn meer bewegende delen om te bouwen en te bewaken.

Kost
Bij batch betaal je rekenkracht per run, vaak enkele minuten per nacht. Streaming-infrastructuur staat altijd aan, en je hebt iemand nodig die ze onderhoudt.

Ons advies blijft wat we bij de datapijplijn al schreven: begin met batch. Voor rapportering volstaat een refresh per nacht of per kwartier vrijwel altijd, en near-realtime via Change Data Capture zit daar nog tussen zonder de volle streamingcomplexiteit.

Streaming loont wel zodra iemand of iets binnen seconden op een event moet reageren:

• Fraudedetectie. Een verdachte betaling tegenhouden kan alleen op het moment zelf. Een dag later heeft de analyse geen zin meer.

• Voorraad bij hoge omloop. Verkoop je hetzelfde artikel via winkel, webshop en marketplace, dan voorkomt een voorraadstand die per event bijgewerkt wordt dat je verkoopt wat er niet meer ligt.

• Machinebewaking. Trillingen en temperatuur verraden een probleem vaak voor de machine stilvalt. Wie de stream bewaakt, grijpt in voor de stilstand; wie het pas 's ochtends in een rapport leest, heeft de stilstand al gehad.

Streaming naast CDC en webhooks

Twee begrippen uit deze dictionary liggen dicht bij streaming data, elk met een eigen rol.

Change Data Capture maakt een stream van iets dat er zelf geen is: je database. Elke insert, update en delete wordt als event doorgestuurd, zodat je warehouse of lakehouse bijna live meebeweegt met de bron. CDC is dus een manier om streaming data te winnen uit systemen die nooit voor streaming gebouwd zijn.

Een webhook is een event tussen twee SaaS-apps: zodra er in de ene iets gebeurt, roept die de andere rechtstreeks aan. Handig voor lichte koppelingen, maar er zit geen broker tussen. Er is geen wachtrij die berichten bijhoudt en geen tweede afnemer die dezelfde stroom kan meelezen. Voor een handvol events per dag is dat prima; voor duizenden per minuut wil je een broker.

Van stream naar warehouse of lakehouse

Realtime verwerken en realtime rapporteren zijn twee aparte beslissingen. Ook als de data als stream binnenkomt, wil je ze bijna altijd ergens neerzetten waar je er nadien rustig op kan rapporteren.

In de praktijk schrijft een consumer de events in kleine pakketjes weg als tabellen. Een eventstream in Fabric doet dat rechtstreeks: naar een lakehouse als Delta-tabellen, of naar een eventhouse, waar je de events met KQL bevraagt en er live dashboards op bouwt.

Eens de stream geland is, gedraagt hij zich als gewone data. Je rapporten en je historiek draaien erop verder, alleen is de data uren verser dan bij een nachtelijke batch.

Waar moet je op letten bij het werken met streaming data

Volgorde is niet vanzelfsprekend
Events kunnen door elkaar toekomen, zeker als ze via verschillende wegen reizen. Kafka bijvoorbeeld garandeert de volgorde alleen binnen één partitie: events met dezelfde sleutel komen gegarandeerd in dezelfde volgorde aan. Geef events over dezelfde klant of dezelfde machine daarom dezelfde sleutel als de volgorde telt.

Dubbele events
De meeste streamingplatformen leveren berichten minstens één keer af, en dus soms twee keer. Fabric Eventstream benoemt dat zelf als "at least once". Verwerk events daarom idempotent: geef elk event een unieke sleutel en zorg dat twee keer verwerken hetzelfde resultaat geeft als één keer.

Achterstand (backpressure)
Soms loopt de kraan sneller dan de afvoer slikt: de producenten sturen meer events dan de consumers verwerken. De wachtrij bij de broker groeit dan stilletjes aan, en je verse cijfers lopen minuten of uren achter zonder dat er iets faalt. Meet daarom de achterstand tussen aankomst en verwerking, en zet er een alert op die afgaat als ze oploopt.

Een stille stream valt niet op
Een batch-run die faalt, geeft een foutmelding. Een stream die stilvalt, geeft niets: er komen gewoon geen events meer. Zet per bron een alert op "geen events in de laatste x minuten", anders merk je het pas als iemand de cijfers niet meer vertrouwt.

FAQ over streaming data

1. Is streaming data hetzelfde als realtime data?
Niet helemaal. Streaming zegt hoe de data aankomt: continu, event per event. Realtime zegt hoe snel je erop moet reageren. Je kan een stream perfect elke vijf minuten verwerken; dan heb je streaming data zonder harde realtime-eis.

2. Heb ik als KMO Apache Kafka nodig?
Zelden in eigen beheer. Een eigen Kafka-cluster draaien vraagt een technisch profiel dat er permanent op let. Managed diensten en Fabric Eventstream geven je dezelfde bouwstenen zonder dat beheer, en vaak volstaat een goede batch-pijplijn sowieso.

3. Wat is het verschil tussen streaming en Change Data Capture?
CDC is een bron van streams: het zet databasewijzigingen om in events. Streaming is het bredere geheel van die events vervoeren en verwerken. Veel streams beginnen bij CDC, maar een sensor of webshop streamt zonder dat er een database aan te pas komt.

4. Kan ik streaming data in mijn rapporten tonen?
Ja. Zodra de stream in een lakehouse of eventhouse landt, rapporteer je erop zoals op elke andere tabel. Wil je visuals die vrijwel live verversen, dan bouw je in Fabric een Real-Time Dashboard op een eventhouse.