Incrementele lading

Wat is een incrementele lading?

Een incrementele lading verwerkt alleen de data die nieuw of gewijzigd is sinds de vorige verwerking. Je laadt dus niet elke keer de volledige bron opnieuw, maar alleen het verschil.

Dat is nuttig wanneer datasets groot worden of wanneer bronsystemen niet telkens zwaar bevraagd mogen worden. Een nachtelijke load van miljoenen factuurlijnen hoeft niet elke nacht alle jaren opnieuw te lezen als alleen gisteren veranderd is.

Het idee is eenvoudig. De uitvoering vraagt discipline, vooral rond wijzigingsdetectie, herstarts en ontbrekende updates.

Hoe werkt een incrementele lading?

Een pipeline moet weten welke records sinds de vorige run relevant zijn. Daarvoor bestaan verschillende technieken.

Wijzigingsdatum
De bron heeft een veld zoals `updated_at`. De pipeline leest records met een wijzigingsdatum na de vorige succesvolle run.

Oplopende sleutel
Nieuwe records krijgen een steeds hogere ID. De pipeline onthoudt de hoogste verwerkte ID.

Change Data Capture
De bron registreert inserts, updates en deletes in een log. De pipeline leest die wijzigingen.

Bestandswatermark
Bij bestanden onthoud je welke bestandsnaam, datum of batch al verwerkt is.

Wanneer gebruik je incrementele lading?

1. Grote datasets. Volledig herladen duurt te lang of kost te veel.

2. Frequente updates. Je wil meerdere keren per dag laden zonder het bronsysteem te zwaar te belasten.

3. API-limieten. Een API laat maar een beperkt aantal requests toe.

4. Historische tabellen. Oude data verandert weinig, dus opnieuw laden voegt weinig waarde toe.

Voorbeeld

Een pipeline laadt orders uit een webshop. Elke order heeft `created_at` en `updated_at`. Na elke succesvolle run bewaart de pipeline de hoogste verwerkte `updated_at`. De volgende run vraagt alleen orders op die na dat moment zijn aangemaakt of gewijzigd.

Als een order van gisteren vandaag geannuleerd wordt, komt die opnieuw mee omdat `updated_at` verandert. De pipeline werkt het bestaande record bij in plaats van een duplicaat te maken.

Waar moet je op letten?

Deletes
Nieuwe en gewijzigde records detecteren is één ding. Verwijderde records zijn moeilijker wanneer de bron ze gewoon weglaat. Je hebt soft deletes, CDC of periodieke reconciliatie nodig.

Late updates
Sommige records worden met vertraging aangepast. Daarom laden veel pipelines een kleine overlap opnieuw, bijvoorbeeld de laatste twee dagen.

Idempotentie
Een incrementele lading moet veilig opnieuw kunnen draaien. Anders maken retries dubbele records.

Watermark op het juiste moment
Werk de watermark pas bij nadat de run succesvol is. Anders kan je data overslaan bij een fout halverwege.

Incrementele lading versus incremental refresh

Incremental refresh is een specifieke feature in tools zoals Power BI, waarbij alleen recente partities van een dataset opnieuw verwerkt worden. Incrementele lading is het bredere data-engineeringpatroon: alleen nieuwe of gewijzigde data verwerken.

Ze lijken op elkaar en kunnen samenwerken. Een warehouse kan incrementeel laden, waarna Power BI incremental refresh gebruikt om het semantisch model efficiënt bij te werken.

Verwant aan en niet verwarren met

Watermark
Een watermark onthoudt tot waar de incrementele lading geraakt is.

Idempotentie
Idempotentie zorgt dat dezelfde batch opnieuw verwerken geen dubbel resultaat geeft.

Change Data Capture
CDC is één manier om wijzigingen voor incrementele lading te detecteren.

Backfill
Een backfill verwerkt historische data opnieuw. Dat is vaak tijdelijk het tegenovergestelde van alleen incrementeel laden.

FAQ over incrementele lading

1. Is incrementeel laden altijd beter?
Nee. Voor kleine tabellen is volledig herladen eenvoudiger en vaak betrouwbaarder.

2. Hoe vaak moet je toch volledig herladen?
Dat hangt af van de bron en risico's. Sommige teams doen periodieke reconciliatie of een volledige reload bij grote modelwijzigingen.

3. Wat als een bron geen wijzigingsdatum heeft?
Dan heb je een andere techniek nodig, zoals CDC, checksums, snapshots vergelijken of toch volledig herladen.