Dagster

Wat is Dagster?

Dagster is een open-source data-orkestrator die draait rond je data-assets in plaats van rond losse taken. Een asset is gewoon iets wat je wil dat bestaat: een tabel in je warehouse, een bestand in je lakehouse, een getraind model. Je beschrijft in Python-code welke assets er moeten zijn en hoe elk ervan gemaakt wordt, en Dagster leidt uit die beschrijvingen zelf de volgorde af.

Het verschil zit in wat je opschrijft. Bij een taakgerichte orkestrator geef je de route: doe dit, dan dat. Bij Dagster geef je de bestemming, de tabel die je wil hebben, en de tool rekent de route zelf uit. Verandert er iets bovenaan de keten, dan weet Dagster meteen welke tabellen eronder opnieuw moeten. Dagster noemt dat software-defined assets.

Assets in plaats van taken

Elke asset heeft een functie die hem produceert, en Dagster weet welke andere assets die functie nodig heeft. Zo bouwt de tool automatisch de afhankelijkheidsgraaf op, in plaats van dat jij die apart onderhoudt.

Materialiseren is de term voor een asset effectief laten maken: Dagster draait de functie en schrijft het resultaat weg naar je warehouse of lakehouse. In de interface zie je per asset wanneer hij voor het laatst gematerialiseerd is.

Asset checks zijn kwaliteitscontroles die je aan een asset koppelt: is deze kolom nooit leeg, blijft het aantal rijen binnen een verwacht bereik. De check draait mee met de materialisatie, zodat een probleem opvalt op het moment dat de data gemaakt wordt en niet pas in het rapport. Omdat de assets en hun afhankelijkheden in de code staan, krijg je lineage er meteen bij.

Dagster versus Apache Airflow

Apache Airflow is de bekendste open-source orkestrator en denkt in taken: je schrijft een DAG die zegt welke taak in welke volgorde draait. Wat elke taak precies produceert, staat impliciet in de code. Airflow blinkt uit in workflows over veel verschillende systemen, met een grote verzameling kant-en-klare operators en jaren ervaring in productie.

Dagster keert de vraag om. Niet "welke taak draai ik wanneer", maar "welke data wil ik hebben en hoe wordt ze gemaakt". Daardoor zit lineage en versheid van je tabellen ingebouwd, waar je die bij Airflow zelf moet bijhouden. Dagster legt ook meer nadruk op ontwikkelen en testen op je eigen laptop, met getypeerde in- en uitvoer tussen assets zodat fouten vroeg opvallen.

Een ruwe vuistregel: voor een warehouse-gerichte analytics-stack met dbt en Snowflake of BigQuery sluiten de assets van Dagster direct aan op je modellen. Voor zware workflows over veel externe systemen heen speelt de rijpheid van Airflow in het voordeel. Beide tools worden breed gebruikt, de keuze hangt af van je stack.

Dagster en dbt

dbt en Dagster passen goed samen omdat ze in dezelfde termen denken: dbt beschrijft je transformaties als modellen met afhankelijkheden ertussen, en dat is dezelfde asset-logica die Dagster gebruikt.

Dagster leest je dbt-project in en maakt van elk dbt-model een aparte asset. Je krijgt daardoor één graaf die de volledige keten toont: van de rauwe brontabel die een datapijplijn binnenhaalt, over je dbt-modellen, tot het model dat je rapport voedt. Faalt een test of loopt een bron uit, dan zie je meteen welke modellen eronder geraakt worden. dbt zelf trap je normaal af vanuit een orkestrator, en daar is Dagster een natuurlijke keuze voor.

Wanneer past Dagster?

Dagster is op zijn best wanneer je datateam de pijplijn als een set assets wil beheren. Herkenbare signalen:

• Je denkt eerder in tabellen en modellen die je wil hebben dan in losse scripts die op een uur draaien.

• Je wil lineage en kwaliteitscontroles ingebouwd, zonder er een aparte tool naast te zetten.

• Je team wil pijplijnen lokaal kunnen bouwen en testen voor ze naar productie gaan.

Zit je hele platform binnen Microsoft Fabric, dan kom je vaak al ver met de ingebouwde data-orkestratie daar. Dagster loont wanneer je code-first werkt en de asset-aanpak echt wil gebruiken.

Waar moet je op letten bij het gebruik van Dagster

Het is een echte tool om te onderhouden. Dagster draait niet vanzelf: je host het zelf of neemt de betaalde cloud-variant, en je hebt een profiel nodig dat in Python werkt. Voor drie losse refreshes is dat te zwaar.

De asset-manier van denken vraagt een omslag. Wie jaren in taken en schedules heeft gewerkt, moet wennen aan het beschrijven van data in plaats van stappen. Reken op een leercurve bij het begin.

Assets zonder checks geven schijnzekerheid. Een asset die netjes groen materialiseert, kan perfect nul nuttige rijen bevatten. De lineage is pas een vangnet als je er ook asset checks op zet die de inhoud controleren.