Dataflow Gen2 (Microsoft Fabric)

Wat is Dataflow Gen2?

Dataflow Gen2 is de bouwsteen in Microsoft Fabric waarmee je data ophaalt, opschoont en klaarzet zonder code te schrijven. Je werkt in Power Query, rechtstreeks in de browser: dezelfde editor die je kent uit Power BI en Excel, maar zonder dat je er Power BI Desktop voor moet openen.

Het principe is eenvoudig. Je verbindt met een bron, je bouwt stap voor stap je transformaties op (filteren, samenvoegen, kolommen splitsen, ontdubbelen) en je kiest waar het resultaat moet landen. Vanaf dan herhaalt de dataflow die stappen bij elke refresh, handmatig of volgens een schema.

Microsoft telt meer dan 150 connectoren om data binnen te halen en meer dan 300 ingebouwde transformaties. Daarmee dek je het gros van wat een team nodig heeft om brondata om te zetten in propere tabellen, zonder dat er een ontwikkelaar aan te pas komt.

Binnen Fabric hoort Dataflow Gen2 bij de Data Factory-workload. Het is er de self-service kant van: waar een data engineer naar een notebook of pijplijn grijpt, bouwt een analist hetzelfde resultaat met clicks in Power Query.

Wat is het verschil met Dataflow Gen1?

Dataflow Gen1 is de oorspronkelijke versie: de dataflows die al jaren in Power BI zitten. Die bewaren hun resultaat in eigen interne opslag, en je raakt er alleen bij via de Dataflow-connector in Power BI. Handig om queries te hergebruiken over rapporten heen, maar daar stopt het ook.

Gen2 breekt dat open. De belangrijkste verschillen zoals Microsoft ze documenteert:

• Meerdere bestemmingen. Een Dataflow Gen2 schrijft zijn output naar de bestemming die jij kiest: tabellen of bestanden in een Fabric lakehouse, een Fabric warehouse, een KQL-database of een Fabric SQL-database, maar ook buiten Fabric naar Azure SQL, Azure Data Explorer, Azure Data Lake Gen2, SharePoint of Snowflake.

• Integratie met pijplijnen. Je kan een dataflow als activiteit opnemen in een Fabric-pijplijn en hem laten meedraaien in een groter geheel: eerst ruwe data kopiëren, dan de dataflow laten transformeren, daarna een notebook of stored procedure starten.

• Automatisch opslaan. Gen2 bewaart je werk automatisch als concept terwijl je bouwt. Publiceren gebeurt achteraf, met validaties op de achtergrond.

• Betere monitoring. Refreshes verschijnen in de Monitoring Hub van Fabric, met een gedetailleerde refresh-historiek per query.

• Versiebeheer. Sinds april 2026 maakt Fabric elk nieuw Dataflow Gen2-item standaard aan met Git-integratie en CI/CD-ondersteuning.

Eén ding kan Gen1 dat Gen2 niet kan: DirectQuery rechtstreeks op de dataflow via de Dataflow-connector. In Gen2 los je dat anders op: je schrijft naar een lakehouse of warehouse en bouwt daar je semantisch model op.

Overstappen hoeft geen herbouw te zijn. Je kan Gen1-queries exporteren als template en importeren in Gen2, queries kopiëren en plakken in de editor, of een bestaande dataflow via Save As omzetten naar een Gen2-item.

Dataflow, pijplijn of notebook: hoe kies je?

Fabric heeft drie manieren om data te verplaatsen en te bewerken, en ze overlappen deels. De vuistregel:

Dataflow Gen2: transformeren met Power Query

Kies een dataflow wanneer het zwaartepunt bij de transformatie ligt en je team Power Query kent. Opschonen, samenvoegen, categorieën afleiden: dat soort werk bouw je sneller in de visuele editor dan in code.

Data pipeline: kopiëren en orkestreren

De copy activity van een pijplijn is gemaakt om grote volumes te verplaatsen, tot petabyte-schaal, met hooguit lichte bewerkingen zoals kolommen hernoemen. Daarnaast is de pijplijn de dirigent van je dataplatform: hij bepaalt de volgorde, plant de uitvoering en stuurt andere onderdelen aan, waaronder dataflows.

Notebook: code voor de complexe gevallen

Een notebook met Spark is er voor wat buiten het bereik van clicks valt: complexe bedrijfslogica, heel grote datavolumes of transformaties die je met tests wil onderhouden. Je schrijft dan Python of SQL, met de leercurve die daarbij hoort.

In de praktijk combineer je ze. Een veelgebruikt patroon: een pijplijn kopieert 's nachts de ruwe data naar het lakehouse, triggert daarna een dataflow die ze opschoont, en Power BI leest het resultaat.

Wanneer gebruik je Dataflow Gen2 in een KMO?

Voor een KMO zonder voltijdse data engineer is Dataflow Gen2 vaak de kortste weg van brondata naar bruikbare tabellen. Enkele herkenbare scenario's:

1. Boekhouddata klaarzetten voor rapportering. Je haalt omzet- en kostendata uit je boekhoudpakket, zet rekeningnummers om naar leesbare categorieën en schrijft het resultaat als tabel naar je lakehouse. Power BI leest die tabel rechtstreeks.

2. CRM-data opschonen. Dubbele klantrecords samenvoegen, ontbrekende velden aanvullen en bedrijfsnamen uniform maken voor ze in je rapporten belanden.

3. Excel-bestanden samenvoegen. Maandelijkse exports op SharePoint automatisch combineren tot één tabel, in plaats van elke maand te knippen en te plakken.

4. De lagen van een medaillon-architectuur vullen. Ruwe data landt in de bronslaag van je lakehouse, een dataflow bouwt er de opgeschoonde zilverlaag van. Zo groeit je dataplatform gestructureerd mee.

Al die scenario's draaien op een schema. De data staat elke ochtend klaar, en niemand hoeft nog een export te openen.

Waar moet je op letten bij het gebruik van Dataflow Gen2?

Capaciteitsverbruik
Elke refresh verbruikt capaciteitseenheden (CU's) van je Fabric-capaciteit, op basis van hoelang je queries draaien. Staat staging aan, dan komt het verbruik van de staging-lakehouse en -warehouse daar bovenop. Volg het verbruik op in de Fabric Capacity Metrics-app voor je tientallen dataflows op een kleine capaciteit loslaat.

Refresh-duur bij grote volumes
Voor het puur verplaatsen van grote datavolumes is de copy activity van een pijplijn de betere keuze. Fast copy versnelt het inladen in een dataflow voor ondersteunde bronnen, maar zodra volumes en transformaties samen zwaar worden, loont het om te herbekijken welk werk waar draait.

Query folding blijft belangrijk
Net als elders in Power Query probeert de engine je stappen terug te duwen naar de bron. Stappen in een volgorde die folding breekt, betekenen dat alles lokaal berekend wordt en je refresh langer duurt en meer capaciteit vraagt.

Tabellen die opnieuw aangemaakt worden
Met de automatische bestemmingsinstellingen wordt de doeltabel bij elke refresh verwijderd en opnieuw aangemaakt. Relaties of measures die je achteraf op die tabel zette, verdwijnen dan mee. Kies een vast schema als je die wil behouden. Bij een warehouse als bestemming is een vast schema sowieso verplicht en moet staging aanstaan.

Weet wanneer je eruit groeit
Een dataflow met tientallen queries en zware joins op miljoenen rijen wordt traag en duur. Op dat punt verhuis je de zwaarste stappen beter naar een notebook, of laat je een copy activity het verplaatsen doen en hou je de dataflow voor de transformatie.

FAQ over Dataflow Gen2

1. Heb ik een betaalde Fabric-capaciteit nodig?
Je hebt een Fabric-capaciteit, een Fabric-trialcapaciteit of een Power BI Premium-capaciteit nodig om Dataflow Gen2 te gebruiken.

2. Kan ik mijn bestaande Power BI-dataflows meenemen naar Fabric?
Ja. Je kan queries exporteren als template en importeren in Gen2, ze kopiëren en plakken in de Power Query-editor, of een bestaande dataflow via Save As omzetten naar een Gen2-item.

3. Moet ik M kunnen schrijven om een dataflow te bouwen?
Nee. Je bouwt transformaties met clicks in de visuele editor, en Power Query schrijft de M-code op de achtergrond. Kennis van M komt pas van pas bij complexere logica zoals custom functies of parameters.

4. Wat zijn die DataflowsStagingLakehouse-items in mijn werkruimte?
Dat zijn systeemitems die Dataflow Gen2 zelf aanmaakt om data tijdelijk te bewaren en sneller weg te schrijven. Ze zijn niet bedoeld om rechtstreeks in te werken; je mag ze gewoon laten staan.

5. Is een Dataflow Gen2 hetzelfde als Power Query?
Power Query is de editor en de taal, Dataflow Gen2 is het Fabric-item dat die editor in de cloud draait en het resultaat volgens schema wegschrijft naar de bestemming die je kiest.