Query folding

Wat is query folding?

Query folding betekent dat Power Query jouw bewerkingsstappen terugvertaalt naar een query die het bronsysteem zelf kan uitvoeren. Een filter, kolomselectie of join gebeurt dan in SQL Server, Snowflake of een andere bron, in plaats van pas lokaal in Power Query.

Dat maakt veel uit voor performance. Als je bron tien miljoen rijen bevat maar je rapport alleen orders van dit jaar nodig heeft, wil je dat filter zo vroeg mogelijk uitvoeren. Dan reizen er minder rijen door je netwerk en hoeft Power BI minder werk zelf te doen.

Query folding is dus geen aparte knop. Het is de optimalisatie waarbij Power Query probeert zoveel mogelijk werk naar de bron te duwen.

Hoe werkt query folding?

Power Query bewaart je stappen in M-code. Voor bronnen die query folding ondersteunen, probeert de engine die M-stappen om te zetten naar de taal van de bron, vaak SQL.

Een simpele stap zoals kolommen kiezen of rijen filteren kan meestal mee naar de bron. Een custom functie, handmatige rij-per-rijlogica of een stap die de bron niet begrijpt, kan folding stoppen.

Je krijgt grofweg drie situaties: alles foldt, een deel foldt, of niets foldt. Bij gedeeltelijke folding voert de bron eerst de vertaalbare stappen uit, en Power Query doet de rest lokaal.

Wanneer merk je query folding?

• Bij grote tabellen. Vroeg filteren maakt het verschil tussen duizenden en miljoenen rijen ophalen.

• Bij Power BI-refreshes. Een model dat niet foldt, kan traag worden of zelfs time-outs krijgen.

• Bij incrementele refresh. Range-filters moeten kunnen folden, anders kan Power BI de bron niet efficiënt per periode bevragen.

• Bij DirectQuery. Elke interactie stuurt queries naar de bron. Dan wil je dat de query zo netjes mogelijk vertaald wordt.

Query folding versus predicate pushdown

Query folding is de Power Query-kant van het verhaal: kan de tool je stappen vertalen naar iets wat de bron begrijpt?

Predicate pushdown is breder en lager in de stack: kan een filter zo vroeg mogelijk uitgevoerd worden, bijvoorbeeld door een database, query-engine of bestandsformaat zoals Parquet? In de praktijk werken ze samen. Power Query moet het filter eerst kunnen doorgeven. Daarna moet de bron het filter slim kunnen uitvoeren.

Waar moet je op letten bij query folding

• De volgorde van stappen telt. Filter vroeg en verwijder overbodige kolommen vroeg. Dat vergroot de kans dat minder data binnenkomt.

• Niet elke bron ondersteunt folding even goed. SQL-bronnen doen vaak meer dan Excel- of CSV-bestanden.

• Een stap kan alles daarna lokaal maken. Zet zware custom logica zo laat mogelijk, nadat filters en selecties al naar de bron gingen.

• Controleer het, gok niet. In Power Query kan je bij veel stappen de native query bekijken of zien waar folding stopt.

FAQ over query folding

1. Is query folding altijd sneller?
Meestal wel bij grote bronnen, maar niet elke bron of stap profiteert evenveel. Test vooral bij grote modellen.

2. Werkt query folding met Excel-bestanden?
Beperkt of niet. Folding hoort vooral bij gestructureerde bronnen die zelf queries kunnen uitvoeren.

3. Waarom verdwijnt de optie 'View native query' soms?
Omdat Power Query de stap of een vorige stap niet meer naar de bron kan vertalen.