Notebook (data)

Wat is een notebook?

Een notebook is een werkdocument voor data. Het bestaat uit cellen die je stap voor stap uitvoert: een cel met code, een cel met uitleg in gewone taal, weer een cel met code. Het resultaat van elke stap, een tabel, een grafiek of een foutmelding, verschijnt meteen onder de cel.

Je kan het zien als een labo-schrift. Zoals een laborant elk experiment noteert naast de uitkomst, zie jij per stap wat je code met de data doet. Filter je alle bestellingen van vorig kwartaal weg, dan zie je direct hoeveel rijen er overblijven en of dat aantal klopt met je verwachting.

Dat maakt het verschil met een klassiek script. Een script draait van begin tot einde in één keer, en je ziet pas op het einde of het gelukt is. In een notebook werk je stap voor stap, en dat is precies wat je wil wanneer je de data nog niet kent.

De bekendste vorm is Jupyter, een open source project dat in 2014 uit IPython groeide. De naam verwijst naar de programmeertalen Julia, Python en R. Jupyter gaf ons ook het bestandsformaat .ipynb: een JSON-bestand dat code, tekst en uitkomsten samen bewaart. Open je het notebook van een collega, dan zie je dus ook de resultaten van de laatste keer dat het draaide, zonder zelf iets uit te voeren.

Wanneer gebruik je een notebook?

1. Data verkennen vóór je een pijplijn bouwt. Een nieuwe bron komt binnen en je wil weten wat erin zit: welke kolommen, hoeveel lege velden, kloppen de datums? Een notebook beantwoordt die vragen in een kwartier, met de grafieken erbij.

2. Eenmalige analyses. De zaakvoerder wil weten waarom de marge in maart zakte. Daar bouw je geen dashboard voor. Een notebook geeft het antwoord én de weg ernaartoe, zodat je binnen een half jaar nog kan terugvinden hoe je eraan kwam.

3. Machine learning-experimenten. Modellen trainen is proberen, vergelijken en bijsturen. In een notebook zet je varianten naast elkaar en hou je de tussenresultaten bij. Daarom is het notebook het standaardgereedschap van data scientists.

4. Documentatie die meedraait. De uitleg staat naast de code die ze beschrijft. Wie het notebook opent, ziet niet alleen wat er gebeurt maar ook waarom, en de voorbeelden in de tekst blijven actueel, want ze worden mee uitgevoerd.

Notebooks in Microsoft Fabric

In Microsoft Fabric is het notebook een eigen item in je werkruimte. Het draait volledig in de browser, er valt niets te installeren, en je koppelt er een lakehouse aan zodat je tabellen rechtstreeks kan lezen en terugschrijven.

Voor grote volumes gebruik je de Spark-kernel: je code draait dan verdeeld over een cluster, in PySpark, Scala, Spark SQL of SparkR. Voor kleiner werk is er een Python-notebook dat op één machine draait en minder capaciteit vraagt. Bestaande Jupyter-bestanden importeer je gewoon: Fabric herkent het .ipynb-formaat.

Belangrijk voor wie verder wil dan verkennen: een Fabric-notebook is planbaar. Je laat het volgens een schema draaien, of je neemt het op als activiteit in een datapijplijn, met parameters die je per run meegeeft. Een veelgebruikt patroon: de pijplijn kopieert 's nachts de ruwe data binnen, en daarna voert een notebook de transformatie uit die te complex is voor clicks.

Ook Databricks bouwt zijn werkervaring rond notebooks: meerdere collega's werken er live samen in hetzelfde document, met automatische versiegeschiedenis erbij.

Notebook, dataflow of script: hoe kies je?

Voor datatransformaties heb je meestal drie opties, en ze overlappen. Waar het zwaartepunt ligt, bepaalt de keuze.

Dataflow: clicks in plaats van code

Een low-code tool zoals Dataflow Gen2 bouwt transformaties met clicks in Power Query. Voor opschonen, samenvoegen en categorieën afleiden is dat sneller dan code schrijven, zeker voor een team dat Power Query al kent. Zolang een dataflow volstaat, heb je geen notebook nodig.

Notebook: code met zicht op elke stap

Een notebook wint zodra de logica complexer wordt dan clicks aankunnen: eigen berekeningen, veel voorwaarden, code die je als functie wil hergebruiken over projecten heen. En bij alles wat verkennend is, want je ziet per stap wat er met de data gebeurt.

Script: code zonder de cellen

Ligt de logica vast en hoeft niemand nog tussenresultaten te zien, dan is een gewoon script (een .py-bestand, of in Fabric een Spark job definition) de strakkere vorm. Scripts zijn makkelijker te testen en netter te beheren in versiebeheer, want er zitten geen opgeslagen uitkomsten in het bestand.

In de praktijk schuift werk door: het begint als verkenning in een notebook, en wat blijvend waarde oplevert, verhuist naar een dataflow of een geteste pijplijn.

Waar moet je op letten bij het werken met notebooks

De volgorde van uitvoeren
Cellen kan je in eender welke volgorde draaien, en het geheugen onthoudt alles. Draai cel 12 vóór cel 3 en je krijgt een ander resultaat dan je collega die netjes van boven naar onder werkte. Zelfs variabelen uit een verwijderde cel blijven bestaan tot je de sessie herstart. Maak er een gewoonte van om het hele notebook regelmatig opnieuw uit te voeren van boven naar onder, en zeker vóór je het deelt.

Van experiment naar productie
Een notebook nodigt uit om te blijven aanbouwen, tot het ding ongemerkt een kritiek proces draait. Dat kan, platformen zoals Fabric en Databricks plannen notebooks zonder probleem in, maar behandel het dan als code: versiebeheer, review door een collega en een controle op de uitkomst. Voor de echt kritieke processen verhuizen veel teams de logica naar een geteste pijplijn en houden ze het notebook voor verkenning en documentatie.

Geheimen en gevoelige data in cellen
Een wachtwoord of API-sleutel is snel in een codecel geplakt. En omdat een .ipynb-bestand ook de uitkomsten bewaart, kunnen klantgegevens uit een testrun in het bestand blijven zitten dat je doorstuurt of naar Git pusht. Haal geheimen uit een kluis zoals Azure Key Vault en wis de outputs vóór je een notebook deelt.

FAQ over notebooks

1. Moet ik kunnen programmeren om een notebook te gebruiken?
Ja, al is de drempel lager dan bij klassieke softwareontwikkeling. Met basiskennis Python of SQL kom je ver, omdat je stap voor stap werkt en elke regel meteen resultaat toont. Wil je team niet programmeren, dan is een low-code tool zoals Dataflow Gen2 het alternatief.

2. Wat is het verschil tussen Jupyter en een Fabric-notebook?
Hetzelfde idee, andere omgeving. Jupyter draait waar jij het installeert, een Fabric-notebook draait in de browser tegen je lakehouse, met Spark-rekenkracht, delen en plannen ingebouwd. Een notebook dat je in Jupyter maakte, importeer je rechtstreeks in Fabric.

3. Kan een notebook automatisch draaien?
Ja. In Fabric plan je een notebook rechtstreeks in, of je neemt het op als activiteit in een datapijplijn. Zo draait dezelfde code die je interactief schreef elke nacht als vaste taak.

4. Vervangt een notebook mijn BI-tool?
Nee. Een notebook is de werkbank van de analist. Rapporten en dashboards voor eindgebruikers blijven het terrein van Power BI: wat je in een notebook berekent, schrijf je weg naar een tabel waar je rapporten op lezen.