Afleidingsregel
Een afleidingsregel legt uit hoe een nieuwe waarde wordt berekend of bepaald uit bestaande data. Ze maakt businesslogica achter velden, metr...
Lees meerEen validatieregel controleert of data voldoet aan een afgesproken voorwaarde. Ze maakt datakwaliteit concreet, testbaar en opvolgbaar.
Een validatieregel controleert of data voldoet aan een afgesproken voorwaarde. Ze zegt niet vaag dat data "goed" moet zijn, maar maakt kwaliteit testbaar: een klantnummer mag niet leeg zijn, een factuurdatum mag niet in de toekomst liggen, een status moet uit een toegelaten codeset komen.
Validatieregels zijn de praktische kant van datakwaliteit. Ze vertalen afspraken naar controles die je in een datapijplijn, data contract, importproces of rapporteringsmodel kan uitvoeren.
Een validatieregel kan een fout blokkeren, een waarschuwing geven of records naar een aparte foutenlijst sturen. De juiste reactie hangt af van de impact.
Verplichte velden
Een waarde mag niet ontbreken. Bijvoorbeeld: elke factuur moet een factuurnummer hebben.
Formaatcontroles
Een waarde moet een geldig formaat hebben. Bijvoorbeeld een datum, e-mailadres, IBAN of ondernemingsnummer.
Bereikcontroles
Een waarde moet binnen een logisch bereik vallen. Bijvoorbeeld een korting tussen 0 en 100 procent.
Referentiecontroles
Een waarde moet voorkomen in een codeset of referentietabel. Bijvoorbeeld een orderstatus die officieel bestaat.
Relatiecontroles
Waarden moeten samen logisch zijn. Bijvoorbeeld een leverdatum mag niet voor de besteldatum liggen.
Volumeregels
Een dataset moet een verwacht aantal records hebben. Een dagelijkse load met nul orders kan technisch slagen en inhoudelijk toch verdacht zijn.
Bij data-inname. Je controleert of de bron levert wat verwacht wordt.
Bij transformaties. Je test of berekeningen en joins geen onverwachte gaten of dubbels maken.
Bij data contracts. De regels maken het contract afdwingbaar.
Bij rapportering. Je vermijdt dat dashboards stilletjes foute of onvolledige data tonen.
Een pipeline laadt dagelijks facturen. De validatieregels zeggen dat elke factuur een uniek factuurnummer, klantnummer, factuurdatum en positief totaalbedrag moet hebben. Daarnaast moet de valuta voorkomen in de officiële codeset en mag de factuurdatum niet later zijn dan vandaag.
Wanneer één record faalt, gaat het naar een foutenlijst. Wanneer meer dan 5 procent van de records faalt, stopt de pipeline en krijgt de eigenaar een melding.
Een bruikbare validatieregel heeft een duidelijke eigenaar, foutboodschap en opvolging. "Validatie mislukt" helpt niemand. "Factuur 2026-001 heeft geen klantnummer en is daarom niet geladen" helpt wel.
Leg ook vast of een regel hard of zacht is. Een ontbrekend klantnummer kan een blokkering zijn. Een ongewoon hoog bedrag kan eerst een waarschuwing zijn.
Data contract
Een data contract bevat vaak validatieregels. Het contract is de bredere afspraak, de regel is de concrete test.
Data testing
Data testing is het uitvoeren en beheren van zulke controles in code of tooling.
Schema drift
Validatieregels kunnen schema drift detecteren, bijvoorbeeld wanneer verplichte kolommen ontbreken of datatypes wijzigen.
Transformatie
Een transformatie verandert data. Een validatieregel controleert data. Beide horen vaak naast elkaar in dezelfde pipeline.
1. Moet elke fout de pipeline stoppen?
Nee. Kritieke fouten stoppen de pipeline. Minder kritieke afwijkingen kunnen naar monitoring of een foutenlijst.
2. Wie schrijft validatieregels?
Het datateam kan ze technisch bouwen, maar de business owner moet bepalen wat inhoudelijk fout is.
3. Zijn validatieregels genoeg voor datakwaliteit?
Nee. Ze zijn een belangrijk onderdeel, maar je hebt ook eigenaarschap, monitoring en opvolging nodig.
Een afleidingsregel legt uit hoe een nieuwe waarde wordt berekend of bepaald uit bestaande data. Ze maakt businesslogica achter velden, metr...
Lees meerAI Builder brengt AI-modellen en prompts naar Power Apps en Power Automate. Makers kunnen er onder meer documenten uitlezen, tekst classific...
Lees meerAnomaliedetectie spoort automatisch datapunten op die niet passen in het normale patroon: een factuur die uit de toon valt, een machine die ...
Lees meerAnonimisering maakt data redelijkerwijs niet meer herleidbaar tot een persoon, waardoor de GDPR niet meer van toepassing is. Pseudonimiserin...
Lees meerApache Airflow is een open-source orkestrator: je beschrijft je datapijplijnen als code in Python, in de vorm van een DAG, en Airflow plant ...
Lees meer
Verbeter de datakwaliteit van je KMO. Ontdek hoe je data juist verzamelt, schoonmaakt en automatisch up-to-date houdt voor betrouwbare rappo...
Ontdek hoe Power BI het closingproces in finance versnelt en vereenvoudigt. Geen Excel-chaos meer, maar één bron van waarheid, betere datakw...