Datakwaliteit

Wat is datakwaliteit?

Datakwaliteit is de mate waarin data geschikt is voor het doel waarvoor je ze gebruikt. Een adressenbestand waarmee je pakjes verstuurt, heeft goede kwaliteit als de pakjes toekomen. Datzelfde bestand kan te slecht zijn om er facturen mee te maken, omdat daar het ondernemingsnummer voor moet kloppen.

Kwaliteit is dus geen eigenschap van de data alleen, maar van de combinatie data en gebruik. In het vakjargon heet dat fitness for purpose: dezelfde tabel kan tegelijk goed genoeg en onbruikbaar zijn, afhankelijk van wie ze waarvoor nodig heeft.

Vergelijk het met een slordige voorraadtelling. Het probleem ontstaat in het magazijn, maar je voelt het pas aan de kassa, wanneer je een product verkoopt dat er niet meer ligt. Met data werkt het net zo: de fout zit bij de invoer, de schade valt ergens anders.

De zes dimensies van datakwaliteit

Goede data is te vaag om op te sturen. Daarom splits je kwaliteit op in meetbare eigenschappen. De indeling die DAMA, de beroepsvereniging voor datamanagement, naar voren schuift, telt zes dimensies.

• Juistheid
  Klopt de waarde met de werkelijkheid? Een klant die vorig jaar verhuisde maar in je CRM nog op het oude adres staat, is een juistheidsprobleem. Het record ziet er netjes uit, en toch komt de levering terug.

• Volledigheid
  Zijn de velden ingevuld die je nodig hebt? Volledigheid gaat over de velden die ertoe doen. Een leeg opmerkingenveld is geen probleem; een leeg btw-nummer bij een actieve klant blokkeert de facturatie.

• Consistentie
  Spreken je systemen elkaar tegen? Dezelfde klant heet "Janssens BV" in het CRM en "Janssens B.V." in het boekhoudpakket, of de omzet in het ERP wijkt af van wat het dashboard toont. Zolang dat niet is uitgeklaard, kiest elke afdeling haar eigen waarheid.

• Tijdigheid
  Is de data er wanneer je ze nodig hebt? Voorraadcijfers van gisterenavond zijn prima voor een maandrapport en onbruikbaar voor een webshop die realtime verkoopt.

• Uniciteit
  Staat elke klant, elk product en elke leverancier maar één keer in je systeem? Dubbele records ontstaan vanzelf: drie collega's maken dezelfde klant aan, telkens net iets anders gespeld.

• Geldigheid
  Voldoet de waarde aan het verwachte formaat? Een e-mailadres zonder apenstaartje, een datum die als losse tekst is opgeslagen, een telefoonnummer zonder landcode. Geldig is trouwens niet hetzelfde als juist: "blauw" is een geldige waarde voor oogkleur, ook als die persoon bruine ogen heeft.

Tools hanteren soms andere namen voor dezelfde vragen. Microsoft Purview meet bijvoorbeeld freshness en conformity waar DAMA tijdigheid en geldigheid zegt.

Hoe goed moet je data zijn?

Honderd procent correcte data is geen zinvol doel. Elke extra graad van perfectie kost inspanning: strengere invoervalidatie, meer opkuiswerk. Op een bepaald punt kost die inspanning meer dan de fouten die ze voorkomt.

De juiste vraag is per gebruik: wat moet kloppen zodat de beslissing die erop volgt klopt? Factuurdata moet tot op de cent juist zijn, want elke fout betekent een creditnota en een ontevreden klant. Een marketingsegmentatie mag ruwer: een mailing doet haar werk ook als een klein deel van de adressen verouderd is.

Daarom leg je kwaliteitseisen vast per dataset en per veld, niet als één algemene ambitie. "Het ondernemingsnummer van elke actieve klant is ingevuld en geldig" is een eis waar je op kan sturen. "Onze data moet beter" is dat niet.

Fouten reizen mee tot in het rapport

Slechte datakwaliteit valt bijna nooit op waar ze ontstaat. Een verkoper die een klant dubbel aanmaakt, merkt daar niets van: zijn deal staat erin en zijn dag gaat verder. Voor hem is de data goed genoeg, en voor zijn doel is dat zelfs waar.

De fout reist ondertussen mee. De koppeling neemt het dubbele record over in het boekhoudpakket, het datawarehouse telt twee klanten, het dashboard toont klantengroei die er niet is. Technisch draait elke stap perfect: geen enkele job faalt op een klant te veel.

Pas in het rapport komen alle fouten uit alle bronnen samen, en daar kijkt uitgerekend iemand anders naar dan wie de data invoerde. De zaakvoerder ziet een omzetcijfer dat botst met zijn buikgevoel en trekt aan de alarmbel. Dan begint het uitzoeken: zit de fout in het rapport, in de transformaties, in de koppeling of in de bron? Dat speurwerk vraagt vaak meer tijd dan de fout rechtzetten zelf.

Hoe werk je aan datakwaliteit?

Meet met regels
Verbeteren begint met meten. Een kwaliteitsregel is een controle die automatisch draait: elk ordernummer is uniek, elk btw-nummer volgt het juiste formaat, elke order verwijst naar een bestaande klant. Tools als dbt voeren zulke tests uit bij elke verwerking en tonen exact welke rijen falen. Purview laat je regels op kolommen zetten en rolt de resultaten op tot een score per dataset.

Geef elke bron een eigenaar
Zolang niemand verantwoordelijk is voor het CRM of het ERP, blijft elke gevonden fout liggen. Spreek per bronsysteem af wie de meldingen krijgt, wie beslist wat prioriteit heeft en wie het opkuiswerk inplant.

Kuis op aan de bron
De verleiding is groot om fouten weg te werken in het rapport: een filter die dubbels verbergt, een formule die rare waarden gladstrijkt. Dat lapmiddel redt één rapport, terwijl elke andere gebruiker van dezelfde bron dezelfde fout opnieuw tegenkomt. Verbeter je het record in het bronsysteem, dan is het overal tegelijk opgelost.

Blijf meten
Datakwaliteit is geen eenmalige schoonmaak. Elke dag komen nieuwe records binnen, en elk gewijzigd proces brengt nieuwe fouttypes mee. Laat de checks periodiek draaien en bekijk de trend: gaat de score per bron vooruit of achteruit?

Datakwaliteit, data governance en data observability

De drie termen liggen dicht bij elkaar en worden vlot door elkaar gehaald.

Data governance is het afsprakenkader: wie is eigenaar van welke data, welke definities gelden, wie mag wat. Kwaliteitseisen zijn een onderdeel van die afspraken. Governance zegt dat elk actief klantrecord een geldig ondernemingsnummer heeft; datakwaliteit is de mate waarin je daar effectief aan voldoet.

Data observability is de bewaking: tooling die continu controleert of tabellen vers zijn, rij-aantallen normaal en schema's stabiel, en die alarm slaat bij afwijkingen. Observability vangt vooral de verrassingen op die je niet in een regel had gegoten; je kwaliteitsregels dekken de fouten die je wel ziet aankomen.

Voor stamgegevens zoals klanten en producten bestaat daarnaast een eigen discipline: master data management, dat per klant of product één gouden record afdwingt over al je systemen heen.

Wat slechte data een KMO kost

De dubbele mailing
Een klant staat drie keer in het CRM en krijgt dezelfde promotie drie keer in zijn mailbox, of een welkomstmail terwijl hij al tien jaar klant is. De reactie is voorspelbaar: irritatie en uitschrijvingen.

De verkeerde voorraad
De webshop verkoopt een product dat volgens het systeem op voorraad ligt maar in het magazijn ontbreekt. Of omgekeerd: de aankoper bestelt bij omdat het systeem een tekort toont dat er niet is. Beide kosten geld, de ene in geannuleerde bestellingen, de andere in kapitaal dat in de rekken slaapt.

De factuur op het oude adres
De klant verhuisde, de factuur vertrok naar het oude adres, de betaaltermijn verstrijkt en de aanmaning volgt. Zo beland je in een vervelende discussie met een klant die eigenlijk gewoon wilde betalen.

Het dashboard dat niemand nog gelooft
Eén fout cijfer in een managementvergadering volstaat om het vertrouwen in de rapportering te breken. Het team valt terug op eigen Excels, en dat vertrouwen herstellen duurt altijd langer dan de fout rechtzetten.

FAQ over datakwaliteit

1. Waar begin je als je datakwaliteit wil verbeteren?
Bij de data waarop je vandaag al beslissingen neemt. Kies je vijf belangrijkste tabellen of lijsten, schrijf per tabel twee of drie regels op die altijd waar moeten zijn, en meet hoe vaak ze dat effectief zijn. Die eerste meting bepaalt waar je begint op te kuisen.

2. Bestaat er een score die je moet halen?
Nee. Een universeel kwaliteitspercentage bestaat niet, omdat de lat per gebruik verschilt. Spreek per dataset af welke regels moeten kloppen en volg de trend van die score op.

3. Is datakwaliteit een IT-probleem?
Het is een gedeeld probleem. De meeste fouten ontstaan bij de invoer en bij veranderende processen, en de business voelt de gevolgen in rapporten en klantcontact. IT bouwt de checks en de koppelingen, maar alleen de business kan zeggen welke waarden juist zijn.

4. Lost een tool het op?
Een tool meet en signaleert; opkuisen en afspraken maken blijft mensenwerk. Zonder eigenaar die de meldingen opvolgt, produceert de beste tool alleen een langere lijst met problemen.