Datareconciliatie

Wat is datareconciliatie?

Datareconciliatie is het systematisch vergelijken van twee datasets of twee systemen om te bevestigen dat ze overeenkomen, en om te vinden waar dat niet zo is. Je legt de ene kant naast de andere en controleert of alles strookt: evenveel records, dezelfde totalen, dezelfde waarden per rij.

Het klinkt saai, en dat is net de bedoeling. Je gelooft niemand op zijn woord, ook je eigen systemen niet. Een kopie die op het eerste zicht perfect lijkt, kan stil twee records kwijt zijn of een bedrag dubbel geteld hebben, en zonder vergelijking merk je dat pas als iemand veel later een cijfer niet vertrouwt.

De term duikt op in twee werelden die minder ver uit elkaar liggen dan ze lijken: in de boekhouding, waar je een bankuittreksel naast je grootboek legt, en in data engineering, waar je na een migratie of een verwerking de bron naast het doel legt.

Reconciliatie in een datapijplijn

Telkens je data verplaatst, kan er onderweg iets verdwijnen of verdubbelen. Een ETL- of ELT-verwerking leest uit een bronsysteem, transformeert en schrijft naar een datawarehouse. Een migratie tilt een hele database naar een nieuw platform. Een change data capture (CDC)-stroom houdt een kopie continu gelijk met de bron. Telkens is de vraag dezelfde: is elke rij aangekomen, zonder verlies en zonder dubbels?

Het venijn zit in de stilte. Een verwerking kan groen afronden, geen enkele foutmelding, en toch tweehonderd rijen missen omdat een filter te streng stond of een load halverwege afbrak en opnieuw begon. De job meldt succes, want technisch is er niets gecrasht. Alleen de cijfers kloppen niet meer, en dat zie je nergens tenzij je het bewust nagaat.

Daarom bouwen data-teams reconciliatie in als vaste stap na elke verwerking. Google's Data Validation Tool, gemaakt voor net dit soort migraties, vat het kort samen: data uit bron en doel worden vergeleken om te bevestigen dat ze na elke migratiestap overeenkomen en correct zijn.

Reconciliatie in de boekhouding

De tweede context is ouder dan eender welke datapijplijn. Bij een bankreconciliatie leg je de bewegingen op je bankuittreksel naast wat er in je grootboek geboekt staat. Elke betaling, elke ontvangst en elke kost hoort aan beide kanten te staan, met hetzelfde bedrag. Waar de twee uiteenlopen, zit een fout, een vergeten boeking, een dubbele registratie, of in het slechtste geval fraude.

De logica is dezelfde als in de datapijplijn: twee onafhankelijke registraties van dezelfde werkelijkheid, naast elkaar gelegd om te zien of ze hetzelfde zeggen. De vraag "klopt mijn kopie met het origineel?" blijft identiek.

De technieken

Van goedkoop en grof tot duur en precies, dit zijn de controles die je op elkaar stapelt:

• Rijen tellen
  Evenveel rijen aan de bronkant als aan de doelkant, gecorrigeerd voor wat je bewust filtert of ontdubbelt. Vangt meteen halve loads, dubbele loads en gemiste stukken. Kost bijna niets en draait als een SQL-query op het einde van elke verwerking.

• Controletotalen
  Tel ook de inhoud op: de som van alle bedragen, het totaal aantal bestelde stuks, de som van een sleutelkolom. Als bron en doel evenveel rijen hebben maar een ander totaal, is er onderweg een waarde veranderd.

• Kolomaggregaten
  Vergelijk per kolom de som, het gemiddelde, het minimum en het maximum. Zo lokaliseer je het verschil tot op de kolom.

• Hashvergelijking
  Voor een controle rij per rij bereken je aan beide kanten een hash (bijvoorbeeld een SHA-256) over de waarden van elke rij, en je vergelijkt die hashes. Verschilt er een enkel teken in een enkel veld, dan verschilt de hash. Zo betrap je verschillen die op totaalniveau tegen elkaar wegvallen.

• Sleutelgewijs vergelijken
  Om te weten welke rijen verschillen, join je bron en doel op een unieke sleutel en zoek je de rijen die links wel en rechts niet bestaan, of omgekeerd. Dit vraagt een betrouwbare sleutel per rij, maar het geeft je de exacte lijst van wat mist of te veel staat.

In de praktijk begin je bovenaan die lijst en zak je pas dieper wanneer een goedkope check al een verschil toont.

Een voorbeeld met een miljoen rijen

Stel: je bronsysteem bevat 1.000.000 orderrijen. Na de nachtelijke ETL naar het datawarehouse staan er 999.998. De verwerking liep zonder fout, elk dashboard toont keurige cijfers, en niemand die met de hand een miljoen rijen natelt.

De rijtelling ziet het verschil meteen: 1.000.000 tegenover 999.998, twee rijen te weinig. Zonder die check waren die twee orders gewoon verdwenen uit je omzetrapport, een fractie te laag, ruim binnen wat een mens over het hoofd ziet. Precies zulke kleine, plausibele verschillen zijn het gevaarlijkst, want ze zetten geen alarm af.

De telling zegt wel dat er twee missen, niet welke. Daarvoor join je bron en doel op het ordernummer en vraag je de nummers op die in de bron staan maar niet in het doel. Je krijgt twee concrete ordernummers terug, je zoekt uit waarom ze sneuvelden (een NULL in een verplicht veld, een order net buiten het datumfilter), en je herstelt de verwerking.

Datareconciliatie, datakwaliteit en data observability

De drie horen bij elkaar, maar elk beantwoordt een andere vraag.

Datareconciliatie vergelijkt twee specifieke datasets met elkaar: komt mijn kopie overeen met het origineel? Het gaat over gelijkheid tussen twee kanten die je allebei kent.

Datakwaliteit gaat over een dataset op zich: kloppen de waarden, zijn de juiste velden ingevuld, staat elke klant maar een keer in het systeem? Reconciliatie kan perfect kloppen terwijl de kwaliteit slecht is, als bron en doel dezelfde fout bevatten. De kopie is dan trouw, de inhoud deugt niet.

Data observability bewaakt de gezondheid van je data over de tijd en slaat alarm bij afwijkingen die je niet had voorzien. Waar reconciliatie twee gekende datasets op een moment naast elkaar legt, let observability continu op een stroom en zoekt het onverwachte.

Reconciliatie leunt ook aan tegen deduplicatie en master data management (MDM). Een sleutelgewijze vergelijking legt dubbele records bloot, en een betrouwbare unieke sleutel per klant of product, precies wat MDM nastreeft, is net wat zo'n vergelijking mogelijk maakt.