Deduplicatie

Wat is deduplicatie?

Deduplicatie is het opsporen van records die naar hetzelfde ding verwijzen, en ze samenvoegen tot een of de overbodige verwijderen. Dezelfde klant die drie keer in het CRM staat, hetzelfde product met twee artikelnummers, dezelfde leverancier onder twee schrijfwijzes: telkens gaat het over een entiteit die meerdere keren in je data zit.

Dubbels ontstaan vanzelf. Drie collega's maken dezelfde klant aan, elk met een andere spelling, of een import voegt een lijst toe die deels al bestond. Zolang niemand ze opruimt, tellen je rapporten te veel klanten en krijgt diezelfde persoon je mailing twee keer.

Deduplicatie is een vast onderdeel van datakwaliteit, meer bepaald van de dimensie uniciteit: staat elke klant, elk product en elke leverancier maar een keer in je systeem? In de opslagwereld betekent hetzelfde woord trouwens iets anders: daar slaat deduplicatie op een techniek die identieke datablokken maar een keer bewaart om schijfruimte te sparen, bijvoorbeeld in back-ups. Die betekenis staat los van de datakwaliteit-kant hier.

Exact matchen versus fuzzy matchen

Twee records herkennen als hetzelfde kan op twee manieren, en het verschil bepaalt hoeveel dubbels je vindt.

Exact matchen vergelijkt op een sleutel die identiek moet zijn: hetzelfde ondernemingsnummer, hetzelfde e-mailadres, dezelfde hash van een reeks velden. Snel en zeker, maar het vindt alleen dubbels die precies gelijk staan. Een spatie of een typefout verschil, en de twee records blijven voor de computer twee verschillende klanten.

Fuzzy matchen, ook probabilistisch matchen genoemd, vergelijkt records die op elkaar lijken zonder identiek te zijn. "Jan Peeters" en "J. Peeters", of een adres met een typefout: een fuzzy match geeft elk veld een gelijkenisscore en telt die samen tot een totale kans dat het om dezelfde entiteit gaat. Boven een drempel is het een match, eronder niet, en in de twijfelzone laat je een mens beslissen. Die gelijkenis meet je met algoritmes zoals Levenshtein of Jaro-Winkler. Levenshtein telt bijvoorbeeld hoeveel invoeg-, verwijder- en vervangbewerkingen twee teksten uit elkaar liggen; hoe minder er nodig zijn, hoe hoger de score.

De stappen van een deduplicatie

Een deduplicatie loopt in de praktijk in vier stappen, los van welke tool je gebruikt.

1. Normaliseren
   Eerst maak je de velden vergelijkbaar: hoofdletters gelijktrekken, spaties en leestekens uit telefoonnummers halen, "N.V." en "NV" gelijkstellen, adressen in dezelfde vorm gieten. Veel schijnbare dubbels vallen na die opkuis al samen.

2. Blokken maken
   Elk record met elk ander vergelijken kost te veel tijd: bij honderdduizend records zijn dat miljarden vergelijkingen. Daarom groepeer je eerst kandidaten die sowieso op elkaar lijken, bijvoorbeeld alle records met dezelfde postcode, en vergelijk je enkel binnen die groepen. Dit heet blocking.

3. Matchen
   Binnen elke groep bepaal je welke records hetzelfde zijn, exact of fuzzy, met de scores en drempels van hierboven.

4. Samenvoegen tot een golden record
   Van elke groep dubbels bouw je een betrouwbaar record. Survivorship-regels beslissen welk veld wint: de meest recente waarde, de langste, of die uit het meest betrouwbare bronsysteem. Het resultaat heet het golden record.

Een voorbeeld met drie klantrecords

Stel dat dezelfde klant drie keer in je systeem staat.

• Jan Peeters, jan.peeters@gmail.com, 0470 12 34 56, Diestersteenweg 100 Hasselt, gewijzigd in 2021.

• J. Peeters, geen e-mail, 0470123456, Diestersteenweg 100 3500 Hasselt, gewijzigd in 2024.

• Jan Peters, jan.peeters@gmail.com, geen telefoon, Diesterstwg 100 Hasselt, gewijzigd in 2020.

Exact matchen op naam vindt hier niets, want de drie namen staan verschillend gespeld. Fuzzy matchen ziet dat de namen dicht bij elkaar liggen, dat twee e-mailadressen na normalisatie identiek zijn en dat het telefoonnummer hetzelfde is zodra je de spaties weghaalt. Het zijn drie versies van een klant.

Het golden record neemt per veld de beste waarde: naam "Jan Peeters" (de juist gespelde versie), e-mail jan.peeters@gmail.com (in twee bronnen bevestigd) en het telefoonnummer uit het record van 2024 (het meest recent). Van drie rijen blijft er een over, en geen bruikbaar gegeven ging verloren.

Deduplicatie, entity resolution en MDM

Entity resolution is het ruimere probleem: uitzoeken welke records over dezelfde entiteit gaan, ook over verschillende bronnen en soms verschillende types heen. Deduplicatie is daar het geval binnen een lijst of tussen sterk gelijkende records. Entity resolution gaat verder en legt ook verbanden bloot, bijvoorbeeld dat een klant en een leverancier dezelfde persoon zijn.

Master data management gebruikt deduplicatie als bouwsteen. Waar een deduplicatie een lijst opkuist, houdt master data management het golden record permanent bij over al je systemen heen, met matching- en survivorship-regels die blijven draaien. Een data steward keurt daarbij de twijfelmatches goed of af.

Waar moet je op letten bij deduplicatie?

De drempel is een evenwicht. Te hoog en er blijven echte dubbels staan; te laag en je voegt twee verschillende klanten samen, wat lastiger recht te zetten is dan een dubbel dat blijft staan. Laat de twijfelzone daarom door een mens nakijken, en houd bij welke records in welk golden record opgingen zodat je een merge kan terugdraaien. En omdat er elke dag nieuwe records binnenkomen, is deduplicatie zelden een eenmalige opkuis: laat de matching periodiek of continu draaien, en voeg dubbels bij voorkeur samen in het bronsysteem zodat het overal tegelijk opgelost is.