Vragen · Ontdubbelen

Hoe vind ik dubbele records, ook als ze anders geschreven zijn?

Waarom een exacte zoekopdracht dubbelen niet vindt

Twee records van dezelfde persoon zijn bijna nooit hetzelfde geschreven. Wie ze heeft ingevoerd gebruikte een afkorting, alleen de voorletter, wisselde achternaam en voornaam om, of schreef het adres met de afkorting die op dat moment handig was. Een zoekopdracht die tekenreeksen vergelijkt herkent daar niets van: voor haar zijn “Kalverstr. 92” en “Kalverstraat 92” twee verschillende adressen, ook al zou een postbode ze als dezelfde plek lezen.

Daarom gebeurt de vergelijking in twee stappen. Eerst wordt elk adres in zijn juiste vorm gebracht met dezelfde engine die RadarAddress voor de normalisatie gebruikt: straat voluit, postcode in de juiste vorm en bij het huisnummer, plaats goed geschreven. Pas als twee adressen in dezelfde vorm staan heeft het zin om te vragen of ze samenvallen: wie eerst vergelijkt en daarna rechtzet, houdt twee schrijfwijzen van dezelfde straat als twee adressen, en het dubbele record glipt erdoor.

Hetzelfde geldt voor de naam: wie op “de Vries” zoekt in de verwachting het bestaande record te vinden, en het record is er maar staat op “Vries, J. de” in plaats van “Jan de Vries”, vindt het gewoon niet. Het meest voorkomende gevolg is een nieuw record dat te goeder trouw wordt aangemaakt, naast het record dat al bestond.

Wat de vergelijking herkent

• Een afgekorte voornaam. “J.” en “Jan”, op hetzelfde adres, zonder verschillende personen te verwarren.
• Achternaam en voornaam omgewisseld. “De Vries Jan” en “Jan de Vries” komen bijna altijd uit een import met verwisselde kolommen.
• Een typefout in de achternaam. Een kleine tikfout staat de herkenning niet in de weg als de rest van het record samenvalt.
• Het tussenvoegsel anders geschreven. “de Vries” en “De Vries” zijn dezelfde naam; hoofdletters wegen niet mee.
• Een titel vóór de naam. “Dr. M. Jansen” en “M. Jansen” worden als dezelfde persoon vergeleken: de titel telt niet mee in het oordeel.
• De afkortingen in de straat, omdat we de adressen rechtzetten voordat we ze vergelijken.
• Een wijk of dorp ingevuld als plaats, wanneer twee records een plaats noemen die in het register onder dezelfde gemeente valt.

Het oordeel: zeker, waarschijnlijk, onzeker

Als twee records na het rechtzetten op alles samenvallen, is het oordeel zeker. Als er een afgekorte voornaam of een afkorting in het spel is, is het waarschijnlijk: bijna altijd juist. Als de koppeling zwak is, bijvoorbeeld alleen gelijkende namen, is de groep onzeker. Elke groep draagt de reden met zich mee: je weet altijd waarom twee records naast elkaar zijn gezet.

Het oordeel bepaalt ook wat er in het opgeschoonde bestand gebeurt: zekere en waarschijnlijke groepen komen er al samengevoegd tot één rij in, onzekere blijven heel en gaan naar de te controleren rijen, waar jij beslist.

Je kiest ook hoe ruim de vergelijking moet zijn, van strikt (alleen naam en adres die samenvallen) tot ruim (ook de zwakke koppelingen, die je daarna zelf bekijkt). De standaardinstelling, waarmee de meeste opdrachten draaien, herkent al de varianten van namen, de afkortingen en de kleine typefouten.

Het hoofdrecord neemt het beste van elk dubbel record

Stond het e-mailadres alleen op het ene record en het telefoonnummer alleen op het andere, dan verlies je met één record een contactgegeven. RadarAddress bouwt een hoofdrecord door uit elk record het beste veld te nemen — het adres uit het meest complete record, de naam in zijn canonieke vorm, e-mailadres en telefoonnummer van waar ze staan — en bij elk veld blijft staan uit welk record het komt.

Waar je het doet: op de site, uit een bestand, via de API

Op de site vergelijk je twee of drie records tegelijk en zie je meteen het oordeel: dat is de snelste manier om te begrijpen hoe het werkt of om een twijfelgeval te controleren voordat je het hele bestand uploadt. Voor een heel bestand upload je een bestand: opdrachten in bulk gaan tot 100.000 records, en aan het einde download je een zip met het opgeschoonde bestand, de lijst van dubbele records om te verwijderen, de groepen en de te controleren rijen. Werk je vanuit code, dan vergelijkt het endpoint /api/v1/dedupe tot 500 records per aanroep, en tot 100.000 in asynchrone modus, met hetzelfde oordeel zeker/waarschijnlijk/onzeker en hetzelfde hoofdrecord. De prijslijst staat op de prijzenpagina: voordat je een opdracht in bulk start zie je altijd wat ze inhoudt, en de bewerkingen worden pas afgeschreven als je bevestigt.

Twee records, dezelfde persoon

De afgekorte voornaam (J./Jan) en het adres in twee schrijfwijzen worden pas herkend nadat beide adressen in hun juiste vorm zijn gezet. De naam is verzonnen voor demonstratiedoeleinden; elke verwijzing naar echte personen berust op toeval.