Ontdubbelen:
twee records, één persoon.
Dubbele records vinden, ook als ze anders geschreven zijn: een voorbeeld met adressen uit Nederland, twee records en waarom het dezelfde persoon is.
Elke maand gratis: 50 adrescontroles, 100 records om dubbelen te vinden en 500 controles van e-mails en telefoonnummers. We vragen alleen je naam, e-mailadres en een wachtwoord, geen creditcard: maak je gratis account aan of log in.
Wat ontdubbelen je oplevert
Een dubbel record is de geschiedenis van één persoon, in tweeën gebroken. Die weer samenvoegen heeft vier concrete effecten.
Antwoord één keer, en met kennis van zaken
Wie antwoordt, kijkt naar één record: staat de bestelling op het andere, dan krijgt die persoon niets — en merkt dat. Met één record gaat de bevestiging altijd de deur uit, en komt de communicatie één keer aan, met de naam op één manier gespeld.
Elke envelop te veel is weggegooid geld
Elk dubbel record is een afdruk, een envelop en een postzegel, betaald voor iemand die je mailing al heeft bereikt. In een grote campagne is dit de makkelijkste kostenpost om te schrappen, zonder één ontvanger te verliezen.
Herken je waardevolste contacten
Wie drie keer heeft gekocht onder het ene record en twee keer onder het andere, verschijnt in de rapporten als twee lauwe contacten. Door de records samen te voegen zie je wie het is, een trouwe klant, en verandert wie het waard is om te bellen, wie een andere behandeling verdient, aan wie je meer kunt aanbieden.
De cijfers kloppen weer
Hoeveel klanten heb ik echt? Wat is een contact gemiddeld waard? Met een bestand vol dubbelen is elk antwoord opgeblazen, en de beslissingen die eruit volgen zijn van meet af aan scheef.
Waar dubbele records vandaan komen
Het zijn geen slordigheidsfouten: dubbele records ontstaan uit drie gewone situaties, die zich herhalen in elk bestand dat groeit.
De bestelling komt binnen en er is haast
Wie de gegevens invoert, heeft een stapel formulieren weg te werken (of acceptgiro's, bij een goed doel) en stopt niet om te controleren of die persoon al in het bestand staat. Een nieuw record aanmaken kost dertig seconden; er echt naar zoeken, tussen de varianten van de naam en het adres, kost veel meer tijd.
Het record bestaat, maar de zoekfunctie vindt het niet
Het is het meest voorkomende geval en het moeilijkst te vermijden: het record bestaat, maar is net iets anders geschreven dan hoe ernaar gezocht wordt — ‘Kalverstraat 92’ tegenover ‘Kalverstr. 92’. De zoekopdracht levert niets op, en het record wordt te goeder trouw opnieuw aangemaakt.
Er wordt een hele lijst geïmporteerd
Inschrijvingen via de website, een lijst verzameld op een evenement, een bestand van een leverancier: ze komen in één keer binnen zonder vergeleken te worden met het bestaande bestand. Het gebeurt minder vaak dan de andere twee gevallen, maar als het gebeurt, komen de dubbelen met honderden tegelijk binnen.
Alle drie worden ze op dezelfde manier opgelost: een controle van het bestand op vaste tijden, en één vóór elke belangrijke campagne.
Eerst de adressen rechtzetten, dan de dubbelen vinden
Een vergelijking woord voor woord behandelt Hendrik en Henk als twee personen en Kalverstr. 92 en Kalverstraat 92 als twee adressen, terwijl het dezelfde persoon en hetzelfde adres zijn. Daarom werken we in twee stappen: eerst herstellen we de twee adressen — straatnaam voluit, postcode gecorrigeerd, de juiste plaats — en pas daarna vergelijken we ze, samen met de naam, het e-mailadres en het telefoonnummer. Twee schrijfwijzen van dezelfde straat worden dezelfde straat voordat de vergelijking begint.
Het oordeel heeft drie graden — zeker, waarschijnlijk of onzeker — met de reden ernaast. In het opgeschoonde bestand komen zekere en waarschijnlijke groepen al samengevoegd tot één rij. Onzekere groepen blijven heel en gaan naar de te controleren rijen: twee verschillende mensen kunnen dezelfde naam hebben in dezelfde plaats, en daar beslis jij.
Normalisatie, dubbelen opsporen, ontdubbelen, verrijken
Vier verschillende bewerkingen, die meestal allemaal onder het woord ‘opschonen’ vallen. Ze uit elkaar houden is nuttig, want de ene is de voorwaarde voor de andere.
Adresnormalisatie
Elk adres terugbrengen tot één correcte schrijfwijze, en aanvullen wat ontbreekt: de postcode, de provincie, de straatnaam voluit.
‘Kalverstr. 92’ en ‘Kalverstraat 92’ worden dezelfde regel.
Dubbelen opsporen
Herkennen dat twee records dezelfde persoon zijn, ook al zijn ze anders geschreven: ‘Kalverstr. 92’ en ‘Kalverstraat 92’, achternaam en voornaam omgewisseld.
Het komt na de normalisatie: zo vergelijk je adressen die al in de juiste vorm staan.
Ontdubbelen
Beslissen wat er met de gevonden dubbelen gebeurt: welk record je bewaart, welke velden je uit het ene neemt en welke uit het andere.
Het uiteindelijke record neemt uit elk record het beste veld en legt vast waar het vandaan komt.
Verrijking
Toevoegen wat ontbreekt of wat af te leiden is uit wat er is: de aanhef uit de voornaam, de titel, de huisnummertoevoeging, de fiscale code.
Gegevens die je bestand al impliciet bevat.
Waarom het telt, los van het opschonen: wie dezelfde brief twee keer krijgt, merkt dat, en wie het bedankje niet krijgt omdat de donatie op het ene record stond terwijl jij naar het andere keek, merkt dat nog meer.
Dubbelen vergelijken: jij kiest hoe strikt, wij zeggen hoe zeker we zijn
De groepen records vormt de engine, en voor elke groep geeft hij aan met hoeveel zekerheid. Twee knoppen. Het minimumniveau, dus hoeveel twee records mogen verschillen en toch dezelfde persoon blijven: drie waarden, de website en de bestandsopdrachten gebruiken de standaard, via de API kies je met livello_minimo. En de precisie, dezelfde schaal van 1 tot 5 als bij de adrescontrole, die hier op de achternaam werkt: tot 3 wordt die letterlijk gelezen, bij 4 worden records met de achternaam met of zonder spatie (“La Pera”, “Lapera”) bij elkaar gezet, bij 5 ook die met een achternaam die hetzelfde klinkt (“Lepera”, “La Pera”); deze groepen komen hooguit als twijfelachtig naar buiten.
Strikt
Naam en adres vallen samen na de normalisatie. Geen enkele groep die je niet zelf met de hand gemaakt zou hebben.
De standaard
Varianten van dezelfde naam (Henk en Hendrik), afkortingen en kleine typefouten tellen mee. Het is de instelling waarmee de meeste opdrachten draaien.
Ruim
Ook de zwakke verbanden: hetzelfde adres en vergelijkbare namen. Vindt meer, en je moet meer nakijken.
Het oordeel dat bij elke groep terugkomt — zeker, waarschijnlijk, onzeker — is onze classificatie: het zegt hoe solide de groep is en bepaalt wat er in het opgeschoonde bestand gebeurt, waar zekere en waarschijnlijke groepen samengevoegd komen en onzekere te controleren blijven.
Het beste van elk record in één record
We nemen uit elk record het beste veld en bouwen een nieuw record: ook het e-mailadres dat maar in één van de twee stond, komt in het record dat overblijft.
| Veld | Record A | Record B | Record dat overblijft |
|---|---|---|---|
| Naam | Jan de Vries | J. De Vries | Jan de Vries de meest volledige schrijfwijze |
| Adres | Kalverstr. 92 | Kalverstraat 92 | Kalverstraat 92 uit het meest volledige record |
| Postcode en plaats | 1012PH Amsterdam | 1012 PH AMSTERDAM | 1012 PH AMSTERDAM in de postvorm van het land |
| — | j.devries@example.com | j.devries@example.com stond alleen op B |
Had je A gehouden, dan was je het e-mailadres kwijt; met B de volledige schrijfwijze van de naam. Het samengevoegde record heeft ze allebei, en voor elk veld blijft vastgelegd uit welk record het komt: mocht de samenvoeging je later niet overtuigen, dan weet je precies wat je moet aanpassen.
Dubbele records die een exacte zoekopdracht niet vindt
- Henk de Vries=Hendrik de Vries gelijkwaardige naam
- de Vries Jan=Jan de Vries achternaam en voornaam omgewisseld
- kalverstr 92=Kalverstraat 92 afkorting voluit geschreven
- de Vries Jan, kalverstr. 92, amsterdam=Jan de Vries, Kalverstraat 92, 1012 PH AMSTERDAM adres hersteld vóór de vergelijking
We herkennen ook een tikfout in de voor- of achternaam en melden die als mogelijke typefout.
De voorbeelden gebruiken adressen van openbare gebouwen en straten in het centrum; de namen, waar ze voorkomen, zijn verzonnen voor demonstratiedoeleinden: elke gelijkenis met bestaande personen berust op toeval.
Verwante vragen
- Hoe controleer en corrigeer je een klantenbestand?
- Hoe vind ik dubbele records, ook als ze anders geschreven zijn?
- Excel vindt de duplicaten niet: waarom, en wat doe je eraan?
Alle vragen, met het antwoord, in Vragen en antwoorden.