Vragen · Ontdubbelen

Excel vindt de duplicaten niet: waarom, en wat doe je eraan?

Wat “Duplicaten verwijderen” echt doet

De functie vergelijkt de inhoud van de cellen die je kiest, kolom voor kolom, teken voor teken. Ze vindt de identieke rij: dezelfde tekst, dezelfde hoofdletters, dezelfde spaties. Alles wat ook maar in één detail afwijkt wordt niet als gelijk beschouwd, en de rij blijft in het bestand alsof het een andere persoon is.

In de praktijk is er heel weinig nodig om de vergelijking te laten mislukken: een extra spatie na het huisnummer, “De Vries Jan” in plaats van “Jan de Vries”, “Kalverstr.” in plaats van “Kalverstraat”. Die gevallen komen vaak voor: het is de normale manier waarop mensen een bestand vullen. Wie de tweede rij heeft ingevoerd heeft dezelfde informatie in zijn eigen woorden geschreven, op een ander moment, misschien vanuit een ander formulier.

Dezelfde beperking geldt voor formules die met de hand twee kolommen vergelijken, of een VERT.ZOEKEN of VERGELIJKEN op naam en adres: het blijft een tekstvergelijking, en de tekst van twee echte dubbele records valt bijna nooit teken voor teken samen.

Waarom twee rijen die verschillend lijken vaak dezelfde persoon zijn

• Hoofdletters en spaties. “JAN DE VRIES” en “Jan de Vries ” (met een spatie aan het einde) zijn voor Excel twee verschillende teksten.
• Afkortingen in de straat. “Kalverstr. 92” en “Kalverstraat 92” hebben na de eerste letters geen enkel teken meer op dezelfde positie.
• Achternaam en voornaam omgewisseld. Een import met verwisselde kolommen zet “De Vries Jan” naast “Jan de Vries”, en geen van de standaardformules brengt ze bij elkaar.
• Voorletter in plaats van voornaam. “J. de Vries” en “Jan de Vries” delen niet eens de volledige voornaam.
• Postcode zonder spatie of ontbrekend op één rij. “1012PH” tegenover “1012 PH”, of een lege cel: genoeg om een exacte vergelijking over meerdere kolommen te breken.

Excel doet precies wat je hebt gevraagd, een letterlijke vergelijking, en een echt bestand is nooit uniform geschreven.

Wat je verliest als je een willekeurige rij weggooit

Ook als twee rijen als gelijk herkend worden (bijvoorbeeld omdat ze over elkaar gekopieerd zijn), is het riskant om er willekeurig één weg te gooien: stond het e-mailadres alleen op de ene rij en het telefoonnummer alleen op de andere, dan verlies je met één rij een contactgegeven. En als de keuze met de hand gebeurt, wordt het bij een bestand van een paar duizend rijen een lang werk, net zo foutgevoelig als wat je wilt oplossen: elk verdacht paar openen, op het oog vergelijken, beslissen welke je houdt en de ontbrekende gegevens van de andere met de hand overnemen.

Er is ook een minder zichtbaar risico: een rij weggooien als de twee verschillende mensen met dezelfde naam in dezelfde plaats zijn. Een zuiver tekstuele vergelijking kan die twee gevallen niet uit elkaar houden.

Hoe het ontdubbelen van RadarAddress werkt

Het ontdubbelen van RadarAddress werkt in twee stappen. Eerst zet het elk adres in zijn juiste vorm — straat voluit, postcode in de juiste vorm en bij het huisnummer, plaats goed geschreven — zodat twee schrijfwijzen van dezelfde straat dezelfde straat worden nog vóór ze vergeleken worden. Daarna vergelijkt het de namen, met herkenning van de afgekorte voornaam (J. en Jan), de omgewisselde volgorde van achternaam en voornaam, een typefout in de achternaam en de titel vóór de naam, die niet meetelt in het oordeel.

Het resultaat is een hoofdrecord dat uit elk dubbel record het beste veld neemt, e-mailadres en telefoonnummer inbegrepen, met erbij waar elke informatie vandaan komt. Elke groep draagt een zekerheidsniveau — zeker, waarschijnlijk, onzeker. In het opgeschoonde bestand komen de zekere en waarschijnlijke groepen al samengevoegd; de onzekere blijven heel bij de te controleren rijen, waar jij beslist.

Op een bestand dat je uploadt draait de vergelijking over de hele lijst in één opdracht, tot 100.000 records, zonder te sorteren, te groeperen of werkbladen met de hand te kruisen.

Hetzelfde geval, twee verschillende uitkomsten

De twee rijen delen geen enkele identieke tekenreeks — voorletter tegenover voornaam, afkorting, postcode met en zonder spatie — maar het is hetzelfde adres en dezelfde persoon. De naam is verzonnen voor demonstratiedoeleinden; elke verwijzing naar echte personen berust op toeval.