Vragen · Ontdubbelen

Excel vindt de duplicaten niet: waarom, en wat doe je eraan?

Wat “Duplicaten verwijderen” echt doet

De functie vergelijkt de inhoud van de cellen die je kiest, kolom voor kolom, teken voor teken. Ze vindt de identieke rij: dezelfde tekst, dezelfde hoofdletters, dezelfde spaties. Alles wat ook maar in één detail afwijkt wordt niet als gelijk beschouwd, en de rij blijft in het bestand alsof het een andere persoon is.

In de praktijk is er heel weinig nodig om de vergelijking te laten mislukken: een extra spatie na het huisnummer, “De Vries Jan” in plaats van “Jan de Vries”, “Kalverstr.” in plaats van “Kalverstraat”. Geen van die gevallen is zeldzaam: het is de normale manier waarop mensen een bestand vullen, geen uitzondering. Wie de tweede rij heeft ingevoerd heeft niets fout gedaan: hij heeft alleen dezelfde informatie in zijn eigen woorden geschreven, op een ander moment, misschien vanuit een ander formulier.

Dezelfde beperking geldt voor formules die met de hand twee kolommen vergelijken, of een VERT.ZOEKEN of VERGELIJKEN op naam en adres: het blijft een tekstvergelijking, en de tekst van twee echte dubbele records valt bijna nooit teken voor teken samen.

Waarom twee rijen die verschillend lijken vaak dezelfde persoon zijn

• Hoofdletters en spaties. “JAN DE VRIES” en “Jan de Vries ” (met een spatie aan het einde) zijn voor Excel twee verschillende teksten.
• Afkortingen in de straat. “Kalverstr. 92” en “Kalverstraat 92” hebben na de eerste letters geen enkel teken meer op dezelfde positie.
• Achternaam en voornaam omgewisseld. Een import met verwisselde kolommen zet “De Vries Jan” naast “Jan de Vries”, en geen van de standaardformules brengt ze bij elkaar.
• Voorletter in plaats van voornaam. “J. de Vries” en “Jan de Vries” delen niet eens de volledige voornaam.
• Postcode zonder spatie of ontbrekend op één rij. “1012PH” tegenover “1012 PH”, of een lege cel: genoeg om een exacte vergelijking over meerdere kolommen te breken.

Excel maakt geen fout: het doet precies wat je hebt gevraagd, een letterlijke vergelijking. Het probleem is dat een echt bestand nooit uniform geschreven is.

Wat je verliest als je een willekeurige rij weggooit

Ook als twee rijen als gelijk herkend worden (bijvoorbeeld omdat ze over elkaar gekopieerd zijn), is het riskant om er willekeurig één weg te gooien: stond het e-mailadres alleen op de ene rij en het telefoonnummer alleen op de andere, dan verlies je met één rij een contactgegeven. En als de keuze met de hand gebeurt, wordt het bij een bestand van een paar duizend rijen een lang werk, net zo foutgevoelig als wat je wilt oplossen: elk verdacht paar openen, op het oog vergelijken, beslissen welke je houdt en de ontbrekende gegevens van de andere met de hand overnemen.

Er is ook een minder zichtbaar risico: de verkeerde rij weggooien als de twee helemaal niet dezelfde persoon zijn, maar gewoon twee mensen met dezelfde naam in dezelfde plaats. Een zuiver tekstuele vergelijking kan die twee gevallen niet uit elkaar houden, terwijl juist daar de meeste voorzichtigheid nodig is.

Wat een echte vergelijking dan wel doet

Het ontdubbelen van RadarAddress werkt in twee stappen. Eerst zet het elk adres in zijn juiste vorm — straat voluit, postcode in de juiste vorm en bij het huisnummer, plaats goed geschreven — zodat twee schrijfwijzen van dezelfde straat dezelfde straat worden nog vóór ze vergeleken worden. Daarna vergelijkt het de namen, met herkenning van de afgekorte voornaam (J. en Jan), de omgewisselde volgorde van achternaam en voornaam, een typefout in de achternaam en de titel vóór de naam, die niet meetelt in het oordeel.

Het resultaat is geen verwijderde rij: het is een hoofdrecord dat uit elk dubbel record het beste veld neemt, e-mailadres en telefoonnummer inbegrepen, met erbij waar elke informatie vandaan komt. En elke groep draagt een zekerheidsniveau — zeker, waarschijnlijk, onduidelijk — zodat je weet welke je blind samenvoegt en welke je zelf bekijkt, in plaats van het rij voor rij te moeten beslissen zoals in een spreadsheet.

Op een bestand dat je uploadt draait de vergelijking over de hele lijst in één opdracht, tot 100.000 records: je hoeft niet te sorteren, te groeperen of werkbladen met de hand te kruisen.

Hetzelfde geval, twee verschillende uitkomsten

De twee rijen delen geen enkele identieke tekenreeks — voorletter tegenover voornaam, afkorting, postcode met en zonder spatie — maar het is hetzelfde adres en dezelfde persoon. De naam is verzonnen voor demonstratiedoeleinden; elke verwijzing naar echte personen berust op toeval.