Spørgsmål · Deduplikering

Excel finder ikke dubletterne: hvorfor, og hvad gør man?

Hvad »Fjern dubletter« faktisk gør

Funktionen sammenligner indholdet af de celler, du vælger, kolonne for kolonne, tegn for tegn. Den finder den identiske række: samme tekst, samme store bogstaver, samme mellemrum. Alt, hvad der afviger bare på en detalje, regnes ikke for ens, og rækken bliver stående i registret, som var det en anden person.

I praksis skal der meget lidt til, for at sammenligningen slår fejl: et mellemrum for meget efter husnummeret, »Jensen Mette« i stedet for »Mette Jensen«, »Blvd.« i stedet for »Boulevard«, »DK-1553« i stedet for »1553«. Det er hyppige tilfælde: det er den normale måde, folk skriver et register på. Den, der tastede den anden række ind, skrev de samme oplysninger med sine egne ord, på et andet tidspunkt, måske fra en anden formular.

Den samme begrænsning gælder formler, der sammenligner to kolonner i hånden, eller en opslagsformel på navn og adresse: det er stadig en sammenligning af tekst, og teksten i to virkelige dubletter er næsten aldrig ens tegn for tegn.

Hvorfor to rækker, der ser forskellige ud, ofte er samme person

• Store bogstaver og mellemrum. »METTE JENSEN« og »Mette Jensen « (med et mellemrum til sidst) er for Excel to forskellige tekster.
• Forkortelser i vejen. »H. C. Andersens Blvd. 27« og »H.C. Andersens Boulevard 27« har ikke ét eneste bogstav ens på den rigtige plads.
• Efternavn og fornavn byttet om. En import med kolonnerne byttet om giver »Jensen Mette« ved siden af »Mette Jensen«, og ingen af standardformlerne sætter dem sammen.
• Tilsvarende fornavne. »M. Jensen« og »Jensen Mette« deler ikke engang fornavnet.
• Postnummer manglende eller med »DK-« på kun én række. En tom celle eller et landepræfiks er nok til at bryde en præcis sammenligning over flere kolonner.

Excel gør præcis det, du bad om, en bogstavelig sammenligning, og et virkeligt register er aldrig skrevet ensartet.

Hvad du mister ved at smide en tilfældig række væk

Selv når to rækker genkendes som ens (for eksempel fordi den ene er kopieret fra den anden), er det risikabelt at kassere en af dem på må og få: stod e-mailen kun på den ene række og telefonnummeret kun på den anden, mister du en kontaktoplysning ved kun at beholde én. Og er valget manuelt, bliver det på et register med nogle tusind rækker et langt arbejde, lige så fejlbehæftet som det, man ville løse: man skal åbne hvert mistænkeligt par, sammenligne med øjnene, beslutte, hvilken der skal beholdes, og skrive de data af i hånden, der mangler fra den anden.

Der er også en mindre synlig risiko: at kassere en række, når de to er forskellige personer med samme navn i samme by. En rent tekstlig sammenligning har ingen mulighed for at skelne de to tilfælde.

Sådan arbejder deduplikeringen i RadarAddress

RadarAddress' deduplikering arbejder i to omgange. Først bringer den hver adresse i sin korrekte form — vejen skrevet helt ud, postnummeret på fire cifre uden »DK-«, postbyen skrevet rigtigt — så to stavemåder af samme vej bliver til samme vej, allerede før de sammenlignes. Så sammenligner den navnene og genkender tilsvarende fornavne (M. og Mette, Trine og Katrine), ombyttet efternavn og fornavn, en tastefejl i efternavnet og titlen foran navnet, som ikke tæller i resultatet.

Resultatet er en hovedpost, der tager det bedste felt fra hver dublet, e-mail og telefon inklusive, med oplysning om, hvor hver oplysning kommer fra. Hver gruppe har et sikkerhedsniveau — sikker, sandsynlig, tvivlsom. I den rensede fil kommer de sikre og sandsynlige grupper ud allerede samlet; de tvivlsomme forbliver hele blandt rækkerne til kontrol, hvor du beslutter.

På et register uploadet som fil kører sammenligningen over hele listen i ét job, op til 100.000 poster, uden at du skal sortere, gruppere eller krydse ark i hånden.

Samme tilfælde, to forskellige resultater

De to rækker deler ikke én eneste identisk tekststreng — store bogstaver, forkortelse, forbogstav i stedet for fornavn, »DK-« på den ene — men det er samme adresse og samme person. Navnet er opdigtet til demonstration; enhver lighed med virkelige personer er tilfældig.