Spørgsmål · Deduplikering

Hvordan finder jeg dubletter i et kunderegister, også når de er skrevet forskelligt?

Hvorfor en præcis søgning ikke finder dem

To poster for samme person er næsten aldrig skrevet ens. Den, der tastede dem ind, brugte en forkortelse, et kælenavn, byttede om på efternavn og fornavn eller skrev adressen med den forkortelse, der var nemmest i øjeblikket. En søgning, der sammenligner tekststrenge, genkender intet af dette: for den er »H. C. Andersens Blvd. 27« og »H.C. Andersens Boulevard 27« to forskellige adresser, selv om et postbud ville læse dem som samme sted.

Derfor skal sammenligningen ske i to omgange, ikke i én. Først bringes hver adresse i sin korrekte form med den samme motor, som RadarAddress bruger til normaliseringen: vejen skrevet helt ud, det rigtige postnummer uden »DK-«, postbyen skrevet rigtigt. Først når to adresser har samme form, giver det mening at spørge, om de er ens — at sammenligne først og rette bagefter giver kun falske negativer, fordi sammenligningen bliver ved med at se to stavemåder og ikke én adresse.

Det samme gælder navnet: den, der søger på »Jensen« og forventer at finde den post, der allerede ligger i registret, finder den ganske enkelt ikke, når posten hedder »Jensen Mette« i stedet for »Mette Jensen«. Den mest almindelige følge er ikke en synlig fejl: det er en ny post oprettet i god tro, som lægger sig ved siden af den, der allerede fandtes.

Hvad sammenligningen genkender

• Tilsvarende fornavne. Trine og Katrine, Chris og Christian, et forbogstav og det fulde navn, uden at forveksle forskellige personer.
• Stavevarianter. Kristian og Christian, Sørensen og Sorensen, Aarhus og Århus.
• Efternavn og fornavn byttet om. »Jensen Mette« og »Mette Jensen« kommer næsten altid fra en import, hvor kolonnerne var byttet om.
• En tastefejl i efternavnet. En lille slåfejl forhindrer ikke genkendelsen, hvis resten af posten stemmer.
• Titlen foran navnet. »Fru Mette Jensen« og »Mette Jensen« sammenlignes som samme person: titlen tæller ikke i resultatet.
• Forkortelserne i vejen, fordi vi bringer adresserne i orden, før vi sammenligner dem.
• Bydelen eller landsbyen ført tilbage til sin postby, når to poster nævner et kvarter eller en indlemmet landsby, som i registret hører til samme postdistrikt.

Resultatet: sikker, sandsynlig, tvivlsom

Ikke alle dubletter er ens. Når to poster stemmer på alt efter oprydningen, er resultatet sikker. Når et tilsvarende fornavn eller en forkortelse spiller ind, er det sandsynlig: næsten altid rigtigt, men et blik værd. Når koblingen er svag — for eksempel navne, der ligner hinanden — er gruppen tvivlsom, og beslutningen om at flette posterne er din. Hver gruppe har årsagen med: du ved altid, hvorfor to poster er sat sammen.

Også søgeniveauet er dit, ikke kun læsningen af resultatet: du vælger, hvor bredt sammenligningen skal gå, fra det snævre (kun navn og adresse, der stemmer) til det bredeste (også de svage koblinger, som du så selv ser på). Standardindstillingen, den, de fleste job kører med, genkender allerede navnevarianterne, forkortelserne og de små tastefejl.

Hovedposten: dubletten smides ikke væk, den flettes

At kassere den ene af de to poster er det nemmeste valg og det, der koster mest: stod e-mailen kun på den ene og telefonnummeret kun på den anden, mister du den ene kontaktoplysning ved kun at beholde én. RadarAddress bygger en hovedpost ved at tage det bedste felt fra hver — adressen fra den mest komplette post, navnet i sin fulde form, e-mail og telefon derfra, hvor de findes — og for hvert felt står der, hvilken post det kommer fra, så du kan kontrollere, hvor hver oplysning stammer fra.

Hvor du gør det: fra websitet, fra en fil, fra API'et

Fra websitet, når du er logget ind, sammenligner du to eller tre poster ad gangen og ser resultatet med det samme: det er den hurtigste måde at forstå, hvordan det virker, eller at tjekke et tvivlsomt tilfælde, før du uploader hele registret. For et helt register uploader du en fil: jobbene arbejder med op til 100.000 poster, og når jobbet er færdigt, finder du kolonnen med den post, der skal beholdes, og den gruppe, hver række hører til. Arbejder du fra kode, sammenligner endpointet /api/v1/dedupe op til 500 poster pr. kald, med samme resultat sikker/sandsynlig/tvivlsom og samme flettede hovedpost. Prislisten står på siden Priser: før du starter et job, ser du altid, hvad det bruger, og behandlingerne trækkes først, når du bekræfter.

To poster, samme person

Det tilsvarende fornavn (M. ≈ Mette) og adressen skrevet på to måder genkendes først, når begge adresser er bragt i deres korrekte form og verificeret i det nationale register. Navnet er opdigtet til demonstration; enhver lighed med virkelige personer er tilfældig.