Spørgsmål · Deduplikering

Hvordan finder jeg dubletter i et kunderegister, også når de er skrevet forskelligt?

Hvorfor en præcis søgning ikke finder dubletterne

To poster for samme person er næsten aldrig skrevet ens. Den, der tastede dem ind, brugte en forkortelse, et kælenavn, byttede om på efternavn og fornavn eller skrev adressen med den forkortelse, der var nemmest i øjeblikket. En søgning, der sammenligner tekststrenge, genkender intet af dette: for den er »H. C. Andersens Blvd. 27« og »H.C. Andersens Boulevard 27« to forskellige adresser, selv om et postbud ville læse dem som samme sted.

Derfor skal sammenligningen ske i to omgange. Først bringes hver adresse i sin korrekte form med den samme motor, som RadarAddress bruger til normaliseringen: vejen skrevet helt ud, det rigtige postnummer uden »DK-«, postbyen skrevet rigtigt. Først når to adresser har samme form, giver det mening at spørge, om de er ens: sammenligner man først og retter bagefter, forbliver to stavemåder af samme vej to adresser, og dubletten slipper igennem.

Det samme gælder navnet: den, der søger på »Jensen« og forventer at finde den post, der allerede ligger i registret, finder den ganske enkelt ikke, når posten hedder »Jensen Mette« i stedet for »Mette Jensen«. Den mest almindelige følge er en ny post oprettet i god tro ved siden af den, der allerede fandtes.

Hvad sammenligningen af dubletter genkender

• Tilsvarende fornavne. Trine og Katrine, Chris og Christian, et forbogstav og det fulde navn, uden at forveksle forskellige personer.
• Stavevarianter. Kristian og Christian, Sørensen og Sorensen, Aarhus og Århus.
• Efternavn og fornavn byttet om. »Jensen Mette« og »Mette Jensen« kommer næsten altid fra en import, hvor kolonnerne var byttet om.
• En tastefejl i efternavnet. En lille slåfejl forhindrer ikke genkendelsen, hvis resten af posten stemmer.
• Titlen foran navnet. »Fru Mette Jensen« og »Mette Jensen« sammenlignes som samme person: titlen tæller ikke i resultatet.
• Forkortelserne i vejen, fordi vi bringer adresserne i orden, før vi sammenligner dem.
• Bydelen eller landsbyen ført tilbage til sin postby, når to poster nævner et kvarter eller en indlemmet landsby, som i registret hører til samme postdistrikt.

Resultatet: sikker, sandsynlig, tvivlsom

Når to poster stemmer på alt efter oprydningen, er resultatet sikker. Når et tilsvarende fornavn eller en forkortelse spiller ind, er det sandsynlig: næsten altid rigtigt. Når koblingen er svag — for eksempel navne, der ligner hinanden — er gruppen tvivlsom. Hver gruppe har årsagen med: du ved altid, hvorfor to poster er sat sammen.

Resultatet afgør også, hvad der sker i den rensede fil: de sikre og sandsynlige grupper kommer ud allerede samlet i én række, de tvivlsomme forbliver hele og havner blandt rækkerne til kontrol, hvor du beslutter.

Du vælger også, hvor bredt sammenligningen skal gå, fra det snævre (kun navn og adresse, der stemmer) til det bredeste (også de svage koblinger, som du så selv ser på). Standardindstillingen, den, de fleste job kører med, genkender allerede navnevarianterne, forkortelserne og de små tastefejl.

Hovedposten tager det bedste fra hver dublet

Stod e-mailen kun på den ene post og telefonnummeret kun på den anden, mister du en kontaktoplysning ved kun at beholde én. RadarAddress bygger en hovedpost ved at tage det bedste felt fra hver — adressen fra den mest komplette post, navnet i sin fulde form, e-mail og telefon derfra, hvor de findes — og for hvert felt står der, hvilken post det kommer fra.

Deduplikering på websitet, fra en fil eller via API

Fra websitet, når du er logget ind, sammenligner du to eller tre poster ad gangen og ser resultatet med det samme: det er den hurtigste måde at forstå, hvordan det virker, eller at tjekke et tvivlsomt tilfælde, før du uploader hele registret. For et helt register uploader du en fil: jobbene arbejder med op til 100.000 poster, og når jobbet er færdigt, downloader du en zip-fil med den rensede fil, listen over dubletter, der skal fjernes, grupperne og rækkerne til kontrol. Arbejder du fra kode, sammenligner endpointet /api/v1/dedupe op til 500 poster pr. kald og op til 100.000 i asynkron tilstand, med samme resultat sikker/sandsynlig/tvivlsom og samme hovedpost. Prislisten står på siden Priser: før du starter et job, ser du altid, hvad det bruger, og behandlingerne trækkes først, når du bekræfter.

To poster, samme person

Det tilsvarende fornavn (M. ≈ Mette) og adressen skrevet på to måder genkendes først, når begge adresser er bragt i deres korrekte form og verificeret i det nationale register. Navnet er opdigtet til demonstration; enhver lighed med virkelige personer er tilfældig.