Deduplisering:
to oppføringer, én person.
Finn dubletter selv når de er skrevet forskjellig: et eksempel med adresser i Norge, to oppføringer og hvorfor de er samme person.
Gratis hver måned: 50 adressevalideringer, 100 oppføringer for å finne duplikater og 500 kontroller av e-post og telefonnumre. Vi spør bare om navn, e-postadresse og et passord, ikke betalingskort: opprett en gratis konto eller logg inn.
Hva dedupliseringen gir deg
En dublett er én persons historikk delt i to. Å sette den sammen igjen gir fire konkrete effekter.
Svar én gang, og med full oversikt
Den som svarer, ser på én oppføring: står bestillingen registrert på den andre, får den personen ingenting — og legger merke til det. Med én oppføring går bekreftelsen alltid ut, og henvendelsen kommer bare én gang, med navnet stavet på én måte.
Hver ekstra konvolutt er bortkastede penger
En dublett er et trykk, en konvolutt og et frimerke betalt for en person henvendelsen din allerede har nådd. I en stor kampanje er det den enkleste kostnaden å kutte, uten å miste en eneste mottaker.
Se hvilke kunder som er verdt mest
Den som har kjøpt tre ganger under én oppføring og to ganger under den andre, står i rapportene som to lunkne kontakter. Når oppføringene slås sammen, framstår personen som det den er, en lojal kunde, og det endrer hvem det lønner seg å ringe, hvem som fortjener en annen behandling, hvem du bør tilby mer.
Tallene stemmer igjen
Hvor mange kunder har jeg egentlig? Hva er en kontakt verdt i snitt? Med et register fullt av dubletter er hvert svar oppblåst, og avgjørelsene som følger, er feil fra starten av.
Slik oppstår dubletter
Det er ikke slurvefeil: dubletter oppstår i tre helt vanlige situasjoner, som gjentar seg i hvert register som skal vokse.
Bestillingen kommer inn, og det haster
Den som registrerer, har en bunke skjemaer å komme gjennom (eller giroer, i en ideell organisasjon) og stopper ikke opp for å sjekke om personen allerede ligger i registeret. Å opprette en ny oppføring tar tretti sekunder; å lete ordentlig etter den, blant variantene av navnet og adressen, tar mye lengre tid.
Oppføringen finnes, men søket finner den ikke
Det er det vanligste tilfellet og det vanskeligste å unngå: oppføringen finnes, men er skrevet litt annerledes enn slik det søkes — «Karl Johans gate 22» mot «Karl Johans gt. 22». Søket gir ingen treff, og oppføringen opprettes på nytt i god tro.
En hel liste kommer inn
Påmeldinger fra nettstedet, en liste samlet inn på et arrangement, en fil fra en leverandør: de kommer inn samlet uten å bli sammenlignet med det eksisterende registeret. Det skjer sjeldnere enn de to andre tilfellene, men når det skjer, kommer dublettene inn i hundretall.
Alle tre løses på samme måte: en kontroll av registeret med jevne mellomrom, og én før hver viktig kampanje.
Først retter vi adressene, så finner vi dublettene
En sammenligning ord for ord behandler Johanna og Hanna som to personer og Karl Johans gt. 22 og Karl Johans gate 22 som to adresser, selv om det er samme person og samme adresse. Derfor jobber vi i to trinn: først retter vi de to adressene — gatenavn fullt ut, riktig postnummer, riktig sted — og først da sammenligner vi dem, sammen med navn, e-post og telefon. To skrivemåter for samme gate blir samme gate før sammenligningen begynner.
Dommen har tre grader — sikker, sannsynlig eller tvetydig — med begrunnelsen ved siden av. I den rensede filen kommer sikre og sannsynlige grupper allerede slått sammen til én rad. De tvetydige forblir hele og havner blant radene som må kontrolleres: to forskjellige personer kan ha samme navn i samme kommune, og der avgjør du.
Normalisering, dublettgjenkjenning, deduplisering, berikelse
Fire forskjellige operasjoner, som vanligvis alle havner under ordet «vask». Det er nyttig å skille dem, fordi den ene er forutsetningen for den neste.
Adressenormalisering
Å redusere hver adresse til én riktig skrivemåte og fylle ut det som mangler: postnummeret, poststedet, gatenavnet fullt ut.
«Karl Johans gt. 22» og «Karl Johans gate 22» blir samme linje.
Dublettgjenkjenning
Å gjenkjenne at to oppføringer er samme subjekt selv når de er skrevet forskjellig: «Karl Johans gt. 22» og «Karl Johans gate 22», etternavn og fornavn byttet om.
Den kommer etter normaliseringen: slik sammenlignes adresser som allerede er skrevet i riktig form.
Deduplisering
Å bestemme hva som skal gjøres med dublettene som er funnet: hvilken oppføring som beholdes, hvilke felt som tas fra den ene og hvilke fra den andre.
Den endelige oppføringen tar det beste feltet fra hver oppføring og noterer hvor det kommer fra.
Berikelse
Å legge til det som mangler eller kan utledes av det som finnes: hilsningsformen fra navnet, tittelen, bokstaven i husnummeret, skattekoden.
Data som registeret ditt allerede inneholder implisitt.
Hvorfor det betyr noe, utover ryddingen: den som får samme brev to ganger, merker det, og den som ikke får takkebrevet fordi gaven var registrert på én oppføring mens du så på den andre, merker det enda mer.
Dublettsøk: du velger hvor streng sammenligningen skal være, vi sier hvor sikre vi er
Motoren danner gruppene av oppføringer og oppgir for hver gruppe hvor sikker den er. To innstillinger. Laveste nivå, altså hvor forskjellige to oppføringer kan være og fortsatt være samme subjekt: tre verdier, nettstedet og filjobbene bruker standardverdien, i API-et velger du med livello_minimo. Og presisjonen, samme skala fra 1 til 5 som i adressekontrollen, som her virker på etternavnet: opp til 3 leses det bokstav for bokstav, ved 4 settes oppføringer med etternavnet skrevet med eller uten mellomrom («La Pera», «Lapera») sammen, ved 5 også de med etternavn som høres like ut («Lepera», «La Pera»); disse gruppene kommer høyst ut som tvilsomme.
Streng
Navn og adresse stemmer overens etter normaliseringen. Ingen gruppe du ikke ville laget for hånd.
Standardverdien
Varianter av samme navn (Hanna og Johanna), forkortelser og små skrivefeil kommer med. Det er innstillingen de fleste jobber kjøres med.
Løs
Også de svake koblingene: samme adresse og lignende navn. Den finner mer, og du må se over mer.
Dommen som returneres for hver gruppe — sikker, sannsynlig, tvetydig — er vår klassifisering: den sier hvor solid gruppen er og avgjør hva som skjer i den rensede filen, der sikre og sannsynlige kommer ut sammenslått og tvetydige blir stående til gjennomsyn.
Det beste fra hver oppføring i én
Vi tar det beste feltet fra hver oppføring og bygger en ny: også e-postadressen som bare fantes i den ene, havner i oppføringen som blir igjen.
| Felt | Oppføring A | Oppføring B | Oppføring som blir igjen |
|---|---|---|---|
| Navn | Kari Hansen | K. HANSEN | Kari Hansen den mest fullstendige skrivemåten |
| Adresse | Karl Johans gt. 22 | Karl Johans gate 22 | Karl Johans gate 22 fra den mest komplette oppføringen |
| Postnummer og sted | 0026 Oslo | N-0026 OSLO | 0026 OSLO i landets postform |
| E-post | — | k.hansen@example.com | k.hansen@example.com fantes bare i B |
Hadde du beholdt A, ville du mistet e-posten; hadde du beholdt B, den fullstendige skrivemåten av navnet. Den sammenslåtte oppføringen har begge, og for hvert felt står det hvilken oppføring det kommer fra: skulle du en dag ikke være overbevist om sammenslåingen, vet du nøyaktig hva du skal endre.
Dubletter som et eksakt søk ikke finner
- Hanna Hansen=Johanna Hansen likeverdig navn
- Hansen Kari=Kari Hansen etternavn og fornavn byttet om
- karl johans gt. 22=Karl Johans gate 22 forkortelse skrevet fullt ut
- Hansen Kari, karl johans gt. 22, oslo=Kari Hansen, Karl Johans gate 22, 0026 OSLO adressen rettet før sammenligningen
Vi gjenkjenner også en skrivefeil i fornavnet eller etternavnet, og markerer den som en mulig tastefeil.
Eksemplene bruker adresser til offentlige bygninger og gater i sentrum; navnene, der de forekommer, er oppdiktet for demonstrasjonsformål: enhver likhet med virkelige personer er tilfeldig.
Relaterte spørsmål
- Hvordan rydder og retter jeg et kunderegister?
- Hvordan finner jeg dubletter i kunderegisteret, også når de er skrevet forskjellig?
- Excel finner ikke duplikatene: hvorfor, og hva gjør jeg?
Alle spørsmålene, med svaret, under Spørsmål og svar.