Spørsmål · Deduplisering

Excel finner ikke duplikatene: hvorfor, og hva gjør jeg?

Hva «Fjern duplikater» faktisk gjør

Funksjonen sammenligner innholdet i cellene du velger, kolonne for kolonne, tegn for tegn. Den finner den identiske raden: samme tekst, samme store bokstaver, samme mellomrom. Alt som avviker med så mye som én detalj, regnes ikke som likt, og raden blir stående i registeret som om den var en annen person.

I praksis skal det svært lite til for at sammenligningen mislykkes: et mellomrom for mye etter husnummeret, «Hansen Kari» i stedet for «Kari Hansen», «Karl Johans gt.» i stedet for «Karl Johans gate», «N-0026» i stedet for «0026». Dette er vanlige tilfeller, slik folk normalt skriver et register. Den som la inn den andre raden, skrev de samme opplysningene med sine egne ord, på et annet tidspunkt, kanskje fra et annet skjema.

Den samme begrensningen gjelder formler som sammenligner to kolonner for hånd, eller FINN.RAD og SAMMENLIGNE på navn og adresse: de er fortsatt en tekstsammenligning, og teksten i to virkelige dubletter er nesten aldri lik tegn for tegn.

Hvorfor to rader som ser forskjellige ut, ofte er samme person

• Store bokstaver og mellomrom. «KARI HANSEN» og «Kari Hansen » (med et mellomrom til slutt) er for Excel to forskjellige tekster.
• Forkortelser i gaten. «Karl Johans gt. 22» og «Karl Johans gate 22» har ikke samme tegn på samme plass fra forkortelsen og utover.
• Etternavn og fornavn i motsatt rekkefølge. En import med kolonnene byttet om gir «Hansen Kari» ved siden av «Kari Hansen», og ingen av standardformlene kobler dem.
• Forkortede fornavn og initialer. «K. Hansen» og «Hansen Kari» deler ikke engang hele fornavnet.
• Postnummer som mangler på bare én rad, eller skrevet med «N-» foran. Én tom eller avvikende celle er nok til å bryte en eksakt sammenligning på flere kolonner.

Excel gjør nøyaktig det du ba om, en bokstavelig sammenligning, og et virkelig register er aldri skrevet ensartet.

Hva du mister ved å kaste en rad på slump

Selv når to rader blir gjenkjent som like (for eksempel fordi den ene er kopiert fra den andre), er det risikabelt å forkaste en av dem på slump: lå e-postadressen bare på den ene raden og telefonnummeret bare på den andre, mister du en kontaktopplysning ved å beholde bare én. Og er valget manuelt, blir det på et register med noen tusen rader et langt arbeid, like utsatt for feil som det du prøver å løse: du må åpne hvert mistenkelige par, sammenligne på øyemål, bestemme hvilken du beholder og skrive over for hånd det som mangler fra den andre.

Det finnes også en mindre synlig risiko: å forkaste en rad når de to er forskjellige personer med samme navn på samme sted. En ren tekstsammenligning har ingen måte å skille de to tilfellene på.

Slik arbeider dedupliseringen hos RadarAddress

Dedupliseringen hos RadarAddress arbeider i to omganger. Først settes hver adresse i korrekt form, gaten helt ut, riktig postnummer uten «N-» foran, poststedet skrevet riktig, slik at to skrivemåter av samme gate blir samme gate allerede før de sammenlignes. Så sammenlignes navnene, med gjenkjenning av forkortede fornavn og initialer (K. og Kari), etternavn og fornavn i motsatt rekkefølge, en skrivefeil i etternavnet og tittelen foran navnet, som ikke teller i vurderingen.

Resultatet er en hovedoppføring som henter det beste feltet fra hver dublett, e-post og telefon medregnet, med skrevet hvor hver opplysning kommer fra. Hver gruppe har et sikkerhetsnivå: sikker, sannsynlig, tvetydig. I den rensede filen kommer sikre og sannsynlige grupper allerede slått sammen; de tvetydige forblir hele blant radene som må kontrolleres, der du avgjør.

På et register lastet opp som fil kjører sammenligningen over hele listen i én jobb, opptil hundre tusen oppføringer, uten at du må sortere, gruppere eller krysse ark for hånd.

Samme tilfelle, to forskjellige resultater

De to radene deler ikke én eneste identisk tekststreng, motsatt rekkefølge, initial, forkortelse, «N-» foran postnummeret, men de er samme adresse og samme person. Navnene er oppdiktet for demonstrasjonsformål; enhver likhet med virkelige personer er tilfeldig.