Frågor · Dubblettrensning

Hur hittar jag dubbletter i kundregistret, även när de är skrivna olika?

Varför en exakt sökning inte hittar dubbletterna

Två poster för samma person är nästan aldrig skrivna lika. Den som matade in dem använde en förkortning, ett smeknamn, vände på efternamn och förnamn eller skrev adressen med den bekväma förkortningen för stunden. En sökning som jämför strängar känner inte igen något av det: för den är ”Hantverkarg. 1” och ”Hantverkargatan 1” två olika adresser, fastän en brevbärare skulle läsa dem som samma ställe.

Därför måste jämförelsen göras i två steg. Först sätts varje adress i sin korrekta form med samma motor som RadarAddress använder för normaliseringen: gatan utskriven, postnumret i rätt format, orten rätt skriven; i länderna vars nationella register är i drift kontrolleras adressen dessutom mot registret, svenska adresser jämförs i sin postform. Först när två adresser har samma form är det meningsfullt att fråga om de sammanfaller: jämför man först och ordnar sedan förblir två skrivningar av samma gata två adresser, och dubbletten slinker igenom.

Samma sak gäller namnet: den som söker på ”Andersson” och väntar sig att hitta posten som redan finns i registret, och posten finns men står som ”Andersson Anna” i stället för ”Anna Andersson”, hittar den helt enkelt inte. Den vanligaste följden är en ny post, öppnad i god tro, bredvid den som redan fanns.

Vad dubblettjämförelsen känner igen

• Likvärdiga namn. Lasse och Lars, Kalle och Karl, Bosse och Bo, utan att blanda ihop olika personer.
• Efternamn och förnamn i omvänd ordning. ”Andersson Anna” och ”Anna Andersson” kommer nästan alltid från en import med förväxlade kolumner.
• Ett stavfel i efternamnet. Ett litet skrivfel hindrar inte igenkänningen, om resten av posten stämmer.
• Förnamnet förkortat till en initial. ”A. Andersson” på samma adress som ”Anna Andersson” läggs bredvid som en möjlig dubblett, med nivån redovisad.
• Titeln framför namnet. ”Dr Maria Lindqvist” och ”Maria Lindqvist” jämförs som samma person: titeln räknas inte i bedömningen.
• Gatans förkortningar, eftersom vi ordnar adresserna innan vi jämför dem.
• Samma e-postadress eller telefonnummer på två poster med liknande namn: en stark ledtråd, som räknas med den försiktighet den förtjänar.

Bedömningen: säker, trolig, tvetydig

När två poster sammanfaller på allt efter ordnandet är bedömningen säker. När ett likvärdigt namn eller en förkortning spelar in blir den trolig: nästan alltid rätt. När kopplingen är svag — till exempel liknande namn — är gruppen tvetydig. Varje grupp bär med sig orsaken: du vet alltid varför två poster lagts bredvid varandra.

Bedömningen avgör också vad som händer i den rensade filen: säkra och troliga grupper kommer ut redan sammanslagna på en enda rad, de tvetydiga lämnas hela och hamnar bland raderna att kontrollera, där du bestämmer.

Du kan också välja hur bred jämförelsen ska vara, från den snäva (bara namn och adress som sammanfaller) till den vidaste (också de svaga kopplingarna, som du sedan tittar på). Standardinställningen, den som de flesta jobb körs med, känner redan igen namnvarianter, förkortningar och små stavfel.

Huvudposten tar det bästa från varje dubblett

Om e-postadressen bara fanns på den ena posten och telefonnumret bara på den andra förlorar du en kontaktuppgift när du behåller en enda. RadarAddress bygger en huvudpost genom att ta det bästa fältet från var och en — adressen från den mest fullständiga posten, namnet i sin kanoniska form, e-post och telefon där de finns — och för varje fält står det kvar vilken post det kommer från.

Dubblettrensning på webbplatsen, med fil eller via API

På webbplatsen ser du ett svenskt exempel med bedömningen och orsaken: det snabbaste sättet att förstå hur det fungerar. För ett helt register laddar du upp en fil: batchjobben arbetar med upp till 100.000 poster, och när jobbet är klart laddar du ner en zip-fil med den rensade filen, listan över dubbletter att ta bort, grupperna och raderna att kontrollera. Arbetar du från kod jämför endpointen /api/v1/dedupe upp till 500 poster per anrop och upp till 100.000 i asynkront läge, med samma bedömning säker/trolig/tvetydig och samma huvudpost. Prislistan finns på prissidan: innan du startar ett batchjobb ser du alltid vad det förbrukar, och bearbetningarna dras först när du bekräftar.

Två poster, samma person

Det förkortade förnamnet (A. ≈ Anna) och adressen skriven på två sätt känns igen först när båda adresserna satts i sin svenska postform; orsaken lyder ”liknande namn, samma adress”. Namnet är påhittat i demonstrationssyfte; varje likhet med verkliga personer är en tillfällighet.