Spurningar · Tvítakahreinsun

Hvernig finn ég tvítekningar í viðskiptavinaskrá, líka þegar þær eru skrifaðar á ólíkan hátt?

Hvers vegna nákvæm leit finnur ekki tvítekningarnar

Tvö spjöld sömu manneskju eru nánast aldrei skrifuð eins. Sá sem skráði þau notaði skammstöfun, sleppti æ eða ð á lyklaborði án íslenskra stafa, setti föðurnafnið á undan nafninu, eða skrifaði heimilisfangið með þeirri styttingu sem var hendi næst. Leit sem ber saman strengi þekkir ekkert af þessu: fyrir hana eru „Austurstr. 16“ og „Austurstræti 16“ tvö ólík heimilisföng, þótt póstburðarmaður læsi þau sem sama staðinn.

Þess vegna þarf samanburðurinn að fara fram í tveimur áföngum. Fyrst er hvert heimilisfang fært á rétt form með sömu vél og RadarAddress notar til stöðlunar: gata fullum stöfum, rétt póstnúmer, staður rétt skrifaður. Aðeins þegar tvö heimilisföng eru á sama formi hefur merkingu að spyrja hvort þau falli saman. Sé borið saman fyrst og lagað svo verða tveir rithættir sömu götu áfram tvö heimilisföng, og tvítakið sleppur í gegn.

Sama gildir um nafnið: sá sem leitar að „Guðrún“ og býst við að finna spjaldið sem þegar er í skránni, og spjaldið er til en skráð „Gudrun Jonsdottir“, finnur það einfaldlega ekki. Algengasta afleiðingin er nýtt spjald stofnað í góðri trú, við hliðina á því sem þegar var til.

Hvað samanburðurinn þekkir

• Nöfn skrifuð án íslensku stafanna. Guðrún og Gudrun, Þórður og Thordur, án þess að rugla saman ólíku fólki.
• Nafn og föðurnafn víxluð. „Jónsdóttir Guðrún“ og „Guðrún Jónsdóttir“ koma nánast alltaf úr innflutningi með dálkana víxlaða.
• Innsláttarvilla í nafninu. Lítil villa kemur ekki í veg fyrir að spjöldin séu þekkt, ef afgangurinn af spjaldinu fellur saman.
• Titill á undan nafninu. „Dr. María Sigurðardóttir“ og „María Sigurðardóttir“ eru borin saman sem sama manneskjan: titillinn vegur ekki í úrskurðinum.
• Skammstafanir götunnar, því heimilisföngin eru löguð áður en þau eru borin saman.
• Póstnúmer með landsforskeyti eða án þess, „IS-101“ og „101“, og staðurinn á opinberu formi sínu þegar spjöldin skrifa hann hvort á sinn hátt.

Úrskurðurinn: öruggt, líklegt, óljóst

Þegar tvö spjöld falla saman í öllu eftir lagfæringuna er úrskurðurinn öruggt. Þegar rithátturinn á nafninu eða skammstöfun koma við sögu er hann líklegt: nánast alltaf rétt. Þegar tengingin er veik — til dæmis lík nöfn — er hópurinn óljóst. Hver hópur ber með sér ástæðuna: þú veist alltaf hvers vegna tvö spjöld voru tengd.

Úrskurðurinn ræður líka því hvað gerist í hreinsuðu skránni: öruggir og líklegir hópar koma þegar sameinaðir í eina línu, óljósir haldast heilir og fara í línurnar til athugunar, þar sem þú ákveður.

Þú getur líka valið hve víður samanburðurinn á að vera, frá þröngum (aðeins nafn og heimilisfang sem falla saman) til þess víðasta (líka veikar tengingar, sem þú skoðar svo sjálfur). Sjálfgefna stillingin, sú sem flest verk keyra á, þekkir þegar ritháttarafbrigði nafnanna, skammstafanirnar og litlu innsláttarvillurnar.

Aðalspjaldið tekur það besta úr hverju tvítaki

Hafi netfangið aðeins verið á öðru spjaldinu og símanúmerið aðeins á hinu tapar þú tengilið með því að halda aðeins einu. RadarAddress byggir aðalspjald með því að taka besta reitinn úr hverju þeirra — heimilisfangið úr fyllsta spjaldinu, nafnið á réttu formi, netfang og símanúmer þaðan sem þau eru — og fyrir hvern reit stendur skrifað úr hvaða spjaldi hann kemur.

Tvítakahreinsun af vefnum, úr skjali eða í gegnum API

Af vefnum, með ókeypis aðgangi, berðu saman tvö eða þrjú spjöld í einu og sérð úrskurðinn strax: það er fljótlegasta leiðin til að skilja hvernig þetta virkar eða til að athuga vafatilvik áður en öll skráin er hlaðin upp. Fyrir heila viðskiptavinaskrá hleður þú upp skjali: hópvinnslur ná allt að 100.000 spjöldum, og í lok verksins sækir þú zip-skrá með hreinsuðu skránni, lista yfir tvítökin sem á að fjarlægja, hópunum og línunum til athugunar. Vinnir þú úr kóða ber endapunkturinn /api/v1/dedupe saman allt að 500 spjöld í hverju kalli, og allt að 100.000 í ósamstilltum ham, með sama úrskurði öruggt/líklegt/óljóst og sama aðalspjaldi. Verðskráin er á verðsíðunni: áður en þú setur hópvinnslu af stað sérðu alltaf hvað hún notar, og vinnslurnar eru aðeins dregnar frá þegar þú staðfestir.

Tvö spjöld, sama manneskjan

Nafnið skrifað án íslensku stafanna og heimilisfangið á tvo vegu eru þekkt sem sama manneskjan aðeins eftir að bæði heimilisföngin hafa verið færð á rétt form: svipað nafn, sama heimilisfang. Nöfnin eru tilbúin til sýningar; hvers kyns líkindi við lifandi fólk eru hrein tilviljun.