Spurningar · Tvítakahreinsun

Hvernig finn ég tvítök í viðskiptavinaskrá, líka þegar þau eru skrifuð á ólíkan hátt?

Hvers vegna nákvæm leit finnur þau ekki

Tvö spjöld sömu manneskju eru nánast aldrei skrifuð eins. Sá sem skráði þau notaði skammstöfun, sleppti æ eða ð á lyklaborði án íslenskra stafa, setti föðurnafnið á undan nafninu, eða skrifaði heimilisfangið með þeirri styttingu sem var hendi næst. Leit sem ber saman strengi þekkir ekkert af þessu: fyrir hana eru „Austurstr. 16“ og „Austurstræti 16“ tvö ólík heimilisföng, þótt póstburðarmaður læsi þau sem sama staðinn.

Þess vegna þarf samanburðurinn að fara fram í tveimur áföngum, ekki einum. Fyrst er hvert heimilisfang fært á rétt form með sömu vél og RadarAddress notar til stöðlunar: gata fullum stöfum, rétt póstnúmer, staður rétt skrifaður. Aðeins þegar tvö heimilisföng eru á sama formi hefur merkingu að spyrja hvort þau falli saman — að bera saman fyrst og laga svo gefur bara fölsk nei, því samanburðurinn sér áfram tvo rithætti en ekki eitt heimilisfang.

Sama gildir um nafnið: sá sem leitar að „Guðrún“ og býst við að finna spjaldið sem þegar er í skránni, og spjaldið er til en skráð „Gudrun Jonsdottir“, finnur það einfaldlega ekki. Algengasta afleiðingin er ekki sýnileg villa: það er nýtt spjald stofnað í góðri trú, við hliðina á því sem þegar var til.

Hvað samanburðurinn þekkir

• Nöfn skrifuð án íslensku stafanna. Guðrún og Gudrun, Þórður og Thordur, án þess að rugla saman ólíku fólki.
• Nafn og föðurnafn víxluð. „Jónsdóttir Guðrún“ og „Guðrún Jónsdóttir“ koma nánast alltaf úr innflutningi með dálkana víxlaða.
• Innsláttarvilla í nafninu. Lítil villa kemur ekki í veg fyrir að spjöldin séu þekkt, ef afgangurinn af spjaldinu fellur saman.
• Titill á undan nafninu. „Dr. María Sigurðardóttir“ og „María Sigurðardóttir“ eru borin saman sem sama manneskjan: titillinn vegur ekki í úrskurðinum.
• Skammstafanir götunnar, því heimilisföngin eru löguð áður en þau eru borin saman.
• Póstnúmer með landsforskeyti eða án þess, „IS-101“ og „101“, og staðurinn á opinberu formi sínu þegar spjöldin skrifa hann hvort á sinn hátt.

Úrskurðurinn: öruggt, líklegt, óljóst

Ekki eru öll tvítök eins. Þegar tvö spjöld falla saman í öllu eftir lagfæringuna er úrskurðurinn öruggt. Þegar rithátturinn á nafninu eða skammstöfun koma við sögu er hann líklegt: nánast alltaf rétt, en þess virði að líta á. Þegar tengingin er veik — til dæmis lík nöfn — er hópurinn óljóst, og ákvörðunin um að sameina spjöldin er þín. Hver hópur ber með sér ástæðuna: þú veist alltaf hvers vegna tvö spjöld voru tengd.

Leitarstigið er líka þitt, ekki bara lestur niðurstöðunnar: þú getur valið hve víður samanburðurinn á að vera, frá þröngum (aðeins nafn og heimilisfang sem falla saman) til þess víðasta (líka veikar tengingar, sem þú skoðar svo sjálfur). Sjálfgefna stillingin, sú sem flest verk keyra á, þekkir þegar ritháttarafbrigði nafnanna, skammstafanirnar og litlu innsláttarvillurnar.

Aðalspjaldið: tvítaki er ekki hent, það er sameinað

Að fleygja öðru spjaldinu er þægilegasta lausnin og sú sem kostar mest: hafi netfangið aðeins verið á öðru og símanúmerið aðeins á hinu tapar þú hinum tengiliðnum með því að halda aðeins einu. RadarAddress byggir aðalspjald með því að taka besta reitinn úr hverju þeirra — heimilisfangið úr fyllsta spjaldinu, nafnið á réttu formi, netfang og símanúmer þaðan sem þau eru — og fyrir hvern reit stendur skrifað úr hvaða spjaldi hann kemur, svo þú getur rakið hvaðan hver upplýsing er.

Hvar þú gerir það: af vefnum, úr skjali, í gegnum API

Af vefnum, með ókeypis aðgangi, berðu saman tvö eða þrjú spjöld í einu og sérð úrskurðinn strax: það er fljótlegasta leiðin til að skilja hvernig þetta virkar eða til að athuga vafatilvik áður en öll skráin er hlaðin upp. Fyrir heila viðskiptavinaskrá hleður þú upp skjali: hópvinnslur ná allt að 100.000 spjöldum, og í lok verksins finnur þú dálkinn með spjaldinu sem á að halda og hópnum sem hver lína tilheyrir. Vinnir þú úr kóða ber endapunkturinn /api/v1/dedupe saman allt að 500 spjöld í hverju kalli, með sama úrskurði öruggt/líklegt/óljóst og sama sameinaða aðalspjaldi. Verðskráin er á verðsíðunni: áður en þú setur hópvinnslu af stað sérðu alltaf hvað hún notar, og vinnslurnar eru aðeins dregnar frá þegar þú staðfestir.

Tvö spjöld, sama manneskjan

Nafnið skrifað án íslensku stafanna og heimilisfangið á tvo vegu eru þekkt sem sama manneskjan aðeins eftir að bæði heimilisföngin hafa verið færð á rétt form: svipað nafn, sama heimilisfang. Nöfnin eru tilbúin til sýningar; hvers kyns líkindi við lifandi fólk eru hrein tilviljun.