Spurningar · Tvítakahreinsun

Excel finnur ekki tvítökin: hvers vegna, og hvað er til ráða?

Hvað „Remove Duplicates“ gerir í raun

Aðgerðin ber saman innihald reitanna sem þú velur, dálk fyrir dálk, staf fyrir staf. Hún finnur línuna sem er eins: sami texti, sömu hástafir, sömu bil. Allt sem víkur frá, þótt ekki sé nema í smáatriði, telst ekki eins, og línan stendur áfram í skránni eins og hún væri önnur manneskja.

Í reynd þarf sáralítið til að samanburðurinn bregðist: eitt bil of mikið á eftir húsnúmerinu, „Gudrun“ í stað „Guðrún“, „Austurstr.“ í stað „Austurstræti“, „IS-101“ í stað „101“. Ekkert af þessu er sjaldgæft: þetta er venjulegi mátinn sem fólk skrifar skrá á, ekki undantekning. Sá sem sló inn seinni línuna gerði ekkert rangt: hann skrifaði bara sömu upplýsingarnar með sínum orðum, á öðrum tíma, kannski úr öðru eyðublaði eða á lyklaborði án íslenskra stafa.

Sama takmörkun á við um formúlur sem bera saman tvo dálka handvirkt, eða VLOOKUP og COUNTIF á nafn og heimilisfang: það er samt sem áður samanburður á texta, og texti tveggja raunverulegra tvítaka fellur nánast aldrei saman staf fyrir staf.

Hvers vegna tvær línur sem virðast ólíkar eru oft sama manneskjan

• Hástafir og bil. „GUÐRÚN JÓNSDÓTTIR“ og „Guðrún Jónsdóttir “ (með bili í lokin) eru fyrir Excel tveir ólíkir textar.
• Íslensku stafirnir sem vantar. „Guðrún“ og „Gudrun“, „Þórður“ og „Thordur“, „Austurstræti“ og „Austurstraeti“ deila ekki einum staf á réttum stað þar sem munurinn er.
• Skammstafanir götunnar. „Austurstr. 16“ og „Austurstræti 16“ eru ólíkir strengir.
• Nafn og föðurnafn víxluð. Innflutningur með dálkana víxlaða gefur „Jónsdóttir Guðrún“ við hliðina á „Guðrún Jónsdóttir“, og hvorug venjulegu formúlnanna tengir þau saman.
• Póstnúmer með landsforskeyti eða vantar á aðra línuna. „IS-101“ á móti „101“, eða auður reitur, nægir til að brjóta nákvæman samanburð á fleiri dálkum.

Excel gerir ekkert rangt: það gerir nákvæmlega það sem þú baðst um, bókstaflegan samanburð. Vandinn er sá að raunveruleg viðskiptavinaskrá er aldrei skrifuð á einsleitan hátt.

Hverju þú tapar með því að henda línu af handahófi

Jafnvel þegar tvær línur eru þekktar sem eins (til dæmis vegna þess að önnur var afrituð yfir hina) er áhætta að fleygja annarri af handahófi: hafi netfangið aðeins verið skráð á aðra línuna og símanúmerið aðeins á hina tapar þú tengilið með því að halda aðeins einni. Og sé valið handvirkt verður það, á skrá með nokkur þúsund línum, langt verk og jafn viðkvæmt fyrir villum og það sem á að leysa: það þarf að opna hvert grunsamlegt par, bera það saman með augunum, ákveða hverju á að halda og afrita í höndunum gögnin sem vantar úr hinni.

Það er líka áhætta sem sést síður: að fleygja rangri línu þegar þær tvær eru alls ekki sama manneskjan, heldur tvær manneskjur með sama nafn í sama bæ, sem á Íslandi er alls ekki fátítt. Samanburður sem horfir aðeins á texta hefur enga leið til að greina á milli þessara tilvika, og einmitt þar þyrfti mesta varkárni.

Hvað raunverulegur samanburður gerir í staðinn

Tvítakahreinsun RadarAddress vinnur í tveimur áföngum. Fyrst lagar hún hvert heimilisfang á rétt form — gata fullum stöfum með íslensku stöfunum, rétt póstnúmer án landsforskeytis, staður rétt skrifaður — svo tveir rithættir sömu götu verða sama gatan áður en þeir eru bornir saman. Svo ber hún nöfnin saman og þekkir nöfn skrifuð án íslensku stafanna (Guðrún og Gudrun), víxlaða röð nafns og föðurnafns, innsláttarvillu í nafninu og titil á undan nafninu, sem vegur ekki í úrskurðinum.

Niðurstaðan er ekki eydd lína: hún er aðalspjald sem tekur besta reitinn úr hverju tvítaki, netfang og símanúmer meðtalin, með skrifað hvaðan hver upplýsing kemur. Og hver hópur ber vissustig — öruggt, líklegt, óljóst — svo þú veist hverja má sameina með lokuð augun og hverja þú átt að skoða sjálfur, í stað þess að þurfa að ákveða það línu fyrir línu eins og í töflureikni.

Á skrá sem hlaðið er upp sem skjali keyrir samanburðurinn á öllum listanum í einu verki, allt að 100.000 spjöldum: það þarf ekki að raða, flokka eða krossa blöð í höndunum.

Sama tilvikið, tvær ólíkar niðurstöður

Línurnar tvær deila ekki einum eins streng — nafnið án íslensku stafanna, gatan skrifuð með ae, póstnúmerið með landsforskeyti — en þær eru sama heimilisfangið og sama manneskjan. Nöfnin eru tilbúin til sýningar; hvers kyns líkindi við lifandi fólk eru hrein tilviljun.