Spurningar · Tvítakahreinsun

Excel finnur ekki tvítekningarnar: hvers vegna, og hvað er til ráða?

Hvað „Remove Duplicates“ gerir í raun

Aðgerðin ber saman innihald reitanna sem þú velur, dálk fyrir dálk, staf fyrir staf. Hún finnur línuna sem er eins: sami texti, sömu hástafir, sömu bil. Allt sem víkur frá, þótt ekki sé nema í smáatriði, telst ekki eins, og línan stendur áfram í skránni eins og hún væri önnur manneskja.

Í reynd þarf sáralítið til að samanburðurinn bregðist: eitt bil of mikið á eftir húsnúmerinu, „Gudrun“ í stað „Guðrún“, „Austurstr.“ í stað „Austurstræti“, „IS-101“ í stað „101“. Þetta eru algeng tilvik, svona skrifar fólk skrár. Sá sem sló inn seinni línuna skrifaði sömu upplýsingarnar með sínum orðum, á öðrum tíma, kannski úr öðru eyðublaði eða á lyklaborði án íslenskra stafa.

Sama takmörkun á við um formúlur sem bera saman tvo dálka handvirkt, eða VLOOKUP og COUNTIF á nafn og heimilisfang: það er samt sem áður samanburður á texta, og texti tveggja raunverulegra tvítaka fellur nánast aldrei saman staf fyrir staf.

Hvers vegna tvær línur sem virðast ólíkar eru oft sama manneskjan

• Hástafir og bil. „GUÐRÚN JÓNSDÓTTIR“ og „Guðrún Jónsdóttir “ (með bili í lokin) eru fyrir Excel tveir ólíkir textar.
• Íslensku stafirnir sem vantar. „Guðrún“ og „Gudrun“, „Þórður“ og „Thordur“, „Austurstræti“ og „Austurstraeti“ deila ekki einum staf á réttum stað þar sem munurinn er.
• Skammstafanir götunnar. „Austurstr. 16“ og „Austurstræti 16“ eru ólíkir strengir.
• Nafn og föðurnafn víxluð. Innflutningur með dálkana víxlaða gefur „Jónsdóttir Guðrún“ við hliðina á „Guðrún Jónsdóttir“, og hvorug venjulegu formúlnanna tengir þau saman.
• Póstnúmer með landsforskeyti eða vantar á aðra línuna. „IS-101“ á móti „101“, eða auður reitur, nægir til að brjóta nákvæman samanburð á fleiri dálkum.

Excel gerir nákvæmlega það sem þú baðst um, bókstaflegan samanburð, og raunveruleg viðskiptavinaskrá er aldrei skrifuð á einsleitan hátt.

Hverju þú tapar með því að henda línu af handahófi

Jafnvel þegar tvær línur eru þekktar sem eins (til dæmis vegna þess að önnur var afrituð yfir hina) er áhætta að fleygja annarri af handahófi: hafi netfangið aðeins verið skráð á aðra línuna og símanúmerið aðeins á hina tapar þú tengilið með því að halda aðeins einni. Og sé valið handvirkt verður það, á skrá með nokkur þúsund línum, langt verk og jafn viðkvæmt fyrir villum og það sem á að leysa: það þarf að opna hvert grunsamlegt par, bera það saman með augunum, ákveða hverju á að halda og afrita í höndunum gögnin sem vantar úr hinni.

Það er líka áhætta sem sést síður: að fleygja línu þegar línurnar tilheyra tveimur ólíkum manneskjum með sama nafn í sama bæ, sem er algengt á Íslandi. Samanburður sem horfir aðeins á texta hefur enga leið til að greina á milli þessara tilvika.

Svona vinnur tvítakahreinsun RadarAddress

Tvítakahreinsun RadarAddress vinnur í tveimur áföngum. Fyrst lagar hún hvert heimilisfang á rétt form — gata fullum stöfum með íslensku stöfunum, rétt póstnúmer án landsforskeytis, staður rétt skrifaður — svo tveir rithættir sömu götu verða sama gatan áður en þeir eru bornir saman. Svo ber hún nöfnin saman og þekkir nöfn skrifuð án íslensku stafanna (Guðrún og Gudrun), víxlaða röð nafns og föðurnafns, innsláttarvillu í nafninu og titil á undan nafninu, sem vegur ekki í úrskurðinum.

Niðurstaðan er aðalspjald sem tekur besta reitinn úr hverju tvítaki, netfang og símanúmer meðtalin, með skrifað hvaðan hver upplýsing kemur. Hver hópur ber vissustig — öruggt, líklegt, óljóst. Í hreinsuðu skránni koma öruggir og líklegir hópar þegar sameinaðir; óljósir haldast heilir í línunum til athugunar, þar sem þú ákveður.

Á skrá sem hlaðið er upp sem skjali keyrir samanburðurinn á öllum listanum í einu verki, allt að 100.000 spjöldum, án þess að raða, flokka eða krossa blöð í höndunum.

Sama tilvikið, tvær ólíkar niðurstöður

Línurnar tvær deila ekki einum eins streng — nafnið án íslensku stafanna, gatan skrifuð með ae, póstnúmerið með landsforskeyti — en þær eru sama heimilisfangið og sama manneskjan. Nöfnin eru tilbúin til sýningar; hvers kyns líkindi við lifandi fólk eru hrein tilviljun.