Kysymykset · Duplikaattien poisto

Excel ei löydä kaksoiskappaleita: miksi, ja mitä tehdä?

Mitä ”Poista kaksoiskappaleet” oikeasti tekee

Toiminto vertaa valitsemiesi solujen sisältöä sarake sarakkeelta, merkki merkiltä. Se löytää identtisen rivin: sama teksti, samat isot kirjaimet, samat välilyönnit. Kaikki, mikä poikkeaa pienessäkin yksityiskohdassa, ei ole sen mielestä samaa, ja rivi jää rekisteriin kuin se olisi toinen henkilö.

Käytännössä vertailun kaatamiseen tarvitaan hyvin vähän: ylimääräinen välilyönti talonumeron jälkeen, ”Virtanen Mika” eikä ”Mika Virtanen”, ”Aleksis Kiven k.” eikä ”Aleksis Kiven katu”, ”FI-33100” eikä ”33100”. Yksikään näistä ei ole harvinainen: ne ovat tavallinen tapa, jolla ihmiset kirjoittavat rekisteriä, eivät poikkeus. Toisen rivin syöttäjä ei tehnyt mitään väärin: hän vain kirjoitti samat tiedot omin sanoin, eri hetkellä, ehkä eri lomakkeelta.

Sama rajoitus koskee kaavoja, jotka vertaavat kahta saraketta käsin, tai PHAKU- ja VASTINE-hakua nimen ja osoitteen perusteella: nekin ovat tekstivertailu, eikä kahden todellisen duplikaatin teksti juuri koskaan täsmää merkki merkiltä.

Miksi kaksi erilaiselta näyttävää riviä on usein sama henkilö

• Isot kirjaimet ja välilyönnit. ”MIKA VIRTANEN” ja ”Mika Virtanen ” (välilyönti lopussa) ovat Excelille kaksi eri tekstiä.
• Kadun lyhenteet. ”Aleksis Kiven k. 14” ja ”Aleksis Kiven katu 14” eivät täsmää merkki merkiltä.
• Suku- ja etunimi vaihtaneet paikkaa. Tuonti, jossa sarakkeet olivat väärin päin, tuottaa ”Virtanen Mika” rivin ”Mika Virtanen” viereen, eikä kumpikaan vakiokaava liitä niitä yhteen.
• Etunimi lyhennettynä. ”VIRTANEN M.” ja ”Mika Virtanen” eivät jaa edes etunimeä kokonaan.
• Postinumero maatunnuksella vain toisella rivillä. ”FI-33100” ja ”33100” riittävät rikkomaan usean sarakkeen tarkan vertailun, samoin yksi tyhjä solu.

Excel ei tee virhettä: se tekee täsmälleen sen, mitä siltä pyysit, kirjaimellisen vertailun. Ongelma on se, ettei todellista rekisteriä ole koskaan kirjoitettu yhdenmukaisesti.

Mitä menetät heittämällä rivin pois umpimähkään

Silloinkin kun kaksi riviä tunnistetaan samoiksi (esimerkiksi koska ne on kopioitu toistensa päälle), toisen hylkääminen umpimähkään on riskialtista: jos sähköposti oli kirjattu vain toiselle riville ja puhelinnumero vain toiselle, yhden säilyttämällä menetät yhteystiedon. Ja jos valinta tehdään käsin, muutaman tuhannen rivin rekisterissä siitä tulee yhtä pitkä ja virhealtis työ kuin se, jota yritetään ratkaista: jokainen epäilyttävä pari on avattava, verrattava silmämääräisesti, päätettävä kumpi säilytetään ja kopioitava toisen puuttuvat tiedot käsin.

On myös vähemmän näkyvä riski: väärän rivin hylkääminen silloin, kun kaksi riviä eivät olekaan sama henkilö vaan kaksi samannimistä ihmistä samassa kunnassa. Pelkkä tekstivertailu ei voi erottaa näitä tapauksia, vaikka juuri siinä tarvittaisiin suurinta varovaisuutta.

Mitä oikea vertailu sen sijaan tekee

RadarAddressin duplikaattien poisto toimii kahdessa vaiheessa. Ensin se saattaa jokaisen osoitteen oikeaan muotoonsa — katu kokonaan kirjoitettuna, postinumero oikein ja ilman maatunnusta, postitoimipaikka oikein kirjoitettuna — jotta saman kadun kaksi kirjoitusasua ovat sama katu jo ennen vertailua. Sitten se vertaa nimet ja tunnistaa etunimen vastaavat muodot (M. ja Mika), suku- ja etunimen vaihtuneen järjestyksen ja kirjoitusvirheen sukunimessä.

Tulos ei ole poistettu rivi: se on päätietue, johon on otettu kustakin duplikaatista paras kenttä, sähköposti ja puhelinnumero mukaan lukien, ja johon on merkitty, mistä kukin tieto tulee. Ja jokaisella ryhmällä on varmuustaso — varma, todennäköinen, epäselvä — joten tiedät, mitkä voit yhdistää silmät kiinni ja mitkä katsot itse, sen sijaan että päättäisit rivi riviltä kuten taulukkolaskennassa.

Tiedostona ladatussa rekisterissä vertailu käy koko listan läpi yhdessä työssä, enintään 100 000 tietuetta: ei tarvitse lajitella, ryhmitellä eikä ristiintaulukoida välilehtiä käsin.

Sama tapaus, kaksi eri tulosta

Rivit eivät jaa yhtäkään identtistä merkkijonoa — lyhennetty etunimi, lyhennetty katu, maatunnus vain toisella — mutta ne ovat sama osoite ja sama henkilö. Nimi on keksitty esittelytarkoituksessa; kaikki yhtäläisyydet todellisiin henkilöihin ovat sattumaa.