Kysymykset · Duplikaattien poisto

Miten löydän rekisterin duplikaatit, vaikka ne on kirjoitettu eri tavoin?

Miksi tarkka haku ei löydä niitä

Saman henkilön kaksi tietuetta on tuskin koskaan kirjoitettu samalla tavalla. Syöttäjä on käyttänyt lyhennettä tai pelkkää alkukirjainta, vaihtanut suku- ja etunimen järjestyksen tai kirjoittanut osoitteen sen hetken mukavalla lyhenteellä. Merkkijonoja vertaava haku ei tunnista mitään tästä: sille ”Aleksis Kiven k. 14” ja ”Aleksis Kiven katu 14” ovat kaksi eri osoitetta, vaikka postinkantaja lukisi ne samaksi paikaksi.

Siksi vertailu on tehtävä kahdessa vaiheessa, ei yhdessä. Ensin jokainen osoite saatetaan oikeaan muotoonsa samalla moottorilla, jota RadarAddress käyttää normalisointiin: katu kokonaan kirjoitettuna, postinumero oikein, postitoimipaikka oikein kirjoitettuna. Vasta kun kaksi osoitetta on samassa muodossa, on mielekästä kysyä, ovatko ne samat: ensin vertaaminen ja vasta sitten korjaaminen tuottaa pelkkiä vääriä kielteisiä vastauksia, koska vertailu näkee yhä kaksi kirjoitusasua eikä yhtä osoitetta.

Sama pätee nimeen: se, joka hakee ”Virtanen” odottaen löytävänsä rekisterissä jo olevan tietueen, ei yksinkertaisesti löydä sitä, jos tietue on nimellä ”VIRTANEN M.” eikä ”Mika Virtanen”. Yleisin seuraus ei ole näkyvä virhe: se on hyvässä uskossa avattu uusi tietue, joka asettuu jo olemassa olevan rinnalle.

Mitä vertailu tunnistaa

• Etunimen vastaavat muodot. ”M.” ja ”Mika”, lyhennetty ja kokonaan kirjoitettu etunimi, sekoittamatta eri henkilöitä keskenään.
• Suku- ja etunimi vaihtaneet paikkaa. ”Virtanen Mika” ja ”Mika Virtanen” tulevat lähes aina tuonnista, jossa sarakkeet olivat väärin päin.
• Kirjoitusvirhe sukunimessä. Pieni lyöntivirhe ei estä tunnistamista, jos muu tietue täsmää.
• Kadun lyhenteet, koska osoitteet saatetaan kuntoon ennen vertailua.
• Postinumero maatunnuksella tai ilman. ”FI-33100” ja ”33100” ovat sama postinumero.
• Kaupunginosa tai kylä postitoimipaikan sijasta, kun kaksi tietuetta mainitsee paikan, joka rekisterissä kuuluu samaan kuntaan.

Tuomio: varma, todennäköinen, epäselvä

Kaikki duplikaatit eivät ole samanlaisia. Kun kaksi tietuetta täsmää kaikessa korjauksen jälkeen, tuomio on varma. Kun mukana on etunimen vastaava muoto tai lyhenne, tuomio jää todennäköiseksi: lähes aina oikein, mutta vilkaisun arvoinen. Kun yhteys on heikko — esimerkiksi samankaltaiset nimet — ryhmä on epäselvä, ja päätös tietueiden yhdistämisestä jää sinulle. Jokainen ryhmä tuo perusteensa mukanaan: tiedät aina, miksi kaksi tietuetta on liitetty yhteen.

Myös haun laajuus on sinun, ei vain tuloksen lukeminen: voit valita, kuinka laaja vertailun on oltava, tiukasta (vain täsmäävä nimi ja osoite) laajimpaan (myös heikot yhteydet, jotka katsot sitten itse). Oletusasetus, jolla useimmat työt ajetaan, tunnistaa jo nimien muunnelmat, lyhenteet ja pienet kirjoitusvirheet.

Päätietue: duplikaattia ei heitetä pois, se yhdistetään

Toisen tietueen hylkääminen on mukavin valinta ja se, joka maksaa eniten: jos sähköposti oli vain toisessa ja puhelinnumero vain toisessa, yhden säilyttämällä menetät toisen yhteystiedon. RadarAddress rakentaa päätietueen ottamalla kustakin tietueesta parhaan kentän — osoitteen täydellisimmästä tietueesta, nimen kokonaisessa muodossaan, sähköpostin ja puhelinnumeron sieltä, missä ne ovat — ja jokaisen kentän kohdalle jää merkintä siitä, mistä tietueesta se tulee, joten voit tarkistaa jokaisen tiedon alkuperän.

Missä sen teet: sivustolla, tiedostosta, API:sta

Sivustolla vertaat kahta tai kolmea tietuetta kerrallaan ja näet tuomion heti: se on nopein tapa ymmärtää, miten se toimii, tai tarkistaa epäselvä tapaus ennen koko rekisterin lataamista. Kokonaiselle rekisterille lataat tiedoston: erätyöt käsittelevät enintään 100 000 tietuetta, ja työn lopussa löydät sarakkeen, jossa on säilytettävä tietue ja ryhmä, johon kukin rivi kuuluu. Jos työskentelet koodista, päätepiste /api/v1/dedupe vertaa enintään 500 tietuetta kutsua kohden, samalla tuomiolla varma/todennäköinen/epäselvä ja samalla yhdistetyllä päätietueella. Hinnasto on hintasivulla: ennen erätyön käynnistämistä näet aina, mitä se käyttää, ja krediitit veloitetaan vasta, kun vahvistat.

Kaksi tietuetta, sama henkilö

Peruste: sama sukunimi, vastaava etunimi (M. ≈ Mika), sama osoite. Alkukirjaimeksi lyhennetty etunimi ja kahdella tavalla kirjoitettu osoite tunnistetaan vasta, kun molemmat osoitteet on saatettu oikeaan muotoonsa. Nimi on keksitty esittelytarkoituksessa; kaikki yhtäläisyydet todellisiin henkilöihin ovat sattumaa.