Kysymykset · Duplikaattien poisto

Miten löydän asiakasrekisterin duplikaatit, vaikka ne on kirjoitettu eri tavoin?

Miksi tarkka haku ei löydä duplikaatteja

Saman henkilön kaksi tietuetta on tuskin koskaan kirjoitettu samalla tavalla. Syöttäjä on käyttänyt lyhennettä tai pelkkää alkukirjainta, vaihtanut suku- ja etunimen järjestyksen tai kirjoittanut osoitteen sen hetken mukavalla lyhenteellä. Merkkijonoja vertaava haku ei tunnista mitään tästä: sille ”Aleksis Kiven k. 14” ja ”Aleksis Kiven katu 14” ovat kaksi eri osoitetta, vaikka postinkantaja lukisi ne samaksi paikaksi.

Siksi vertailu on tehtävä kahdessa vaiheessa. Ensin jokainen osoite saatetaan oikeaan muotoonsa samalla moottorilla, jota RadarAddress käyttää normalisointiin: katu kokonaan kirjoitettuna, postinumero oikein, postitoimipaikka oikein kirjoitettuna. Vasta kun kaksi osoitetta on samassa muodossa, on mielekästä kysyä, ovatko ne samat. Jos ensin verrataan ja vasta sitten korjataan, saman kadun kaksi kirjoitusasua jäävät kahdeksi osoitteeksi ja duplikaatti jää huomaamatta.

Sama pätee nimeen: se, joka hakee ”Virtanen” odottaen löytävänsä rekisterissä jo olevan tietueen, ei yksinkertaisesti löydä sitä, jos tietue on nimellä ”VIRTANEN M.” eikä ”Mika Virtanen”. Yleisin seuraus on hyvässä uskossa avattu uusi tietue, joka asettuu jo olemassa olevan rinnalle.

Mitä duplikaattien vertailu tunnistaa

• Etunimen vastaavat muodot. ”M.” ja ”Mika”, lyhennetty ja kokonaan kirjoitettu etunimi, sekoittamatta eri henkilöitä keskenään.
• Suku- ja etunimi vaihtaneet paikkaa. ”Virtanen Mika” ja ”Mika Virtanen” tulevat lähes aina tuonnista, jossa sarakkeet olivat väärin päin.
• Kirjoitusvirhe sukunimessä. Pieni lyöntivirhe ei estä tunnistamista, jos muu tietue täsmää.
• Kadun lyhenteet, koska osoitteet saatetaan kuntoon ennen vertailua.
• Postinumero maatunnuksella tai ilman. ”FI-33100” ja ”33100” ovat sama postinumero.
• Kaupunginosa tai kylä postitoimipaikan sijasta, kun kaksi tietuetta mainitsee paikan, joka rekisterissä kuuluu samaan kuntaan.

Tuomio: varma, todennäköinen, epäselvä

Kun kaksi tietuetta täsmää kaikessa korjauksen jälkeen, tuomio on varma. Kun mukana on etunimen vastaava muoto tai lyhenne, tuomio on todennäköinen: lähes aina oikein. Kun yhteys on heikko — esimerkiksi samankaltaiset nimet — ryhmä on epäselvä. Jokainen ryhmä tuo perusteensa mukanaan: tiedät aina, miksi kaksi tietuetta on liitetty yhteen.

Tuomio ratkaisee myös, mitä siistitylle tiedostolle tapahtuu: varmat ja todennäköiset ryhmät tulevat valmiiksi yhdistettyinä yhdeksi riviksi, epäselvät säilyvät kokonaisina ja siirtyvät tarkistettaviin riveihin, joista päätät sinä.

Voit myös valita, kuinka laaja vertailun on oltava, tiukasta (vain täsmäävä nimi ja osoite) laajimpaan (myös heikot yhteydet, jotka katsot sitten itse). Oletusasetus, jolla useimmat työt ajetaan, tunnistaa jo nimien muunnelmat, lyhenteet ja pienet kirjoitusvirheet.

Päätietue kokoaa jokaisesta duplikaatista parhaan

Jos sähköposti oli vain toisessa tietueessa ja puhelinnumero vain toisessa, yhden säilyttämällä menetät yhteystiedon. RadarAddress rakentaa päätietueen ottamalla kustakin tietueesta parhaan kentän — osoitteen täydellisimmästä tietueesta, nimen kokonaisessa muodossaan, sähköpostin ja puhelinnumeron sieltä, missä ne ovat — ja jokaisen kentän kohdalle jää merkintä siitä, mistä tietueesta se tulee.

Duplikaattien poisto sivustolla, tiedostosta tai API:n kautta

Sivustolla vertaat kahta tai kolmea tietuetta kerrallaan ja näet tuomion heti: se on nopein tapa ymmärtää, miten se toimii, tai tarkistaa epäselvä tapaus ennen koko rekisterin lataamista. Kokonaiselle rekisterille lataat tiedoston: erätyöt käsittelevät enintään 100 000 tietuetta, ja työn lopussa lataat zipin, jossa ovat siistitty tiedosto, poistettavien duplikaattien luettelo, ryhmät ja tarkistettavat rivit. Jos työskentelet koodista, päätepiste /api/v1/dedupe vertaa enintään 500 tietuetta kutsua kohden ja enintään 100 000 asynkronisessa tilassa, samalla tuomiolla varma/todennäköinen/epäselvä ja samalla päätietueella. Hinnasto on hintasivulla: ennen erätyön käynnistämistä näet aina, mitä se käyttää, ja käsittelyt veloitetaan vasta, kun vahvistat.

Kaksi tietuetta, sama henkilö

Peruste: sama sukunimi, vastaava etunimi (M. ≈ Mika), sama osoite. Alkukirjaimeksi lyhennetty etunimi ja kahdella tavalla kirjoitettu osoite tunnistetaan vasta, kun molemmat osoitteet on saatettu oikeaan muotoonsa. Nimi on keksitty esittelytarkoituksessa; kaikki yhtäläisyydet todellisiin henkilöihin ovat sattumaa.