Kaksi tietuetta,
yksi henkilö.

Esimerkki osoitteilla maasta Suomi: kaksi eri tavalla kirjoitettua tietuetta, ja miksi ne ovat sama henkilö.

Ilmaisella tilillä työskentelet omilla osoitteillasi, mistä tahansa maasta: verkkosivustolta, tiedostosta tai API:n kautta. Rekisteröidy tai kirjaudu.

Kaksi tietuetta, yksi henkilö

Duplikaatti ei ole ylimääräinen tietue, joka poistetaan: se on yhden henkilön historia jaettuna kahtia. Sen kokoaminen yhteen tuottaa neljä konkreettista vaikutusta.

Vastaa kerran, ja täydellä tiedolla

Vastaaja katsoo yhtä tietuetta: jos tilaus on kirjattu toiselle, henkilö ei saa mitään — ja huomaa sen. Yhdellä tietueella vahvistus lähtee aina, ja viestintä saapuu kerran: ei kahdesti samaan osoitteeseen, ehkä vielä nimi kahdella eri tavalla kirjoitettuna.

Jokainen ylimääräinen kirjekuori on hukkaan heitettyä rahaa

Duplikaatti on tuloste, kirjekuori ja postimerkki, jotka on maksettu henkilölle, jonka viestintäsi on jo tavoittanut. Suuressa kampanjassa se on helpoin kulu karsittavaksi: ei yhtään vastaanottajaa vähemmän, vain tarpeelliset lähetykset.

Tunnista, kuka on arvokkaampi

Se, joka on ostanut kolme kertaa yhdellä tietueella ja kahdesti toisella, näkyy raporteissa kahtena haaleana kontaktina yhden uskollisen sijaan. Tietueiden yhdistäminen tekee historiasta jälleen kokonaisen ja muuttaa sen, kenelle kannattaa soittaa, kuka ansaitsee erilaisen kohtelun, kenelle tarjota enemmän.

Luvut täsmäävät

Montako asiakasta minulla oikeasti on? Paljonko yksi kontakti on keskimäärin arvoltaan? Duplikaatteja täynnä olevalla rekisterillä jokainen vastaus on paisunut, ja niistä seuraavat päätökset ovat vääristyneitä alusta alkaen. Ennen analysointia on laskettava oikein.

Ne eivät ole huolimattomuusvirheitä

Duplikaatit syntyvät kolmesta tavallisesta tilanteesta, jotka toistuvat jokaisessa kasvamaan tarkoitetussa rekisterissä.

Tilaus saapuu ja on kiire

Tietojen kirjaajalla on pino lomakkeita läpikäytävänä (tai tilillepanoja, jos työskentelet yhdistyksessä), eikä hän pysähdy tarkistamaan, onko henkilö jo rekisterissä. Uuden tietueen avaaminen vie kolmekymmentä sekuntia; sen todellinen etsiminen nimen ja osoitteen eri muunnelmien joukosta vie paljon kauemmin.

Tietue on olemassa, mutta haku ei löydä sitä

Se on yleisin tapaus ja vaikein välttää: tietue on olemassa, mutta se on kirjoitettu hieman eri tavalla kuin sitä haetaan — ”Via Giovanni Pascoli 4” vastaan ”Pascoli”, ”V.le” vastaan ”Viale”. Haku ei palauta mitään, ja tietue luodaan uudelleen hyvässä uskossa.

Kokonainen lista saapuu

Verkkosivun rekisteröitymiset, tapahtumassa kerätty lista, toimittajalta tullut tiedosto: ne tulevat sisään yhtenä eränä ilman vertailua olemassa olevaan rekisteriin. Näin käy harvemmin kuin kahdessa muussa tapauksessa, mutta kun käy, duplikaatteja tulee sadoittain.

Kaikki kolme ratkeavat samalla tavalla: rekisterin tarkistus säännöllisin väliajoin, ja yksi ennen jokaista tärkeää kampanjaa.

Ensin korjaamme, sitten vertaamme

Kahden tietueen vertaaminen sana sanalta ei vie pitkälle: Daniela ja Dany ovat sama henkilö, V. Roma 12 ja Via Roma, 12 ovat sama osoite, eikä mikään kirjaimellinen vertailu huomaa sitä. Siksi työskentelemme kahdessa vaiheessa: ensin korjaamme molemmat osoitteet — kadunnimi kokonaan, postinumero oikein, oikea kunta — ja vasta sitten vertaamme niitä, yhdessä nimen, sähköpostin ja puhelimen kanssa. Saman kadun kaksi kirjoitusasua muuttuvat samaksi kaduksi ennen kuin vertailu alkaa.

Tulos ei ole kyllä tai ei. Kun tuomio ei ole selvä, sanomme sen — varma, todennäköinen tai epäselvä, peruste vieressä: kahdella eri ihmisellä voi olla sama nimi samassa kunnassa, ja kahden tietueen yhdistäminen on edelleen sinun päätöksesi, joka tehdään tietäen, mihin se perustuu.

Normalisointi, duplikaattien tunnistus, duplikaattien poisto, rikastaminen

Neljä eri toimenpidettä, jotka yleensä niputetaan sanan ”siivous” alle. Niiden erottaminen kannattaa, koska kukin on seuraavan edellytys.

Normalisointi

Jokaisen osoitteen saattaminen yhteen, oikeaan kirjoitusasuun ja puuttuvan täydentäminen: postinumero, maakunta, kadunnimi kokonaan.

”Via S. Caterina 20” ja ”Strada Santa Caterina 20” muuttuvat samaksi riviksi.

Duplikaattien tunnistus

Sen tunnistaminen, että kaksi tietuetta on sama kohde, vaikka ne on kirjoitettu eri tavalla: ”V. Roma 12” ja ”Via Roma 12”, Dany ja Daniela, sukunimi ja etunimi vaihtaneet paikkaa.

Se tulee normalisoinnin jälkeen, eikä sattumalta: ilman sitä vertailet merkkijonoja etkä osoitteita.

Duplikaattien poisto

Päätös siitä, mitä löydetyille duplikaateille tehdään: mikä tietue säilytetään, mitkä kentät otetaan yhdestä ja mitkä toisesta.

Duplikaattia ei heitetä pois: se sulautetaan, ja jokaisen tiedon alkuperä jää muistiin.

Rikastaminen

Puuttuvan tai olemassa olevasta pääteltävissä olevan lisääminen: tervehdysmuoto nimestä, titteli, talonumeron kirjainosa, verotunnus.

Tietoa, jota kukaan ei ole antanut sinulle, mutta joka on rekisterissäsi jo epäsuorasti.

Miksi sillä on väliä, siivousta laajemmin: se, joka saa saman kirjeen kahdesti, huomaa sen, ja se, joka ei saa kiitosta, koska lahjoitus kirjattiin yhdelle tietueelle sillä aikaa kun sinä katsoit toista, huomaa sen vielä paremmin.

Sinä valitset vertailun tiukkuuden, me kerromme, kuinka varmoja olemme

Emme pyydä sinua päättämään, mitkä tietueet yhdistetään: sen teemme me, ja jokaisesta ryhmästä kerromme, kuinka varmoja olemme. Ainoa säädin on vertailun tiukkuus, eli kuinka erilaisia kaksi tietuetta voivat olla ja silti olla sama kohde. Kolme arvoa: verkkosivu ja tiedostotyöt käyttävät oletusarvoa, API:ssa valitaan parametrilla livello_minimo. Ei pidä sekoittaa osoitteen normalisoinnin tarkkuuteen, joka on eri asia ja jossa on viisi tasoa.

1 · uguale

Tiukka

Nimi ja osoite täsmäävät normalisoinnin jälkeen. Ei yhtään ryhmää, jota et olisi itse tehnyt käsin.

2 · poco diverso

Oletusarvo

Mukaan tulevat saman nimen muunnelmat (Dany ja Daniela), lyhenteet ja pienet kirjoitusvirheet. Tällä asetuksella useimmat työt ajetaan.

3 · diverso

Väljä

Myös heikot kytkökset: sama osoite ja samankaltaiset nimet. Löytää enemmän, ja sinun on katsottava enemmän.

Jokaisesta ryhmästä palautuva tuomio — varma, todennäköinen, epäselvä — on meidän luokituksemme, ei sinun valintasi: se kertoo, kuinka vankka ryhmä on, ja auttaa päättämään, minkä voit hyväksyä sokkona ja mikä kannattaa tarkistaa.

Duplikaattia ei heitetä pois: se sulautetaan

Tämä on se ero, jolla on merkitystä. Duplikaatteja poistava säilyttää yleensä yhden tietueen ja hylkää toisen — ja sen mukana sähköpostin, joka oli vain siinä. Me rakennamme uuden tietueen ottamalla kummastakin parhaan kentän.

Esimerkki kahden tietueen sulauttamisesta: mikä kenttä jää ja mistä se tulee
Kenttä	Tietue A	Tietue B	Jäljelle jäävä tietue
Etunimi	Dany Rossi	Rossi Daniela	Daniela Rossi kanoninen muoto, kentät palautettu paikoilleen
Osoite	v. leopardi 4, milano	Via G. Leopardi 4, Milano	Via Giacomo Leopardi 4 täydellisemmästä tietueesta
Postinumero ja kaupunki	—	Milano	20123 MILANO MI täydennetty normalisoinnissa
Sähköposti	dany.rossi@gmail.com	—	dany.rossi@gmail.com oli vain A:ssa
Puhelin	—	347 032 8959	3470328959 oli vain B:ssä

Jos olisit säilyttänyt A:n, olisit menettänyt puhelimen, B:n säilyttämällä sähköpostin. Sulautetussa tietueessa on molemmat, ja jokaisen kentän kohdalla jää muistiin, kummasta tietueesta se tulee: jos sulautus ei jonain päivänä vakuuta sinua, tiedät täsmälleen, mihin koskea.

Samat duplikaatit, jotka jäävät tarkalta haulta huomaamatta

Dany Rossi=Daniela Rossi vastaava nimi
Rossi Mario=Mario Rossi sukunimi ja etunimi vaihtaneet paikkaa
V. Roma 12=Via Roma 12 lyhenne kirjoitettu auki
Rossi Daniela, via leopardi 4, milano=Daniela Rossi, Via Giacomo Leopardi 4, 20123 MILANO MI osoite korjattu ennen vertailua

Tunnistamme myös kirjoitusvirheen sukunimessä; nimen edessä olevan tittelin, joka ei vaikuta vertailuun (Dott.ssa Maria Bianchi on sama henkilö kuin Maria Bianchi); ja kaupunginosan palauttamisen kuntaansa, koska Sampierdarena on Genovan kaupunginosa.

Aiheeseen liittyvät kysymykset

Kaikki kysymykset vastauksineen sivulla Kysymykset ja vastaukset.

Kaksi tietuetta,yksi henkilö.

Tietue A

Tietue B