Perguntas · Desduplicação

Como encontro os duplicados numa base de contactos, mesmo escritos de forma diferente?

Porque uma pesquisa exata não os encontra

Duas fichas da mesma pessoa quase nunca estão escritas de forma igual. Quem as inseriu usou uma abreviatura, um diminutivo, trocou apelido e nome, ou escreveu a morada com a sigla cómoda do momento. Uma pesquisa que compara cadeias de texto não reconhece nada disto: para ela «R. de Santa Catarina, 110» e «Rua de Santa Catarina 110» são duas moradas diferentes, mesmo que um carteiro as lesse como o mesmo sítio.

Por isso a comparação faz-se em dois tempos, não num só. Primeiro leva-se cada morada à sua forma correta com o mesmo motor que a RadarAddress usa para a normalização: rua por extenso, código postal completo, localidade bem escrita. Só quando duas moradas estão na mesma forma faz sentido perguntar se coincidem: comparar primeiro e arrumar depois só produz falsos negativos, porque a comparação continua a ver duas grafias e não uma só morada.

O mesmo vale para o nome: quem procura «Silva» à espera de encontrar a ficha já na base, e a ficha existe mas está em nome de «Silva João» em vez de «João Silva», simplesmente não a encontra. A consequência mais comum não é um erro visível: é uma ficha nova aberta de boa-fé, ao lado da que já existia.

O que a comparação reconhece

• Nomes equivalentes. Zé e José, Quim e Joaquim, Tó e António, sem confundir pessoas diferentes.
• Apelido e nome trocados. «Silva João» e «João Silva» vêm quase sempre de uma importação com as colunas trocadas.
• Uma gralha no apelido. Um pequeno erro de escrita não impede o reconhecimento, se o resto da ficha coincidir.
• O título antes do nome. «Dr.ª Maria Santos» e «Maria Santos» são comparadas como a mesma pessoa: o título não conta no veredicto.
• As abreviaturas da rua, porque antes de comparar as moradas arrumamo-las: «R.», «Av.» e «Pç.» ficam por extenso, o código postal com os sete algarismos.
• O lugar reconduzido à sua localidade postal, quando duas fichas citam um bairro ou um lugar que no registo pertence à mesma localidade.

O veredicto: certo, provável, ambíguo

Nem todos os duplicados são iguais. Quando duas fichas coincidem em tudo depois de arrumadas, o veredicto é certo. Quando entram em jogo um nome equivalente ou uma abreviatura, fica provável: quase sempre certo, mas vale uma vista de olhos. Quando a ligação é fraca — por exemplo nomes parecidos — o grupo é ambíguo, e a decisão de fundir as fichas fica consigo. Cada grupo traz consigo o motivo: sabe sempre porque é que duas fichas foram aproximadas.

Também o nível de procura é seu, não só a leitura do resultado: pode escolher até que ponto a comparação deve ser larga, da mais estreita (só nome e morada que coincidem) à mais alargada (também as ligações fracas, que depois vê você). A definição por omissão, aquela com que corre a maior parte dos trabalhos, já reconhece as variantes dos nomes, as abreviaturas e as pequenas gralhas.

A ficha principal: o duplicado não se deita fora, funde-se

Deitar fora uma das duas fichas é a escolha mais cómoda e a que custa mais: se o e-mail só estava numa e o telefone só na outra, ficando com uma só perde o outro contacto. A RadarAddress constrói uma ficha principal tirando de cada uma o melhor campo — a morada da ficha mais completa, o nome na sua forma canónica, e-mail e telefone de onde existem — e em cada campo fica escrito de que ficha vem, para poder controlar de onde chega cada informação.

Onde o faz: no site, a partir de um ficheiro, pela API

No site compara duas ou três fichas de cada vez e vê logo o veredicto: é a maneira mais rápida de perceber como funciona ou de controlar um caso duvidoso antes de carregar a base inteira. Para uma base inteira carrega um ficheiro: os trabalhos em lote chegam até 100 000 fichas, e no fim encontra a coluna com a ficha a manter e o grupo a que pertence cada linha. Se trabalha a partir de código, o endpoint /api/v1/dedupe compara até 500 fichas por chamada, com o mesmo veredicto certo/provável/ambíguo e a mesma ficha principal fundida. Os preços estão na página de preços: antes de lançar um trabalho em lote vê sempre o que implica, e o crédito só é descontado na confirmação.

Duas fichas, a mesma pessoa

O nome abreviado (J./João) e a morada escrita de duas maneiras só são reconhecidos depois de as duas moradas terem sido arrumadas na sua forma correta e verificadas no registo nacional. O nome é inventado para fins demonstrativos; qualquer referência a pessoas reais é mera coincidência.