Perguntas · Desduplicação

Como encontro os duplicados numa base de dados de clientes, mesmo escritos de forma diferente?

Porque uma pesquisa exata não encontra os duplicados

Duas fichas da mesma pessoa quase nunca estão escritas de forma igual. Quem as inseriu usou uma abreviatura, um diminutivo, trocou apelido e nome, ou escreveu a morada com a sigla cómoda do momento. Uma pesquisa que compara cadeias de texto não reconhece nada disto: para ela «R. de Santa Catarina, 110» e «Rua de Santa Catarina 110» são duas moradas diferentes, mesmo que um carteiro as lesse como o mesmo sítio.

Por isso a comparação faz-se em dois tempos. Primeiro leva-se cada morada à sua forma correta com o mesmo motor que a RadarAddress usa para a normalização: rua por extenso, código postal completo, localidade bem escrita. Só quando duas moradas estão na mesma forma faz sentido perguntar se coincidem: comparando primeiro e arrumando depois, duas grafias da mesma rua continuam a ser duas moradas e o duplicado escapa.

O mesmo vale para o nome: quem procura «Silva» à espera de encontrar a ficha já na base, e a ficha existe mas está em nome de «Silva João» em vez de «João Silva», simplesmente não a encontra. A consequência mais comum é uma ficha nova aberta de boa-fé, ao lado da que já existia.

O que a comparação de duplicados reconhece

• Nomes equivalentes. Zé e José, Quim e Joaquim, Tó e António, sem confundir pessoas diferentes.
• Apelido e nome trocados. «Silva João» e «João Silva» vêm quase sempre de uma importação com as colunas trocadas.
• Uma gralha no apelido. Um pequeno erro de escrita não impede o reconhecimento, se o resto da ficha coincidir.
• O título antes do nome. «Dr.ª Maria Santos» e «Maria Santos» são comparadas como a mesma pessoa: o título não conta no veredicto.
• As abreviaturas da rua, porque antes de comparar as moradas arrumamo-las: «R.», «Av.» e «Pç.» ficam por extenso, o código postal com os sete algarismos.
• O lugar reconduzido à sua localidade postal, quando duas fichas citam um bairro ou um lugar que no registo pertence à mesma localidade.

O veredicto: certo, provável, ambíguo

Quando duas fichas coincidem em tudo depois de arrumadas, o veredicto é certo. Quando entram em jogo um nome equivalente ou uma abreviatura, é provável: quase sempre certo. Quando a ligação é fraca — por exemplo nomes parecidos — o grupo é ambíguo. Cada grupo traz consigo o motivo: sabe sempre porque é que duas fichas foram aproximadas.

O veredicto decide também o que acontece no ficheiro limpo: os grupos certos e prováveis saem já unidos numa só linha, os ambíguos ficam inteiros e passam para as linhas a verificar, onde decide você.

Pode escolher também até que ponto a comparação deve ser larga, da mais estreita (só nome e morada que coincidem) à mais alargada (também as ligações fracas, que depois vê você). A definição por omissão, aquela com que corre a maior parte dos trabalhos, já reconhece as variantes dos nomes, as abreviaturas e as pequenas gralhas.

A ficha principal tira o melhor de cada duplicado

Se o e-mail só estava numa ficha e o telefone só na outra, ficando com uma só perde um contacto. A RadarAddress constrói uma ficha principal tirando de cada uma o melhor campo — a morada da ficha mais completa, o nome na sua forma canónica, e-mail e telefone de onde existem — e em cada campo fica escrito de que ficha vem.

A desduplicação no site, por ficheiro ou pela API

No site compara duas ou três fichas de cada vez e vê logo o veredicto: é a maneira mais rápida de perceber como funciona ou de controlar um caso duvidoso antes de carregar a base inteira. Para uma base inteira carrega um ficheiro: os trabalhos em lote chegam até 100 000 fichas, e no fim descarrega um zip com o ficheiro limpo, a lista dos duplicados a retirar, os grupos e as linhas a verificar. Se trabalha a partir de código, o endpoint /api/v1/dedupe compara até 500 fichas por chamada, e até 100 000 em modo assíncrono, com o mesmo veredicto certo/provável/ambíguo e a mesma ficha principal. Os preços estão na página de preços: antes de lançar um trabalho em lote vê sempre o que implica, e as operações só são descontadas na confirmação.

Duas fichas, a mesma pessoa

O nome abreviado (J./João) e a morada escrita de duas maneiras só são reconhecidos depois de as duas moradas terem sido arrumadas na sua forma correta e verificadas no registo nacional. O nome é inventado para fins demonstrativos; qualquer referência a pessoas reais é mera coincidência.