Perguntas · Desduplicação

O Excel não encontra os duplicados: porquê, e o que fazer?

O que faz de facto «Remover Duplicados» no Excel

A função compara o conteúdo das células que escolhe, coluna a coluna, carácter a carácter. Encontra a linha idêntica: mesmo texto, mesmas maiúsculas, mesmos espaços. Tudo o que se afaste nem que seja num pormenor não é considerado igual, e a linha fica na base como se fosse outra pessoa.

Na prática basta muito pouco para a comparação falhar: um espaço a mais depois do número de porta, «Silva João» em vez de «João Silva», «R. de Santa Catarina» no lugar de «Rua de Santa Catarina». São casos frequentes: é a maneira normal como as pessoas escrevem uma base de contactos. Quem inseriu a segunda linha escreveu as mesmas informações com as suas palavras, noutro momento, talvez a partir de outro formulário.

O mesmo limite vale para as fórmulas que comparam à mão duas colunas, ou um PROCV ou CORRESP sobre nome e morada: continuam a ser uma comparação de texto, e o texto de dois duplicados reais quase nunca coincide carácter a carácter.

Porque duas linhas que parecem diferentes são muitas vezes a mesma pessoa

• Maiúsculas e espaços. «JOÃO SILVA» e «João Silva » (com um espaço no fim) são para o Excel dois textos diferentes.
• Abreviaturas da rua. «R. de Santa Catarina, 110» e «Rua de Santa Catarina 110» não têm uma só letra igual na posição certa.
• Apelido e nome trocados. Uma importação com as colunas trocadas produz «Silva João» ao lado de «João Silva», e nenhuma das fórmulas habituais os aproxima.
• Nomes equivalentes ou abreviados. «J. Silva» e «Silva João» nem sequer partilham o nome por inteiro; «Zé» e «José» ainda menos.
• Código postal com ou sem hífen, ou em falta numa só linha. «4000-442» e «4000442» são textos diferentes, e uma célula vazia chega para partir uma comparação exata em várias colunas.

O Excel faz exatamente o que lhe pediu, uma comparação literal, e uma base de contactos real nunca está escrita de forma uniforme.

O que perde ao deitar fora uma linha ao acaso

Mesmo quando duas linhas são reconhecidas como iguais (por exemplo porque foram copiadas uma sobre a outra), deitar fora uma ao acaso é arriscado: se o e-mail estava registado só numa linha e o telefone só na outra, ficando com uma só perde um contacto. E se a escolha for manual, numa base de alguns milhares de linhas torna-se um trabalho longo e tão sujeito a erros como aquele que se quer resolver: é preciso abrir cada par suspeito, compará-lo a olho, decidir qual manter e copiar à mão os dados que faltam da outra.

Há também um risco menos visível: deitar fora uma linha quando as duas são pessoas diferentes com o mesmo nome na mesma localidade. Uma comparação só de texto não tem como distinguir os dois casos.

Como trabalha a desduplicação da RadarAddress

A desduplicação da RadarAddress trabalha em dois tempos. Primeiro arruma cada morada na sua forma correta — rua por extenso, código postal com os sete algarismos, localidade bem escrita — para que duas grafias da mesma rua se tornem a mesma rua antes ainda de serem comparadas. Depois põe em confronto os nomes, reconhecendo os nomes equivalentes (Zé e José), a ordem trocada de apelido e nome, uma gralha no apelido e o título antes do nome, que não conta no veredicto.

O resultado é uma ficha principal que tira de cada duplicado o melhor campo, e-mail e telefone incluídos, com escrito de onde vem cada informação. Cada grupo traz um nível de certeza — certo, provável, ambíguo. No ficheiro limpo os grupos certos e prováveis saem já unidos; os ambíguos ficam inteiros entre as linhas a verificar, onde decide você.

Numa base carregada como ficheiro a comparação corre sobre a lista inteira num só trabalho, até 100 000 fichas, sem ordenar, agrupar nem cruzar folhas à mão.

O mesmo caso, dois resultados diferentes

As duas linhas não partilham uma única cadeia de texto igual — nome abreviado, maiúsculas, abreviatura da rua, código postal sem hífen — mas são a mesma morada e a mesma pessoa. O nome é inventado para fins demonstrativos; qualquer referência a pessoas reais é mera coincidência.