Desduplicação:
duas fichas, uma só pessoa.
Encontrar duplicados mesmo escritos de outra forma: um exemplo com moradas de Portugal, duas fichas e porque são a mesma pessoa.
Grátis todos os meses: 50 verificações de morada, 100 registos para encontrar duplicados e 500 verificações de emails e telefones. Só lhe pedimos o nome, o email e uma palavra-passe, sem cartão de crédito: crie a sua conta gratuita ou inicie sessão.
O que a desduplicação lhe traz
Um duplicado é a história de uma pessoa partida em duas. Reconstituí-la tem quatro efeitos concretos.
Responder uma só vez, e com conhecimento de causa
Quem responde olha para uma ficha: se a encomenda está registada na outra, essa pessoa não recebe nada — e dá por isso. Com uma só ficha a confirmação parte sempre, e a comunicação chega uma só vez, com o nome escrito de uma só maneira.
Cada envelope a mais é dinheiro deitado fora
Um duplicado é uma impressão, um envelope e um selo pagos por uma pessoa que a sua comunicação já alcançou. Numa campanha de volume é a despesa mais fácil de cortar, sem perder um único destinatário.
Reconheça os seus melhores clientes
Quem comprou três vezes numa ficha e duas na outra aparece nos relatórios como dois contactos mornos. Reunindo as fichas aparece como aquilo que é, um cliente fiel, e muda quem vale a pena contactar, a quem reservar um tratamento diferente, a quem propor mais.
Números que finalmente batem certo
Quantos clientes tenho de facto? Quanto vale em média um contacto? Com uma base de dados cheia de duplicados cada resposta está inflacionada, e as decisões que dela decorrem nascem viciadas.
De onde vêm os duplicados
Não são erros de distração: os duplicados nascem de três situações correntes, que se repetem em qualquer base de dados destinada a crescer.
A encomenda chega e há pressa
Quem regista tem uma pilha de formulários para despachar (ou de talões de pagamento, numa associação) e não se detém a verificar se aquela pessoa já está na base. Abrir uma ficha nova leva trinta segundos; procurá-la a sério, entre as variantes do nome e da morada, leva muito mais tempo.
A ficha existe, mas a pesquisa não a encontra
É o caso mais frequente e o mais difícil de evitar: a ficha existe, mas está escrita de forma ligeiramente diferente da que se procura — «Rua de Santa Catarina 110» contra «R. de Santa Catarina, 110». A pesquisa não devolve nada, e a ficha é criada de novo de boa-fé.
Importa-se uma lista inteira
As inscrições no site, uma lista recolhida num evento, um ficheiro de um fornecedor: entram em bloco sem serem confrontados com a base existente. Acontece menos vezes do que os outros dois casos, mas quando acontece os duplicados entram às centenas.
Os três resolvem-se da mesma maneira: uma verificação da base a intervalos regulares, e uma antes de cada campanha importante.
Primeiro corrigir as moradas, depois encontrar os duplicados
A comparação palavra a palavra trata Francisco e Chico como duas pessoas e R. de Santa Catarina, 110 e Rua de Santa Catarina 110 como duas moradas, quando são a mesma pessoa e a mesma morada. Por isso trabalhamos em dois tempos: primeiro corrigimos as duas moradas — rua por extenso, código postal certo, localidade certa — e só depois as comparamos, juntamente com o nome, o email e o telefone. Duas grafias da mesma rua tornam-se a mesma rua antes de a comparação começar.
O veredicto tem três graus — certo, provável ou ambíguo — com o motivo ao lado. No ficheiro limpo os grupos certos e prováveis saem já unidos numa só linha. Os ambíguos ficam inteiros e passam para as linhas a verificar: duas pessoas diferentes podem ter o mesmo nome na mesma localidade, e aí decide você.
Normalização, deteção de duplicados, desduplicação, enriquecimento
Quatro operações diferentes, que normalmente acabam todas debaixo da palavra «limpeza». Distingui-las é útil, porque cada uma é o pressuposto da seguinte.
Normalização de moradas
Reduzir cada morada a uma escrita única e correta, completando o que falta: o código postal, a localidade, o nome da rua por extenso.
«R. de Santa Catarina, 110» e «Rua de Santa Catarina 110» tornam-se a mesma linha.
Deteção de duplicados
Reconhecer que duas fichas são o mesmo sujeito mesmo quando escritas de forma diferente: «R. de Santa Catarina, 110» e «Rua de Santa Catarina 110», apelido e nome próprio trocados.
Vem depois da normalização: assim a comparação faz-se entre moradas já escritas na forma correta.
Desduplicação
Decidir o que fazer com os duplicados encontrados: que ficha manter, que campos tirar de uma e quais da outra.
O registo final tira de cada ficha o melhor campo e regista a sua origem.
Enriquecimento
Acrescentar o que falta ou o que se pode deduzir do que existe: a fórmula de saudação a partir do nome, o título, o sufixo do número de porta, o código fiscal.
Dados que a sua base de dados já contém de forma implícita.
Porque conta, para além da limpeza: quem recebe duas vezes a mesma carta repara, e quem não recebe o agradecimento porque o donativo estava registado numa ficha enquanto olhava para a outra repara ainda mais.
Comparação de duplicados: escolhe a precisão, nós dizemos-lhe até que ponto temos a certeza
Os grupos de fichas forma-os o motor, e para cada um declara com que grau de certeza. Dois botões. O nível mínimo, isto é, quão diferentes duas fichas podem ser e continuar a ser o mesmo sujeito: três valores, a partir do site e dos ficheiros usa-se o predefinido, a partir da API escolhe-se com livello_minimo. E a precisão, a mesma escala de 1 a 5 da verificação da morada, que aqui age sobre o apelido: até 3 lê-se à letra, em 4 aproximam-se as fichas com o apelido escrito com ou sem espaço («La Pera», «Lapera»), em 5 também as que têm um apelido que soa igual («Lepera», «La Pera»); estes grupos saem no máximo como ambíguos.
Precisão estrita
Nome e morada coincidem depois da normalização. Nenhum grupo que não tivesse feito à mão.
O valor predefinido
Entram as variantes do mesmo nome (Chico e Francisco), as abreviaturas e as pequenas gralhas. É a configuração com que corre a maior parte dos trabalhos.
Precisão larga
Também as ligações fracas: mesma morada e nomes parecidos. Encontra mais, e tem de rever mais.
O veredicto devolvido para cada grupo — certo, provável, ambíguo — é a nossa classificação: diz quão sólido é o grupo e decide o que acontece no ficheiro limpo, onde os certos e os prováveis saem unidos e os ambíguos ficam por rever.
O melhor de cada ficha num só registo
Tiramos de cada ficha o melhor campo e construímos um registo novo: também o email que estava só numa das duas chega ao registo que fica.
| Campo | Ficha A | Ficha B | Registo que fica |
|---|---|---|---|
| Nome | João Silva | J. SILVA | João Silva a grafia mais completa |
| Morada | R. de Santa Catarina, 110 | Rua de Santa Catarina 110 | Rua de Santa Catarina 110 da ficha mais completa |
| Código postal e cidade | 4000-442 Porto | 4000442 porto | 4000-442 PORTO na forma postal do país |
| — | j.silva@example.com | j.silva@example.com só existia em B |
Mantendo A teria perdido o email, mantendo B a grafia completa do nome. O registo fundido tem os dois, e para cada campo fica registado de que ficha vem: se um dia a fusão não o convencer, sabe exatamente onde mexer.
Os duplicados que uma pesquisa exata não encontra
- Chico Silva=Francisco Silva nome equivalente
- Silva João=João Silva apelido e nome próprio trocados
- r. de santa catarina, 110=Rua de Santa Catarina 110 abreviatura por extenso
- Silva João, r. de santa catarina, 110, porto=João Silva, Rua de Santa Catarina 110, 4000-442 PORTO morada corrigida antes da comparação
Reconhecemos também uma gralha no nome ou no apelido, e assinalamo-la como possível erro de digitação.
Os exemplos usam moradas de edifícios públicos e ruas do centro; os nomes, quando aparecem, são inventados para fins de demonstração: qualquer semelhança com pessoas reais é mera coincidência.
Perguntas relacionadas
- Como se limpa e corrige uma base de dados de clientes?
- Como encontro os duplicados numa base de dados de clientes, mesmo escritos de forma diferente?
- O Excel não encontra os duplicados: porquê, e o que fazer?
Todas as perguntas, com a resposta, em Perguntas e respostas.