Questions · Dédoublonnage

Comment trouver les doublons d'un fichier clients, même écrits différemment ?

Pourquoi une recherche exacte ne trouve pas les doublons

Deux fiches de la même personne ne sont presque jamais écrites pareil. Celui qui les a saisies a utilisé une abréviation, une initiale, a inversé nom et prénom, ou a écrit l'adresse avec le raccourci du moment. Une recherche qui compare des chaînes de caractères ne reconnaît rien de tout cela : pour elle, « 10 pl. de la Comédie » et « 10 place de la Comédie » sont deux adresses différentes, alors qu'un facteur y lirait le même endroit.

C'est pour cela que la comparaison se fait en deux temps. D'abord on met chaque adresse dans sa forme correcte avec le même moteur que RadarAddress utilise pour la normalisation : type de voie en toutes lettres, code postal en cinq chiffres, commune bien écrite. Ce n'est que lorsque deux adresses sont dans la même forme qu'il a un sens de se demander si elles coïncident : si l'on compare d'abord et qu'on corrige ensuite, deux graphies de la même voie restent deux adresses et le doublon passe inaperçu.

Il en va de même pour le nom : celui qui cherche « Dubois » en s'attendant à trouver la fiche déjà dans le fichier, alors que la fiche existe mais au nom de « Dubois Sophie » au lieu de « Sophie Dubois », ne la trouve tout simplement pas. La conséquence la plus courante est une nouvelle fiche ouverte de bonne foi, à côté de celle qui existait déjà.

Ce que reconnaît la comparaison des doublons

• Un prénom abrégé ou réduit à l'initiale. « S. Dubois » et « Sophie Dubois », sans confondre des personnes différentes.
• Nom et prénom inversés. « Dubois Sophie » et « Sophie Dubois » viennent presque toujours d'un import avec les colonnes interverties.
• Une coquille dans le nom. Une petite faute de frappe n'empêche pas la reconnaissance, si le reste de la fiche coïncide.
• Les majuscules et les accents. « DUBOIS » et « Dubois », « Comedie » et « Comédie » sont lus comme le même mot.
• Les abréviations de la voie, parce qu'avant de comparer les adresses nous les remettons en ordre.
• Un lieu-dit ou une commune déléguée écrits à la place de la commune, quand le référentiel les rattache à la même commune.

Le verdict : certain, probable, ambigu

Quand deux fiches coïncident sur tout après la remise en ordre, le verdict est certain. Quand entrent en jeu un prénom abrégé ou une abréviation, il est probable : presque toujours juste. Quand le rapprochement est faible — par exemple des noms semblables — le groupe est ambigu. Chaque groupe porte son motif : vous savez toujours pourquoi deux fiches ont été rapprochées.

Le verdict décide aussi de ce qui se passe dans le fichier nettoyé : les groupes certains et probables sortent déjà réunis en une seule ligne, les ambigus restent entiers et vont parmi les lignes à contrôler, où c'est vous qui décidez.

Vous choisissez aussi à quel point la comparaison doit être large, du plus strict (seulement nom et adresse qui coïncident) au plus étendu (même les rapprochements faibles, que vous regardez ensuite). Le réglage par défaut, celui avec lequel tournent la plupart des traitements, reconnaît déjà les prénoms abrégés, les abréviations et les petites coquilles.

La fiche principale prend le meilleur de chaque doublon

Si l'e-mail n'était que sur une fiche et le téléphone que sur l'autre, en n'en gardant qu'une vous perdez une coordonnée. RadarAddress construit une fiche principale en prenant dans chacune le meilleur champ — l'adresse de la fiche la plus complète, le nom dans sa forme canonique, e-mail et téléphone là où ils sont — et pour chaque champ il reste écrit de quelle fiche il vient.

Le dédoublonnage sur le site, par fichier ou par API

Sur le site, avec votre compte, vous comparez deux ou trois fiches à la fois et vous voyez tout de suite le verdict : c'est la façon la plus rapide de comprendre comment cela fonctionne ou de contrôler un cas douteux avant de charger le fichier entier. Pour un fichier entier, vous le chargez : les traitements par lots vont jusqu'à 100 000 fiches, et à la fin vous téléchargez un zip avec le fichier nettoyé, la liste des doublons à retirer, les groupes et les lignes à contrôler. Si vous travaillez depuis du code, le point d'accès /api/v1/dedupe compare jusqu'à 500 fiches par appel, et jusqu'à 100 000 en mode asynchrone, avec le même verdict certain/probable/ambigu et la même fiche principale. Les tarifs sont sur la page des tarifs : avant de lancer un traitement par lots, vous voyez toujours ce qu'il implique, et les opérations ne sont prélevées qu'à la confirmation.

Deux fiches, la même personne

Le prénom réduit à l'initiale, les majuscules et l'adresse écrite de deux façons ne sont reconnus qu'après que les deux adresses ont été remises dans leur forme correcte. Le nom est inventé à des fins de démonstration ; toute référence à des personnes réelles est purement fortuite.