Preguntas · Deduplicación

¿Cómo encuentro los duplicados de una base de datos de clientes, aunque estén escritos de forma distinta?

Por qué una búsqueda exacta no encuentra los duplicados

Dos fichas de la misma persona casi nunca están escritas igual. Quien las introdujo usó una abreviatura, escribió solo la inicial del nombre, invirtió apellidos y nombre, o escribió la dirección con la sigla cómoda del momento. Una búsqueda que compara cadenas de texto no reconoce nada de esto: para ella «Avda. de la Constitución 1» y «Avenida de la Constitución, 1» son dos direcciones distintas, aunque un cartero las leería como el mismo sitio.

Por eso la comparación se hace en dos tiempos. Primero se lleva cada dirección a su forma correcta con el mismo motor que RadarAddress usa para la normalización: tipo de vía por extenso, código postal correcto, municipio bien escrito. Solo cuando dos direcciones están en la misma forma tiene sentido preguntarse si coinciden: comparando antes y arreglando después, dos grafías de la misma calle siguen siendo dos direcciones y el duplicado se escapa.

Lo mismo vale para el nombre: quien busca «García» esperando encontrar la ficha que ya está en la base de datos, y la ficha está pero a nombre de «Garcia A.» en vez de «Ana García», sencillamente no la encuentra. La consecuencia más común es una ficha nueva abierta de buena fe, al lado de la que ya existía.

Qué reconoce la comparación de duplicados

• El nombre abreviado o con la inicial. «A.» y «Ana» con el mismo apellido y la misma dirección, sin confundir a personas distintas.
• Apellidos y nombre invertidos. «García Ana» y «Ana García» llegan casi siempre de una importación con las columnas intercambiadas.
• Un acento que falta o una errata en el apellido. «Garcia» y «García», un pequeño error de tecleo: no impiden el reconocimiento si el resto de la ficha coincide.
• El tratamiento delante del nombre. «Dra. María López» y «María López» se comparan como la misma persona: el tratamiento no cuenta en el veredicto.
• Las abreviaturas de la vía, porque antes de comparar las direcciones las arreglamos.
• La localidad referida a su municipio, cuando dos fichas citan una pedanía o un núcleo que en el registro nacional pertenece al mismo municipio.

El veredicto: seguro, probable, ambiguo

Cuando dos fichas coinciden en todo después del arreglo, el veredicto es seguro. Cuando entran en juego una inicial, una abreviatura o una errata, es probable: casi siempre acertado. Cuando la relación es débil — por ejemplo nombres parecidos — el grupo es ambiguo. Cada grupo lleva consigo el motivo: sabes siempre por qué dos fichas se han puesto juntas.

El veredicto decide también qué pasa en el archivo limpio: los grupos seguros y probables salen ya unidos en una sola fila, los ambiguos se quedan enteros y pasan a las filas por revisar, donde decides tú.

Puedes elegir también lo amplia que tiene que ser la comparación, de la estricta (solo nombre y dirección que coinciden) a la más amplia (también las relaciones débiles, que después miras tú). La configuración predeterminada, con la que corren la mayoría de los trabajos, reconoce ya las variantes de los nombres, las abreviaturas y las pequeñas erratas.

La ficha principal toma lo mejor de cada duplicado

Si el email estaba solo en una ficha y el teléfono solo en la otra, quedándote con una sola pierdes un dato de contacto. RadarAddress construye una ficha principal tomando de cada una el mejor campo — la dirección de la ficha más completa, el nombre en su forma canónica, email y teléfono de donde estén — y en cada campo queda escrito de qué ficha viene.

La deduplicación desde el sitio, con un archivo o por API

En el sitio ves el ejemplo español ya resuelto y, con una cuenta gratuita, comparas dos o tres fichas cada vez y ves enseguida el veredicto: es la manera más rápida de entender cómo funciona o de comprobar un caso dudoso antes de subir la base de datos entera. Para una base de datos entera subes un archivo: los trabajos por lotes llegan hasta 100.000 fichas, y al terminar descargas un zip con el archivo limpio, la lista de duplicados que quitar, los grupos y las filas por revisar. Si trabajas desde código, el endpoint /api/v1/dedupe compara hasta 500 fichas por llamada, y hasta 100.000 en modo asíncrono, con el mismo veredicto seguro/probable/ambiguo y la misma ficha principal. La lista de precios está en la página de precios: antes de lanzar un trabajo por lotes ves siempre lo que supone, y las operaciones se descuentan solo al confirmar.

Dos fichas, la misma persona

La inicial en vez del nombre, el acento que falta y la dirección escrita de dos maneras se reconocen solo después de que las dos direcciones se han arreglado en su forma correcta y verificado en el registro nacional. Nombres inventados con fines demostrativos; cualquier referencia a personas reales es pura coincidencia.