Preguntas · Deduplicación

¿Cómo encuentro los duplicados en una base de datos, aunque estén escritos de forma distinta?

Por qué una búsqueda exacta no los encuentra

Dos fichas de la misma persona casi nunca están escritas igual. Quien las introdujo usó una abreviatura, escribió solo la inicial del nombre, invirtió apellidos y nombre, o escribió la dirección con la sigla cómoda del momento. Una búsqueda que compara cadenas de texto no reconoce nada de esto: para ella «Avda. de la Constitución 1» y «Avenida de la Constitución, 1» son dos direcciones distintas, aunque un cartero las leería como el mismo sitio.

Por eso la comparación se hace en dos tiempos, no en uno. Primero se lleva cada dirección a su forma correcta con el mismo motor que RadarAddress usa para la normalización: tipo de vía por extenso, código postal correcto, municipio bien escrito. Solo cuando dos direcciones están en la misma forma tiene sentido preguntarse si coinciden — comparar antes y arreglar después produce solo falsos negativos, porque la comparación sigue viendo dos grafías y no una sola dirección.

Lo mismo vale para el nombre: quien busca «García» esperando encontrar la ficha que ya está en la base de datos, y la ficha está pero a nombre de «Garcia A.» en vez de «Ana García», sencillamente no la encuentra. La consecuencia más común no es un error visible: es una ficha nueva abierta de buena fe, que se pone al lado de la que ya existía.

Qué reconoce la comparación

• El nombre abreviado o con la inicial. «A.» y «Ana» con el mismo apellido y la misma dirección, sin confundir a personas distintas.
• Apellidos y nombre invertidos. «García Ana» y «Ana García» llegan casi siempre de una importación con las columnas intercambiadas.
• Un acento que falta o una errata en el apellido. «Garcia» y «García», un pequeño error de tecleo: no impiden el reconocimiento si el resto de la ficha coincide.
• El tratamiento delante del nombre. «Dra. María López» y «María López» se comparan como la misma persona: el tratamiento no cuenta en el veredicto.
• Las abreviaturas de la vía, porque antes de comparar las direcciones las arreglamos.
• La localidad referida a su municipio, cuando dos fichas citan una pedanía o un núcleo que en el registro nacional pertenece al mismo municipio.

El veredicto: seguro, probable, ambiguo

No todos los duplicados son iguales. Cuando dos fichas coinciden en todo después del arreglo, el veredicto es seguro. Cuando entran en juego una inicial, una abreviatura o una errata, se queda en probable: casi siempre acertado, pero merece un vistazo. Cuando la relación es débil — por ejemplo nombres parecidos — el grupo es ambiguo, y la decisión de unir las fichas sigue siendo tuya. Cada grupo lleva consigo el motivo: sabes siempre por qué dos fichas se han puesto juntas.

También el nivel de búsqueda es tuyo, no solo la lectura del resultado: puedes elegir lo amplia que tiene que ser la comparación, de la estricta (solo nombre y dirección que coinciden) a la más amplia (también las relaciones débiles, que después miras tú). La configuración predeterminada, con la que corren la mayoría de los trabajos, reconoce ya las variantes de los nombres, las abreviaturas y las pequeñas erratas.

La ficha principal: el duplicado no se tira, se fusiona

Descartar una de las dos fichas es la opción más cómoda y la que más cuesta: si el email estaba solo en una y el teléfono solo en la otra, quedándote con una sola pierdes el otro dato de contacto. RadarAddress construye una ficha principal tomando de cada una el mejor campo — la dirección de la ficha más completa, el nombre en su forma canónica, email y teléfono de donde estén — y en cada campo queda escrito de qué ficha viene, así puedes comprobar de dónde sale cada información.

Dónde lo haces: desde el sitio, desde un archivo, desde la API

En el sitio ves el ejemplo español ya resuelto y, con una cuenta gratuita, comparas dos o tres fichas cada vez y ves enseguida el veredicto: es la manera más rápida de entender cómo funciona o de comprobar un caso dudoso antes de subir la base de datos entera. Para una base de datos entera subes un archivo: los trabajos por lotes llegan hasta 100.000 fichas, y al terminar encuentras la columna con la ficha que hay que conservar y el grupo al que pertenece cada fila. Si trabajas desde código, el endpoint /api/v1/dedupe compara hasta 500 fichas por llamada, con el mismo veredicto seguro/probable/ambiguo y la misma ficha principal fusionada. La lista de precios está en la página de precios: antes de lanzar un trabajo por lotes ves siempre lo que supone, y el crédito se descuenta solo al confirmar.

Dos fichas, la misma persona

La inicial en vez del nombre, el acento que falta y la dirección escrita de dos maneras se reconocen solo después de que las dos direcciones se han arreglado en su forma correcta y verificado en el registro nacional. Nombres inventados con fines demostrativos; cualquier referencia a personas reales es pura coincidencia.