Fragen · Dublettenbereinigung

Wie finde und bereinige ich Dubletten, auch wenn sie unterschiedlich geschrieben sind?

Warum eine exakte Suche Dubletten nicht findet

Zwei Datensätze derselben Person sind fast nie gleich geschrieben. Wer sie eingegeben hat, hat abgekürzt, „ue“ statt „ü“ getippt, Nachname und Vorname vertauscht oder die Adresse mit der gerade bequemen Abkürzung geschrieben. Eine Suche, die Zeichenketten vergleicht, erkennt nichts davon: Für sie sind „Mönckebergstr. 7“ und „Mönckebergstraße 7“ zwei verschiedene Adressen, obwohl ein Zusteller sie als denselben Ort lesen würde.

Deshalb muss der Vergleich in zwei Schritten geschehen. Zuerst wird jede Adresse mit demselben System, das RadarAddress für die Normalisierung nutzt, in ihre korrekte Form gebracht: Straße ausgeschrieben, richtige Postleitzahl, Ort korrekt geschrieben. Erst wenn zwei Adressen in derselben Form sind, hat die Frage Sinn, ob sie übereinstimmen: Wer erst vergleicht und dann bereinigt, behält zwei Schreibweisen derselben Straße als zwei Adressen, und die Dublette bleibt unentdeckt.

Dasselbe gilt für den Namen: Wer „Müller“ sucht und erwartet, den Datensatz zu finden, der schon im Bestand ist, und der Datensatz existiert, lautet aber „Mueller Thomas“ statt „Thomas Müller“, findet ihn schlicht nicht. Die häufigste Folge ist ein neuer, in gutem Glauben angelegter Datensatz neben dem schon vorhandenen.

Was der Dublettenabgleich erkennt

• Abgekürzte Vornamen. „T.“ und „Thomas“, wenn der Rest des Datensatzes übereinstimmt.
• Umlaute und ß in beiden Schreibweisen. „Müller“ und „Mueller“, „Straße“ und „Strasse“: dieselbe Person, derselbe Ort.
• Nachname und Vorname vertauscht. „Müller Thomas“ und „Thomas Müller“ kommen fast immer aus einem Import mit vertauschten Spalten.
• Ein Tippfehler im Nachnamen. Ein kleiner Schreibfehler verhindert die Erkennung nicht, wenn der Rest des Datensatzes übereinstimmt.
• Der Titel vor dem Namen. „Dr. Anna Schmidt“ und „Anna Schmidt“ werden als dieselbe Person verglichen: Der Titel zählt im Urteil nicht.
• Die Abkürzungen der Straße, weil wir die Adressen vor dem Vergleich in Ordnung bringen.
• Der Ortsteil, der zu seiner Stadt gehört, wenn zwei Datensätze einen Stadtteil oder einen eingemeindeten Ort nennen, der nach dem Register zu derselben Gemeinde gehört.

Das Urteil: sicher, wahrscheinlich, unklar

Wenn zwei Datensätze nach der Bereinigung in allem übereinstimmen, lautet das Urteil sicher. Wenn ein abgekürzter Vorname oder eine andere Schreibweise ins Spiel kommt, ist es wahrscheinlich: fast immer richtig. Wenn die Verbindung schwach ist, zum Beispiel nur ähnliche Namen, ist die Gruppe unklar. Jede Gruppe trägt ihren Grund: Sie wissen immer, warum zwei Datensätze einander zugeordnet wurden.

Das Urteil bestimmt auch, was in der bereinigten Datei geschieht: Sichere und wahrscheinliche Gruppen sind dort bereits zu einer einzigen Zeile zusammengeführt, unklare bleiben vollständig und kommen zu den zu prüfenden Zeilen, wo Sie entscheiden.

Sie können auch wählen, wie weit der Vergleich gehen soll, von eng (nur übereinstimmender Name und Adresse) bis weit (auch die schwachen Verbindungen, die Sie sich dann ansehen). Die Voreinstellung, mit der die meisten Aufträge laufen, erkennt schon die Schreibvarianten der Namen, die Abkürzungen und die kleinen Tippfehler.

Der Hauptdatensatz übernimmt das Beste jeder Dublette

Stand die E-Mail-Adresse nur auf dem einen Datensatz und die Telefonnummer nur auf dem anderen, verlieren Sie mit einem einzigen eine Kontaktangabe. RadarAddress baut einen Hauptdatensatz, der aus jedem Datensatz das beste Feld nimmt, die Adresse aus dem vollständigsten, den Namen in seiner kanonischen Form, E-Mail und Telefon von dort, wo sie stehen, und bei jedem Feld bleibt vermerkt, aus welchem Datensatz es kommt.

Dublettenbereinigung auf der Website, per Datei oder per API

Auf der Website sehen Sie an einem Paar von Datensätzen, wie das Urteil aussieht: der schnellste Weg, zu verstehen, wie es funktioniert. Für einen ganzen Bestand laden Sie eine Datei hoch: Die Aufträge reichen bis 100.000 Datensätze, und am Ende laden Sie ein Zip herunter mit der bereinigten Datei, der Liste der zu entfernenden Dubletten, den Gruppen und den zu prüfenden Zeilen. Wer aus dem Code heraus arbeitet, hat den Endpunkt /api/v1/dedupe, der bis zu 500 Datensätze pro Aufruf vergleicht und bis zu 100.000 im asynchronen Modus, mit demselben Urteil sicher/wahrscheinlich/unklar und demselben Hauptdatensatz. Die Preise stehen auf der Preisseite: Bevor Sie einen Auftrag starten, sehen Sie immer, was er verbraucht, und die Vorgänge werden erst bei der Bestätigung abgebucht.

Zwei Datensätze, dieselbe Person

Der abgekürzte Vorname, „Müller“ neben „Mueller“ und die auf zwei Arten geschriebene Adresse werden erst erkannt, nachdem beide Adressen im nationalen Register geprüft und in ihre korrekte Form gebracht wurden. Der Name ist zu Demonstrationszwecken erfunden; jede Ähnlichkeit mit realen Personen ist rein zufällig.