Dublettenbereinigung:
zwei Datensätze, eine Person.
Dubletten finden, auch wenn sie unterschiedlich geschrieben sind: ein Beispiel mit Adressen aus Deutschland, zwei Datensätze und die Begründung, warum es dieselbe Person ist.
Jeden Monat kostenlos: 50 Adressprüfungen, 100 Datensätze für die Dublettensuche und 500 Prüfungen von E-Mail-Adressen und Telefonnummern. Wir fragen nur nach Name, E-Mail-Adresse und einem Passwort, keine Kreditkarte: kostenloses Konto erstellen oder anmelden.
Was die Dublettenbereinigung bringt
Eine Dublette ist die Geschichte einer Person, auseinandergerissen in zwei Datensätze. Führt man sie wieder zusammen, hat das vier konkrete Wirkungen.
Einmal antworten, mit allen Informationen
Wer antwortet, sieht einen Datensatz: Ist die Bestellung auf dem anderen erfasst, bekommt diese Person nichts – und merkt es. Mit einem einzigen Datensatz geht die Bestätigung immer raus, und die Mitteilung kommt einmal an, mit dem Namen in einer einzigen Schreibweise.
Jeder Umschlag zu viel ist verschwendetes Geld
Jede Dublette bedeutet Druck, Umschlag und Porto für eine Person, die Ihre Sendung schon erreicht hat. In einer großen Kampagne lassen sich diese Kosten am leichtesten einsparen, ohne einen einzigen Empfänger zu verlieren.
Die wertvollsten Kontakte erkennen
Wer dreimal unter dem einen Datensatz gekauft hat und zweimal unter dem anderen, erscheint in den Berichten als zwei lauwarme Kontakte. Werden die Datensätze zusammengeführt, erscheint diese Person als das, was sie ist, ein treuer Kunde, und es ändert sich, wen anzurufen sich lohnt, wem eine besondere Behandlung zusteht, wem man mehr anbieten sollte.
Die Zahlen stimmen wieder
Wie viele Kunden habe ich wirklich? Was ist ein Kontakt im Durchschnitt wert? Mit einem Bestand voller Dubletten ist jede Antwort aufgebläht, und die Entscheidungen, die darauf beruhen, sind von Anfang an verzerrt.
Woher Dubletten kommen
Es sind keine Flüchtigkeitsfehler: Dubletten entstehen in drei ganz gewöhnlichen Situationen, die sich in jedem wachsenden Datenbestand wiederholen.
Die Bestellung kommt herein, und es ist keine Zeit
Wer die Daten erfasst, hat einen Stapel Formulare abzuarbeiten (oder Überweisungsbelege, in einem Verein) und hält nicht inne, um zu prüfen, ob diese Person schon im Bestand ist. Einen neuen Datensatz anzulegen dauert dreißig Sekunden; ihn wirklich zu suchen, zwischen den Varianten von Name und Adresse, dauert viel länger.
Der Datensatz ist da, aber die Suche findet ihn nicht
Es ist der häufigste Fall und der am schwersten zu vermeidende: Der Datensatz existiert, ist aber ein klein wenig anders geschrieben, als man ihn sucht – „Mönckebergstraße 7“ gegen „Mönckebergstr. 7“. Die Suche liefert nichts, und der Datensatz wird in gutem Glauben neu angelegt.
Eine ganze Liste kommt herein
Anmeldungen über die Website, eine bei einer Veranstaltung gesammelte Liste, eine Datei von einem Lieferanten: Sie kommen als Block herein, ohne mit dem vorhandenen Bestand abgeglichen zu werden. Das passiert seltener als in den beiden anderen Fällen, aber wenn es passiert, kommen die Dubletten zu Hunderten.
Alle drei lösen sich auf dieselbe Weise: eine Prüfung des Bestands in regelmäßigen Abständen und eine vor jeder wichtigen Kampagne.
Erst die Adressen bereinigen, dann die Dubletten finden
Ein Vergleich Wort für Wort behandelt Andreas und Andi als zwei Personen und Mönckebergstr. 7 und Mönckebergstraße 7 als zwei Adressen, obwohl es dieselbe Person und dieselbe Adresse sind. Deshalb arbeiten wir in zwei Schritten: Erst bringen wir die beiden Adressen in Ordnung – Straßenname ausgeschrieben, Postleitzahl korrigiert, der richtige Ort – und erst dann vergleichen wir sie, zusammen mit Name, E-Mail und Telefon. Zwei Schreibweisen derselben Straße werden zur selben Straße, bevor der Vergleich beginnt.
Das Urteil hat drei Stufen – sicher, wahrscheinlich oder unklar – mit dem Grund daneben. In der bereinigten Datei sind sichere und wahrscheinliche Gruppen bereits zu einer einzigen Zeile zusammengeführt. Unklare Gruppen bleiben vollständig und kommen zu den zu prüfenden Zeilen: Zwei verschiedene Personen können in derselben Gemeinde denselben Namen haben, und dort entscheiden Sie.
Normalisierung, Dublettenerkennung, Dublettenbereinigung, Anreicherung
Vier verschiedene Vorgänge, die meist alle unter dem Wort „Bereinigung“ landen. Sie zu unterscheiden lohnt sich, denn einer ist die Voraussetzung des nächsten.
Adressnormalisierung
Jede Adresse auf eine einzige, korrekte Schreibweise bringen und ergänzen, was fehlt: die Postleitzahl, die Provinz, den ausgeschriebenen Straßennamen.
„Mönckebergstr. 7“ und „Mönckebergstraße 7“ werden zur selben Zeile.
Dublettenerkennung
Erkennen, dass zwei Datensätze denselben Kontakt meinen, auch wenn sie unterschiedlich geschrieben sind: „Mönckebergstr. 7“ und „Mönckebergstraße 7“, Nachname und Vorname vertauscht.
Sie kommt nach der Normalisierung: So vergleicht man Adressen, die bereits in der richtigen Form geschrieben sind.
Dublettenbereinigung
Entscheiden, was mit den gefundenen Dubletten geschieht: welcher Datensatz bleibt, welche Felder aus dem einen und welche aus dem anderen übernommen werden.
Der endgültige Datensatz übernimmt aus jedem Datensatz das beste Feld und hält fest, woher es stammt.
Anreicherung
Ergänzen, was fehlt oder sich aus dem Vorhandenen ableiten lässt: die Anrede aus dem Vornamen, den Titel, den Hausnummernzusatz, die Steuernummer.
Daten, die Ihr Bestand bereits implizit enthält.
Warum es zählt, über die Bereinigung hinaus: Wer denselben Brief zweimal bekommt, merkt es – und wer das Dankschreiben nicht bekommt, weil die Spende auf dem einen Datensatz erfasst war, während Sie auf den anderen geschaut haben, merkt es noch mehr.
Dublettenabgleich: Sie wählen die Genauigkeit, wir sagen, wie sicher wir sind
Die Gruppen bildet das System, und für jede gibt es an, mit welcher Sicherheit. Zwei Regler. Die Mindeststufe, also wie verschieden zwei Datensätze sein dürfen und trotzdem dasselbe Subjekt bleiben: drei Werte, Website und Dateiaufträge verwenden den Standardwert, in der API wählen Sie mit livello_minimo. Und die Genauigkeit, dieselbe Skala von 1 bis 5 wie bei der Adressprüfung, die hier auf den Nachnamen wirkt: bis 3 wird er Buchstabe für Buchstabe gelesen, bei 4 werden Datensätze mit dem Nachnamen mit oder ohne Leerzeichen („La Pera“, „Lapera“) einander zugeordnet, bei 5 auch solche mit gleich klingendem Nachnamen („Lepera“, „La Pera“); diese Gruppen erscheinen höchstens als mehrdeutig.
Streng
Name und Adresse stimmen nach der Normalisierung überein. Keine Gruppe, die Sie nicht auch von Hand gebildet hätten.
Standard
Varianten desselben Namens (Andi und Andreas), Abkürzungen und kleine Tippfehler kommen dazu. Es ist die Einstellung, mit der die meisten Aufträge laufen.
Großzügig
Auch die schwachen Verbindungen: dieselbe Adresse und ähnliche Namen. Findet mehr, und Sie müssen mehr ansehen.
Das Urteil, das zu jeder Gruppe zurückkommt – sicher, wahrscheinlich, unklar –, ist unsere Einstufung: Es sagt, wie solide die Gruppe ist, und bestimmt, was in der bereinigten Datei geschieht: Sichere und wahrscheinliche Gruppen sind dort zusammengeführt, unklare bleiben zur Prüfung.
Das Beste aus jedem Datensatz in einem einzigen
Wir nehmen aus jedem Datensatz das beste Feld und bauen daraus einen neuen: Auch die E-Mail, die nur in einem der beiden stand, landet im verbleibenden Datensatz.
| Feld | Datensatz A | Datensatz B | Datensatz, der bleibt |
|---|---|---|---|
| Name | Thomas Müller | T. Mueller | Thomas Müller die vollständigste Schreibweise |
| Adresse | Mönckebergstr. 7 | Mönckebergstraße 7 | Mönckebergstraße 7 aus dem vollständigeren Datensatz |
| Postleitzahl und Ort | 20095 Hamburg | D-20095 HAMBURG | 20095 HAMBURG in der Postform des Landes |
| — | t.mueller@example.com | t.mueller@example.com stand nur in B |
Hätten Sie A behalten, wäre die E-Mail verloren gewesen, bei B die vollständige Schreibweise des Namens. Der zusammengeführte Datensatz hat beides, und für jedes Feld bleibt festgehalten, aus welchem Datensatz es stammt: Sollte Sie die Zusammenführung eines Tages nicht überzeugen, wissen Sie genau, wo Sie ansetzen müssen.
Dubletten, die eine exakte Suche nicht findet
- Andi Müller=Andreas Müller gleichwertiger Name
- Müller Thomas=Thomas Müller Nachname und Vorname vertauscht
- mönckebergstr. 7=Mönckebergstraße 7 Abkürzung aufgelöst
- Müller Thomas, mönckebergstr. 7, hamburg=Thomas Müller, Mönckebergstraße 7, 20095 HAMBURG Adresse vor dem Vergleich in Ordnung gebracht
Wir erkennen auch einen Tippfehler im Vor- oder Nachnamen und weisen ihn als möglichen Schreibfehler aus.
Die Beispiele verwenden Adressen öffentlicher Gebäude und zentraler Straßen; die Namen, wo sie vorkommen, sind zu Demonstrationszwecken erfunden: jede Ähnlichkeit mit realen Personen ist rein zufällig.
Verwandte Fragen
- Wie bereinigt man die Adressdaten eines Kundenbestands?
- Wie finde und bereinige ich Dubletten, auch wenn sie unterschiedlich geschrieben sind?
- Excel findet die Duplikate nicht: Warum, und was tun?
Alle Fragen, mit der Antwort, unter Fragen und Antworten.