Ερωτήσεις · Αφαίρεση διπλοεγγραφών

Πώς βρίσκω τις διπλοεγγραφές σε ένα αρχείο πελατών, ακόμη κι αν είναι γραμμένες διαφορετικά;

Γιατί μια ακριβής αναζήτηση δεν βρίσκει τα διπλότυπα

Δύο εγγραφές του ίδιου προσώπου σχεδόν ποτέ δεν είναι γραμμένες ίδια. Όποιος τις καταχώρισε χρησιμοποίησε μια συντομογραφία, ένα υποκοριστικό, αντέστρεψε επώνυμο και όνομα, ή έγραψε τη διεύθυνση με τη βολική συντόμευση της στιγμής. Μια αναζήτηση που συγκρίνει συμβολοσειρές δεν αναγνωρίζει τίποτα από όλα αυτά: για εκείνη «Λεωφ. Συγγρού 364» και «Λεωφόρος Συγγρού, 364» είναι δύο διαφορετικές διευθύνσεις, παρόλο που ένας ταχυδρόμος θα τις διάβαζε ως το ίδιο μέρος.

Γι' αυτό η σύγκριση πρέπει να γίνεται σε δύο χρόνους. Πρώτα κάθε διεύθυνση φέρνεται στη σωστή της μορφή με την ίδια μηχανή που χρησιμοποιεί το RadarAddress για την κανονικοποίηση: οδός ολογράφως, ταχυδρομικός κώδικας «176 74», πόλη γραμμένη σωστά. Για την Ελλάδα, όπου δεν υπάρχει ακόμη εθνικό μητρώο διευθύνσεων σε λειτουργία, η σύγκριση γίνεται με βάση αυτή τη μορφή, και το αποτέλεσμα το σημειώνει· στις χώρες με μητρώο σε λειτουργία η διεύθυνση επαληθεύεται κιόλας πριν από τη σύγκριση. Μόνο όταν δύο διευθύνσεις είναι στην ίδια μορφή έχει νόημα να αναρωτηθεί κανείς αν συμπίπτουν. Αν η σύγκριση γίνει πριν από την τακτοποίηση, δύο γραφές της ίδιας οδού μένουν δύο διευθύνσεις και η διπλοεγγραφή ξεφεύγει.

Το ίδιο ισχύει για το όνομα: όποιος ψάχνει «Παπαδόπουλος» περιμένοντας να βρει την εγγραφή που υπάρχει ήδη στο αρχείο, και η εγγραφή υπάρχει αλλά είναι γραμμένη «Γιώργος Παπαδόπουλος» αντί για «Παπαδόπουλος Γιώργος», απλώς δεν τη βρίσκει. Η πιο συνηθισμένη συνέπεια είναι μια νέα εγγραφή που ανοίγει καλή τη πίστει, δίπλα σε αυτή που υπήρχε ήδη.

Τι αναγνωρίζει η σύγκριση

• Ισοδύναμα ονόματα. Γιώργος και Γεώργιος, Κώστας και Κωνσταντίνος, «Γ.» και Γιώργος όταν το υπόλοιπο συμπίπτει, χωρίς να μπερδεύονται διαφορετικά πρόσωπα.
• Επώνυμο και όνομα αντεστραμμένα. «Παπαδόπουλος Γιώργος» και «Γιώργος Παπαδόπουλος» έρχονται σχεδόν πάντα από μια εισαγωγή με τις στήλες ανταλλαγμένες.
• Κεφαλαία, τόνοι και λατινικοί χαρακτήρες. «ΠΑΠΑΔΟΠΟΥΛΟΣ», «Παπαδόπουλος» και «Papadopoulos» συγκρίνονται ως το ίδιο επώνυμο· τα ονόματα που μπαίνουν με λατινικούς χαρακτήρες επιστρέφουν στα ελληνικά.
• Ένα τυπογραφικό λάθος στο επώνυμο. Ένα μικρό λάθος πληκτρολόγησης δεν εμποδίζει την αναγνώριση, αν το υπόλοιπο της εγγραφής συμπίπτει.
• Ο τίτλος μπροστά από το όνομα. «Δρ Μαρία Οικονόμου» και «Μαρία Οικονόμου» συγκρίνονται ως το ίδιο πρόσωπο: ο τίτλος δεν μετράει στην ετυμηγορία.
• Οι συντομογραφίες της οδού, γιατί πριν συγκρίνουμε τις διευθύνσεις τις τακτοποιούμε.
• Τηλέφωνο και email. Το ίδιο κινητό ή το ίδιο προσωπικό email με το ίδιο ονοματεπώνυμο φέρνει τις δύο εγγραφές κοντά, ακόμη κι αν οι διευθύνσεις διαφέρουν.

Η ετυμηγορία: βέβαιη, πιθανή, αμφίβολη

Όταν δύο εγγραφές συμπίπτουν σε όλα μετά την τακτοποίηση, η ετυμηγορία είναι βέβαιη. Όταν μπαίνει στη μέση ένα ισοδύναμο όνομα ή μια συντομογραφία, είναι πιθανή: σχεδόν πάντα σωστή. Όταν η σύνδεση είναι αδύναμη — για παράδειγμα παρόμοια ονόματα — η ομάδα είναι αμφίβολη. Κάθε ομάδα φέρει μαζί της την αιτία: ξέρετε πάντα γιατί δύο εγγραφές τοποθετήθηκαν κοντά.

Η ετυμηγορία καθορίζει και τι συμβαίνει στο καθαρό αρχείο: οι βέβαιες και οι πιθανές ομάδες βγαίνουν ήδη ενωμένες σε μία γραμμή, οι αμφίβολες μένουν ακέραιες και πηγαίνουν στις γραμμές προς έλεγχο, όπου αποφασίζετε εσείς.

Μπορείτε επίσης να επιλέξετε πόσο πλατιά πρέπει να είναι η σύγκριση, από τη στενή (μόνο ονοματεπώνυμο και διεύθυνση που συμπίπτουν) έως την πιο εκτεταμένη (και οι αδύναμες συνδέσεις, που έπειτα κοιτάτε εσείς). Η προεπιλεγμένη ρύθμιση, με την οποία τρέχουν οι περισσότερες εργασίες, αναγνωρίζει ήδη τις παραλλαγές των ονομάτων, τις συντομογραφίες και τα μικρά τυπογραφικά λάθη.

Η κύρια εγγραφή παίρνει το καλύτερο από κάθε διπλοεγγραφή

Αν το email υπήρχε μόνο στη μία εγγραφή και το τηλέφωνο μόνο στην άλλη, κρατώντας μόνο μία χάνετε ένα στοιχείο επικοινωνίας. Το RadarAddress χτίζει μια κύρια εγγραφή παίρνοντας από καθεμία το καλύτερο πεδίο — τη διεύθυνση από την πληρέστερη εγγραφή, το όνομα στην κανονική του μορφή, email και τηλέφωνο από όπου υπάρχουν — και για κάθε πεδίο μένει γραμμένο από ποια εγγραφή προέρχεται.

Αφαίρεση διπλοεγγραφών από τον ιστότοπο, από αρχείο ή μέσω API

Από τον ιστότοπο συγκρίνετε δύο ή τρεις εγγραφές τη φορά και βλέπετε αμέσως την ετυμηγορία: είναι ο πιο γρήγορος τρόπος να καταλάβετε πώς λειτουργεί ή να ελέγξετε μια αμφίβολη περίπτωση πριν ανεβάσετε ολόκληρο το αρχείο. Για ολόκληρο αρχείο ανεβάζετε ένα αρχείο: οι μαζικές εργασίες φτάνουν έως 100.000 εγγραφές, και στο τέλος κατεβάζετε ένα zip με το καθαρό αρχείο, τη λίστα των διπλοεγγραφών προς αφαίρεση, τις ομάδες και τις γραμμές προς έλεγχο. Αν δουλεύετε με κώδικα, το endpoint /api/v1/dedupe συγκρίνει έως 500 εγγραφές ανά κλήση, και έως 100.000 σε ασύγχρονη λειτουργία, με την ίδια ετυμηγορία βέβαιη/πιθανή/αμφίβολη και την ίδια κύρια εγγραφή. Ο τιμοκατάλογος βρίσκεται στη σελίδα τιμών: πριν ξεκινήσετε μια μαζική εργασία βλέπετε πάντα τι συνεπάγεται, και οι επεξεργασίες αφαιρούνται μόνο κατά την επιβεβαίωση.

Δύο εγγραφές, το ίδιο πρόσωπο

Ίδιο επώνυμο, ισοδύναμο όνομα (Γ. ≈ Γιώργος), ίδια διεύθυνση: η συντομογραφία και ο ταχυδρομικός κώδικας γραμμένος με δύο τρόπους αναγνωρίζονται μόνο αφού και οι δύο διευθύνσεις έχουν τακτοποιηθεί στη σωστή τους μορφή. Οι εγγραφές συγκρίθηκαν με βάση τη μορφή της διεύθυνσης, γιατί για την Ελλάδα δεν υπάρχει ακόμη μητρώο διευθύνσεων σε λειτουργία. Το ονοματεπώνυμο είναι επινοημένο για λόγους επίδειξης· κάθε αναφορά σε πραγματικά πρόσωπα είναι εντελώς συμπτωματική.