Ερωτήσεις · Αφαίρεση διπλοεγγραφών

Πώς βρίσκω τις διπλοεγγραφές σε ένα αρχείο, ακόμη κι αν είναι γραμμένες διαφορετικά;

Γιατί μια ακριβής αναζήτηση δεν τις βρίσκει

Δύο εγγραφές του ίδιου προσώπου σχεδόν ποτέ δεν είναι γραμμένες ίδια. Όποιος τις καταχώρισε χρησιμοποίησε μια συντομογραφία, ένα υποκοριστικό, αντέστρεψε επώνυμο και όνομα, ή έγραψε τη διεύθυνση με τη βολική συντόμευση της στιγμής. Μια αναζήτηση που συγκρίνει συμβολοσειρές δεν αναγνωρίζει τίποτα από όλα αυτά: για εκείνη «Λεωφ. Συγγρού 364» και «Λεωφόρος Συγγρού, 364» είναι δύο διαφορετικές διευθύνσεις, παρόλο που ένας ταχυδρόμος θα τις διάβαζε ως το ίδιο μέρος.

Γι' αυτό η σύγκριση πρέπει να γίνεται σε δύο χρόνους, όχι σε έναν. Πρώτα κάθε διεύθυνση φέρνεται στη σωστή της μορφή με την ίδια μηχανή που χρησιμοποιεί το RadarAddress για την κανονικοποίηση: οδός ολογράφως, ταχυδρομικός κώδικας «176 74», πόλη γραμμένη σωστά. Για την Ελλάδα, όπου δεν υπάρχει ακόμη εθνικό μητρώο διευθύνσεων σε λειτουργία, η σύγκριση γίνεται με βάση αυτή τη μορφή, και το αποτέλεσμα το σημειώνει· στις χώρες με μητρώο σε λειτουργία η διεύθυνση επαληθεύεται κιόλας πριν από τη σύγκριση. Μόνο όταν δύο διευθύνσεις είναι στην ίδια μορφή έχει νόημα να αναρωτηθεί κανείς αν συμπίπτουν — η σύγκριση πριν από την τακτοποίηση παράγει μόνο ψευδώς αρνητικά, γιατί συνεχίζει να βλέπει δύο γραφές και όχι μία διεύθυνση.

Το ίδιο ισχύει για το όνομα: όποιος ψάχνει «Παπαδόπουλος» περιμένοντας να βρει την εγγραφή που υπάρχει ήδη στο αρχείο, και η εγγραφή υπάρχει αλλά είναι γραμμένη «Γιώργος Παπαδόπουλος» αντί για «Παπαδόπουλος Γιώργος», απλώς δεν τη βρίσκει. Η πιο συνηθισμένη συνέπεια δεν είναι ένα ορατό λάθος: είναι μια νέα εγγραφή που ανοίγει καλή τη πίστει, δίπλα σε αυτή που υπήρχε ήδη.

Τι αναγνωρίζει η σύγκριση

• Ισοδύναμα ονόματα. Γιώργος και Γεώργιος, Κώστας και Κωνσταντίνος, «Γ.» και Γιώργος όταν το υπόλοιπο συμπίπτει, χωρίς να μπερδεύονται διαφορετικά πρόσωπα.
• Επώνυμο και όνομα αντεστραμμένα. «Παπαδόπουλος Γιώργος» και «Γιώργος Παπαδόπουλος» έρχονται σχεδόν πάντα από μια εισαγωγή με τις στήλες ανταλλαγμένες.
• Κεφαλαία, τόνοι και λατινικοί χαρακτήρες. «ΠΑΠΑΔΟΠΟΥΛΟΣ», «Παπαδόπουλος» και «Papadopoulos» συγκρίνονται ως το ίδιο επώνυμο· τα ονόματα που μπαίνουν με λατινικούς χαρακτήρες επιστρέφουν στα ελληνικά.
• Ένα τυπογραφικό λάθος στο επώνυμο. Ένα μικρό λάθος πληκτρολόγησης δεν εμποδίζει την αναγνώριση, αν το υπόλοιπο της εγγραφής συμπίπτει.
• Ο τίτλος μπροστά από το όνομα. «Δρ Μαρία Οικονόμου» και «Μαρία Οικονόμου» συγκρίνονται ως το ίδιο πρόσωπο: ο τίτλος δεν μετράει στην ετυμηγορία.
• Οι συντομογραφίες της οδού, γιατί πριν συγκρίνουμε τις διευθύνσεις τις τακτοποιούμε.
• Τηλέφωνο και email. Το ίδιο κινητό ή το ίδιο προσωπικό email με το ίδιο ονοματεπώνυμο φέρνει τις δύο εγγραφές κοντά, ακόμη κι αν οι διευθύνσεις διαφέρουν.

Η ετυμηγορία: βέβαιη, πιθανή, αμφίβολη

Δεν είναι όλες οι διπλοεγγραφές ίδιες. Όταν δύο εγγραφές συμπίπτουν σε όλα μετά την τακτοποίηση, η ετυμηγορία είναι βέβαιη. Όταν μπαίνει στη μέση ένα ισοδύναμο όνομα ή μια συντομογραφία, μένει πιθανή: σχεδόν πάντα σωστή, αλλά αξίζει μια ματιά. Όταν η σύνδεση είναι αδύναμη — για παράδειγμα παρόμοια ονόματα — η ομάδα είναι αμφίβολη, και η απόφαση να ενωθούν οι εγγραφές μένει δική σας. Κάθε ομάδα φέρει μαζί της την αιτία: ξέρετε πάντα γιατί δύο εγγραφές τοποθετήθηκαν κοντά.

Και το επίπεδο της αναζήτησης είναι δικό σας, όχι μόνο η ανάγνωση του αποτελέσματος: μπορείτε να επιλέξετε πόσο πλατιά πρέπει να είναι η σύγκριση, από τη στενή (μόνο ονοματεπώνυμο και διεύθυνση που συμπίπτουν) έως την πιο εκτεταμένη (και οι αδύναμες συνδέσεις, που έπειτα κοιτάτε εσείς). Η προεπιλεγμένη ρύθμιση, με την οποία τρέχουν οι περισσότερες εργασίες, αναγνωρίζει ήδη τις παραλλαγές των ονομάτων, τις συντομογραφίες και τα μικρά τυπογραφικά λάθη.

Η κύρια εγγραφή: η διπλοεγγραφή δεν πετιέται, συγχωνεύεται

Να απορρίψεις τη μία από τις δύο εγγραφές είναι η πιο βολική επιλογή και αυτή που κοστίζει περισσότερο: αν το email υπήρχε μόνο στη μία και το τηλέφωνο μόνο στην άλλη, κρατώντας μόνο μία χάνετε το άλλο στοιχείο επικοινωνίας. Το RadarAddress χτίζει μια κύρια εγγραφή παίρνοντας από καθεμία το καλύτερο πεδίο — τη διεύθυνση από την πληρέστερη εγγραφή, το όνομα στην κανονική του μορφή, email και τηλέφωνο από όπου υπάρχουν — και για κάθε πεδίο μένει γραμμένο από ποια εγγραφή προέρχεται, ώστε να μπορείτε να ελέγξετε από πού έρχεται κάθε πληροφορία.

Πού το κάνετε: από τον ιστότοπο, από αρχείο, από το API

Από τον ιστότοπο συγκρίνετε δύο ή τρεις εγγραφές τη φορά και βλέπετε αμέσως την ετυμηγορία: είναι ο πιο γρήγορος τρόπος να καταλάβετε πώς λειτουργεί ή να ελέγξετε μια αμφίβολη περίπτωση πριν ανεβάσετε ολόκληρο το αρχείο. Για ολόκληρο αρχείο ανεβάζετε ένα αρχείο: οι μαζικές εργασίες φτάνουν έως 100.000 εγγραφές, και στο τέλος βρίσκετε τη στήλη με την εγγραφή που πρέπει να κρατηθεί και την ομάδα στην οποία ανήκει κάθε γραμμή. Αν δουλεύετε με κώδικα, το endpoint /api/v1/dedupe συγκρίνει έως 500 εγγραφές ανά κλήση, με την ίδια ετυμηγορία βέβαιη/πιθανή/αμφίβολη και την ίδια συγχωνευμένη κύρια εγγραφή. Ο τιμοκατάλογος βρίσκεται στη σελίδα τιμών: πριν ξεκινήσετε μια μαζική εργασία βλέπετε πάντα τι συνεπάγεται, και οι μονάδες αφαιρούνται μόνο κατά την επιβεβαίωση.

Δύο εγγραφές, το ίδιο πρόσωπο

Ίδιο επώνυμο, ισοδύναμο όνομα (Γ. ≈ Γιώργος), ίδια διεύθυνση: η συντομογραφία και ο ταχυδρομικός κώδικας γραμμένος με δύο τρόπους αναγνωρίζονται μόνο αφού και οι δύο διευθύνσεις έχουν τακτοποιηθεί στη σωστή τους μορφή. Οι εγγραφές συγκρίθηκαν με βάση τη μορφή της διεύθυνσης, γιατί για την Ελλάδα δεν υπάρχει ακόμη μητρώο διευθύνσεων σε λειτουργία. Το ονοματεπώνυμο είναι επινοημένο για λόγους επίδειξης· κάθε αναφορά σε πραγματικά πρόσωπα είναι εντελώς συμπτωματική.