Training and Adaptation of Large Language Models (LLMs) for Entity Resolution on Heterogeneous and Incomplete Data

Εκπαίδευση και Προσαρμογή Μεγάλων Γλωσσικών Μοντέλων (LLMs) για Ανάλυση Οντοτήτων σε Ετερογενή και Ελλιπή Δεδομένα (greek)

  1. MSc thesis
  2. ΘΕΟΦΙΛΟΣ ΣΑΒΒΙΔΗΣ
  3. Μεταπτυχιακή Εξειδίκευση στα Πληροφοριακά Συστήματα (ΠΛΣ)
  4. 27 September 2026
  5. Αγγλικά
  6. 110
  7. Δημήτριος Καραπιπέρης
  8. Γεώργιος Παπαμιχαήλ | Γρηγόριος Μπεληγιάννης
  9. Entity Resolution · Large Language Models · Hard Negatives · Negative Sampling · Cross-Encoders · Rerankers · Benchmark Inflation · In-Context Learning · Chain-of-Thought · Overconfidence Miscalibration · Context Overload · HNSW Indexing · Ablation Study
  10. Master in Information Systems (PLS)
  11. 54
  12. Περιλαμβάνει: Πίνακες, Διαγράμματα, Βιβλιογραφικές αναφορές.
    • Entity Resolution (ER), the task of identifying records that refer to the same real-world entity across heterogeneous data sources, remains a fundamental challenge in data integration [1, 2]. While transformer-based cross-encoders have established strong supervised baselines [3, 9], the emergence of generative Large Language Models (LLMs) has raised the question of whether zero-shot and few-shot prompting can serve as a viable alternative [4, 5].

      A persistent methodological flaw in current benchmarking is the reliance on random negative sampling, which produces obviously easy non-matching pairs and artificially inflates model performance [6]. This thesis addresses that flaw by constructing an evaluation pipeline built exclusively on hard negatives: semantically confusing non-matching pairs isolated via a Hierarchical Navigable Small-World (HNSW) graph index [7, 14, 43, 50]. Four benchmark datasets covering e-commerce and bibliographic domains are evaluated under two complementary experimental protocols, both of which operate exclusively at the boundary of semantic ambiguity.

      The first protocol benchmarks a fine-tuned BERT cross-encoder [3, 9] against LLaMA 3 [10], Mistral 7B [11] and Gemma 7B [28] across four prompting strategies: zero-shot, few-shot (up to eight shots), Chain-of-Thought [12, 17] and confidence elicitation [13, 19]. The supervised baseline achieves F1 scores between 69.6 % and 98.3 % depending on domain, and no generative configuration surpasses it on any dataset. Generative models reveal systematic behavioural pathologies including a strong positive test strategy (“Yes-Man” phenomenon), prompt brittleness under structured reasoning [12], overconfidence miscalibration [13] and context overload at extended prompt lengths, while operating 2,612 times more slowly than the discriminative baseline.

      The second protocol isolates the contribution of the training data itself. Six cross-encoder architectures [31, 32, 34, 35, 36, 37] are fine-tuned across two negative sampling regimes and four datasets, forty-eight configurations in total, and supplemented by two specialised reranking architectures [44, 45, 46] evaluated with and without task-specific adaptation. A controlled ablation establishes that replacing randomly sampled negatives with HNSW-mined hard negatives is worth between 10.86 and 31.53 F1 points, an order of magnitude more than the choice among the leading architectures, which accounts for under two points. A direct measurement of benchmark inflation shows that identical model weights report F1 scores 0.57 to 14.80 points higher when the evaluation set is constructed with random rather than hard negatives, quantifying a measurement bias present throughout the published literature. The findings are validated by twenty-four additional training runs under a substituted blocking encoder, by a seed-stability analysis establishing a measurement variance of ± 1.47 points, and by a cross-protocol bridge in which a shared architecture reproduces its score to within 0.35 points across both protocols.

      Taken together, the two protocols support a single mechanistic account: the affirmative bias observed in unadapted generative models and the precision collapse observed in cross-encoders trained on random negatives are the same phenomenon — the signature of a decision boundary never constrained from the negative side — and both are remedied by hard-negative supervision rather than by increased model scale.

    • Η Ανάλυση Οντοτήτων (Entity Resolution — ER), δηλαδή το έργο της ταυτοποίησης εγγραφών που αναφέρονται στην ίδια οντότητα σε ετερογενείς πηγές δεδομένων, παραμένει μια θεμελιώδης πρόκληση στην ενοποίηση δεδομένων. Ενώ οι Cross-Encoders που βασίζονται στην αρχιτεκτονική Transformer έχουν καθιερώσει ισχυρά εποπτευόμενα πρότυπα, η εμφάνιση των παραγωγικών Μεγάλων Γλωσσικών Μοντέλων (LLMs) έχει εγείρει το ερώτημα εάν η καθοδήγηση μηδενικών ή ελάχιστων παραδειγμάτων μπορεί να αποτελέσει βιώσιμη εναλλακτική λύση.

      Μια επίμονη μεθοδολογική αδυναμία στη σύγχρονη βιβλιογραφία είναι η εξάρτηση από την τυχαία δειγματοληψία αρνητικών ζευγών, η οποία παράγει προφανώς εύκολα μη ταιριαστά ζεύγη και διογκώνει τεχνητά την απόδοση των μοντέλων. Η παρούσα εργασία αντιμετωπίζει αυτή την αδυναμία κατασκευάζοντας μια ροή αξιολόγησης βασισμένη αποκλειστικά σε σκληρά αρνητικά (hard negatives): σημασιολογικά μπερδεμένα μη ταιριαστά ζεύγη που απομονώνονται μέσω ευρετηρίου HNSW. Τέσσερα σύνολα δεδομένων από εμπορικούς και βιβλιογραφικούς τομείς αξιολογούνται μέσω δύο συμπληρωματικών πειραματικών πρωτοκόλλων, καθένα από τα οποία λειτουργεί αποκλειστικά στα όρια της σημασιολογικής ασάφειας.

      Το πρώτο πρωτόκολλο συγκρίνει έναν ρυθμισμένο BERT Cross-Encoder με τα LLaMA 3, Mistral 7B και Gemma 7B σε τέσσερις στρατηγικές προτροπών: zero-shot, few-shot, Chain-of-Thought και εξαγωγή εμπιστοσύνης. Το εποπτευόμενο μοντέλο επιτυγχάνει F1 μεταξύ 69,6 % και 98,3 % ανάλογα με τον τομέα, και καμία παραγωγική διάταξη δεν το ξεπερνά σε κανένα dataset. Τα παραγωγικά μοντέλα αποκαλύπτουν συστηματικές συμπεριφορικές παθολογίες — φαινόμενο απόλυτης συγκατάβασης, ευθραυστότητα στη δομημένη συλλογιστική, υπερβολική σιγουριά σε λανθασμένες προβλέψεις και υπερφόρτωση πλαισίου — ενώ λειτουργούν 2.612 φορές πιο αργά από το διακριτικό πρότυπο.

      Το δεύτερο πρωτόκολλο απομονώνει τη συνεισφορά των ίδιων των δεδομένων εκπαίδευσης. Έξι αρχιτεκτονικές Cross-Encoder εκπαιδεύονται σε δύο καθεστώτα αρνητικής δειγματοληψίας και τέσσερα datasets — σαράντα οκτώ διατάξεις συνολικά — και συμπληρώνονται από δύο εξειδικευμένες αρχιτεκτονικές επανακατάταξης (rerankers) που αξιολογούνται με και χωρίς προσαρμογή στο task. Μια ελεγχόμενη μελέτη απομόνωσης (ablation) αποδεικνύει ότι η αντικατάσταση των τυχαία δειγματοληπτημένων αρνητικών με σκληρά αρνητικά αξίζει από 10,86 έως 31,53 μονάδες F1 — μία τάξη μεγέθους περισσότερο από την επιλογή μεταξύ των κορυφαίων αρχιτεκτονικών, η οποία αξίζει λιγότερο από δύο μονάδες. Μια άμεση μέτρηση της διόγκωσης των benchmarks δείχνει ότι τα ίδια ακριβώς βάρη μοντέλου αναφέρουν F1 υψηλότερο κατά 0,57 έως 14,80 μονάδες όταν το σύνολο αξιολόγησης κατασκευάζεται με τυχαία αντί για σκληρά αρνητικά, ποσοτικοποιώντας μια μεροληψία μέτρησης που διαπερνά τη δημοσιευμένη βιβλιογραφία. Τα ευρήματα επικυρώνονται από είκοσι τέσσερις επιπλέον εκπαιδεύσεις με διαφορετικό μοντέλο blocking, από ανάλυση ευστάθειας που εγκαθιδρύει διακύμανση μέτρησης ± 1,47 μονάδων, και από γέφυρα διασταυρούμενου πρωτοκόλλου όπου κοινή αρχιτεκτονική αναπαράγει την επίδοσή της εντός 0,35 μονάδων.

      Συνολικά, τα δύο πρωτόκολλα στηρίζουν μία ενιαία μηχανιστική ερμηνεία: η καταφατική μεροληψία των μη προσαρμοσμένων παραγωγικών μοντέλων και η κατάρρευση της ακρίβειας των Cross-Encoders που εκπαιδεύονται σε τυχαία αρνητικά αποτελούν το ίδιο φαινόμενο — την υπογραφή ενός ορίου απόφασης που δεν περιορίστηκε ποτέ από την αρνητική πλευρά — και αμφότερα θεραπεύονται με εποπτεία σκληρών αρνητικών και όχι με αύξηση του μεγέθους του μοντέλου.

  13. Hellenic Open University
  14. Attribution-NonCommercial-NoDerivatives 4.0 Διεθνές