Entity resolution — the task of determining whether two data representations refer to the same real-world entity — is a fundamental problem in data integration. In the retail domain, a critical instance of this problem arises when matching noisy OCR text extracted from purchase receipts to canonical product entries in a structured catalog. Current production systems rely predominantly on text-based fuzzy matching techniques such as BM25 and Elasticsearch, which struggle with abbreviated, misspelled, or truncated receipt text commonly produced by optical character recognition.

This thesis investigates whether a multimodal approach that combines textual and visual information can improve entity resolution accuracy for retail receipt line items. We propose a contrastive learning framework that encodes receipt items (OCR text and/or line-item image crops) and catalog products into a shared embedding space, enabling matching via nearest-neighbor retrieval. We systematically compare ten experimental configurations spanning five categories: (i) statistical text baselines (TF-IDF, BM25), (ii) a commercial API baseline (OpenAI text-embedding-3-small), (iii) neural text-only models (GreekBERT, mMiniLM), (iv) image-only models (DiT), and (v) multimodal models with three fusion strategies — early, late, and hybrid — plus an integrated vision-language model (LayoutLMv3).

Experiments are conducted on a real-world dataset of receipt line items from a major Greek supermarket chain, restricted to the food product category. The dataset includes OCR text, numerical attributes, ground-truth product mappings verified by human operators, and cropped line-item images. All data are anonymized and no personally identifiable information is used.

Results on text-only models demonstrate that contrastive fine-tuning of GreekBERT achieves an MRR of 0.9834 and Hit Rate@1 of 97.3%, outperforming the best statistical baseline (TF-IDF, MRR=0.8126) by +17.1 percentage points and the commercial OpenAI text-embedding-3-small API (MRR=0.7683) by +21.5 percentage points. The multilingual mMiniLM achieves MRR=0.9761, confirming that domain-specific fine-tuning provides larger gains than language-specific pre-training. A probe experiment combining text with receipt line-item image features (DiT, late fusion) showed no meaningful improvement (+0.09pp MRR), demonstrating that visual information does not carry additional discriminative power for this task due to the uniform visual appearance of receipt text. This finding has practical value: near-optimal matching accuracy is achievable with text-only models, without the complexity of image processing pipelines.

The contributions of this work are: (1) a systematic empirical comparison of unimodal vs. multimodal entity resolution on real retail receipt data, (2) an evaluation of three fusion strategies under identical conditions, (3) application to the under-represented Greek language, and (4) practical insights for improving production receipt-matching systems.

Η αντιστοίχιση οντοτήτων (entity resolution) — η διαδικασία αναγνώρισης ότι δύο αναπαραστάσεις δεδομένων αναφέρονται στην ίδια οντότητα του πραγματικού κόσμου — αποτελεί θεμελιώδες πρόβλημα στην ενοποίηση δεδομένων. Στον τομέα του λιανικού εμπορίου, μια κρίσιμη εκδοχή αυτού του προβλήματος προκύπτει κατά την αντιστοίχιση θορυβώδους κειμένου OCR, που εξάγεται από αποδείξεις αγορών, με κανονικές εγγραφές προϊόντων σε δομημένο κατάλογο.

Η παρούσα διπλωματική εργασία διερευνά κατά πόσον μια πολυτροπική προσέγγιση που συνδυάζει κειμενική και οπτική πληροφορία μπορεί να βελτιώσει την ακρίβεια αντιστοίχισης γραμμών αποδείξεων σε προϊόντα. Προτείνεται ένα πλαίσιο αντιπαραβολικής μάθησης (contrastive learning) που κωδικοποιεί γραμμές αποδείξεων και προϊόντα καταλόγου σε κοινό χώρο αναπαράστασης. Συγκρίνονται συστηματικά δέκα πειραματικές διαμορφώσεις: στατιστικές βασικές γραμμές (TF-IDF, BM25), εμπορικό API (OpenAI text-embedding-3-small), νευρωνικά κειμενικά μοντέλα (GreekBERT, mMiniLM), μοντέλο εικόνας (DiT), και πολυτροπικά μοντέλα με τρεις στρατηγικές σύντηξης, καθώς και το ενοποιημένο μοντέλο LayoutLMv3.

Τα αποτελέσματα δείχνουν ότι η αντιπαραβολική εκπαίδευση του GreekBERT επιτυγχάνει MRR 0,9834 και Hit Rate@1 97,3%, ξεπερνώντας τη βέλτιστη στατιστική βασική γραμμή (TF-IDF, MRR=0,8126) κατά +17,1 ποσοστιαίες μονάδες και το εμπορικό API της OpenAI (MRR=0,7683) κατά +21,5 μονάδες. Το πολύγλωσσο mMiniLM επιτυγχάνει MRR=0,9761, επιβεβαιώνοντας ότι η εξειδικευμένη εκπαίδευση υπερτερεί της γλωσσοειδικής προ-εκπαίδευσης. Πείραμα-ανίχνευση (probe) που συνδυάζει κείμενο με οπτικά χαρακτηριστικά εικόνας (DiT, late fusion) δεν έδειξε ουσιαστική βελτίωση (+0,09pp MRR), αποδεικνύοντας ότι η οπτική πληροφορία δεν συνεισφέρει επιπλέον διακριτική ικανότητα λόγω της ομοιόμορφης οπτικής εμφάνισης του κειμένου αποδείξεων.