Ανίχνευση ειρωνείας σε ελληνόγλωσσα διαδικτυακά κείμενα: Συγκριτική αξιολόγηση υπολογιστικών προσεγγίσεων στην επεξεργασία φυσικής γλώσσας

Detecting Irony in Greek-Language Web Texts: A Comparative Evaluation of Computational Approaches to Natural Language Processing (english)

  1. MSc thesis
  2. ΑΓΓΕΛΟΣ ΑΝΔΡΕΟΣΟΠΟΥΛΟΣ
  3. Ψηφιακές Ανθρωπιστικές Επιστήμες: μέθοδοι, εργαλεία, πρακτικές (ΨΑΕ)
  4. 25 July 2026
  5. Ελληνικά
  6. 69
  7. Διονύσιος Γούτσος
  8. Γούτσος, Διονύσιος | Φραγκάκη, Γεωργία
  9. Επεξεργασία Φυσικής Γλώσσας (ΕΦΓ) | Μεγάλα Γλωσσικά Μοντέλα (ΜΓΜ) | Αλγόριθμος
  10. ΨΑΕ
  11. 4
  12. 2
  13. 4
  14. Περιλαμβάνει: Εικόνες, Διαγράμματα, Πίνακες, Παράρτημα
    • Η παρούσα εργασία πραγματεύεται την αυτόματη ανίχνευση ειρωνείας σε ελληνόγλωσσες διαδικτυακές κριτικές καταναλωτών μέσω συγκριτικής αξιολόγησης τριών υπολογιστικών προσεγγίσεων: ενός αλγορίθμου της Python που βασίζεται σε κανόνες (rule-based) και δύο Μεγάλων Γλωσσικών Μοντέλων (ΜΓΜ, LLMs), του Claude (Anthropic) και του DeepSeek (DeepSeek AI). Η αξιολόγηση πραγματοποιείται έναντι ανθρώπινης επισημείωσης (πραγματική κατάσταση, ground truth) σε ένα σώμα 500 κριτικών καταναλωτών από διαδικτυακές πλατφόρμες. Τα αποτελέσματα αναδεικνύουν τον τρόπο με τον οποία τα μοντέλα ανιχνεύουν ή όχι την ειρωνεία, τα σημεία που τα δυσκολεύουν και τα ποσοστά συμφωνίας μεταξύ τους. Τα ευρήματα αναδεικνύουν ένα κεντρικό και απροσδόκητο αποτέλεσμα: ο αλγόριθμος που είναι βασισμενος σε ορισμένους κανόνες (rule-based) υπερτερεί και των δύο ΜΓΜ, επιτυγχάνοντας F1 = 0.686 και Δείκτη συμφωνίας κ = 0.495, υποδηλώνοντας ότι τα λεξιλογικά σήματα που ανιχνεύει αντιστοιχούν επαρκώς στα μοτίβα ειρωνείας του συγκεκριμένου σώματος κειμένων. Το Claude εμφανίζει υψηλά Ανάκληση (Recall: 0.608), αλλά συστηματική υπεργενίκευση με 141 ψευδώς θετικές ταξινομήσεις (Ακρίβεια, Precision = 0.456), ενώ το DeepSeek κινείται στον αντίποδα με εξαιρετικά υψηλή Ακρίβεια (0.857) αλλά εξαιρετικά χαμηλή Ανάκληση (0.216), με αποτέλεσμα να μην αναγνωρίζει την πλειονότητα των ειρωνικών κειμένων. Ιδιαίτερα αποκαλυπτική είναι η σχεδόν μηδενική συμφωνία μεταξύ των δύο ΜΓΜ (κ = 0.044), που υποδηλώνει ότι τα μοντέλα δεν προσεγγίζουν το ίδιο εννοιολογικό φαινόμενο, αλλά ανιχνεύουν ποιοτικά διαφορετικές εκδοχές ειρωνείας

      Τα ευρήματα συζητούνται υπό το πρίσμα των ιδιαιτεροτήτων της ελληνικής ως γλώσσας χαμηλών πόρων, της ευαισθησίας των ΜΓΜ στη διατύπωση των προτροπών (prompts) και των περιορισμών της μονοαξιολογητικής επισημείωσης. Ως προς τις προοπτικές, η εργασία αναδεικνύει τρεις κρίσιμες κατευθύνσεις: την ανάπτυξη εξειδικευμένου ελληνόγλωσσου σώματος κειμένων ειρωνείας με πολλαπλή επισήμανση, την εξειδικευμένη εκπαίδευση (fine-tuning) πολυγλωσσικών μοντέλων σε ελληνικά δεδομένα, και την ανάπτυξη υβριδικών προσεγγίσεων που αξιοποιούν τα συμπληρωματικά πλεονεκτήματα των τριών συστημάτων. Η εργασία συνεισφέρει στην υπολογιστική επεξεργασία της ελληνικής γλώσσας, αναδεικνύοντας ότι η ανίχνευση ειρωνείας παραμένει ζήτημα προς επίλυση που απαιτεί όχι μόνο καλύτερα μοντέλα, αλλά και καλύτερους γλωσσικούς πόρους.

    • The thesis deals with the automatic detection of irony in Greek-language online consumer reviews through a comparative evaluation of three computational approaches: a rule-based Python algorithm and two Large Language Models (LLMs), Claude (Anthropic) and DeepSeek (DeepSeek AI). The evaluation is conducted against human annotations (ground truth) on a corpus of 500 consumer reviews from online platforms. The results highlight how the models do or do not detect irony, the areas where they struggle and the agreement rates among them. The findings reveal a significant and unexpected result: the rule-based algorithm outperforms both LLMs, achieving an F1 score of 0.686 and a Cohen’s k of 0.495, suggesting that the lexical cues it detects adequately correspond to the irony patterns in this specific corpus. Claude exhibits high Recall (0.608), but systematic overgeneralization with 141 false positives (Precision = 0.456), while DeepSeek is at the opposite end of the spectrum with extremely high Precision (0.857), but extremely low Recall (0.216), failing to identify most ironic texts. Particularly revealing is the near-zero agreement between the two LLMs (κ = 0.044), suggesting that the models do not address the same conceptual phenomenon, but detect qualitatively different forms of irony.

      The findings are discussed considering the particularities of Greek as a low-resource language, the sensitivity of LLMs to the wording of prompts and the limitations of single-label annotation. Regarding future directions, the paper highlights three critical areas: the development of a specialized Greek language corpus of irony with multi-label annotation, the fine-tuning of multilingual models on Greek data and the development of hybrid approaches that leverage the complementary strengths of the three systems. This work contributes to the computational processing of the Greek language and highlights that irony detection remains an open problem, requiring not only better models, but also better language resources.

  15. Hellenic Open University
  16. Αναφορά Δημιουργού 4.0 Διεθνές