Η παρούσα διπλωματική εργασία εξετάζει την παραγωγή περιλήψεων από απαντήσεις ανοικτού τύπου σε ερωτηματολόγια αξιολόγησης εκπαιδευτικών διαδικασιών, με έμφαση στην ελληνική γλώσσα. Το πρόβλημα που αντιμετωπίζεται είναι ότι οι ανοικτές απαντήσεις των φοιτητών περιέχουν χρήσιμη ποιοτική πληροφορία, αλλά η χειροκίνητη ανάγνωση, ταξινόμηση και σύνοψή τους απαιτεί σημαντικό χρόνο και προσπάθεια, ειδικά όταν ο αριθμός των απαντήσεων είναι μεγάλος.

Στο πλαίσιο της εργασίας υλοποιήθηκε ένα αναπαραγώγιμο pipeline[1] σε Python, το οποίο διαβάζει αρχεία Excel με απαντήσεις φοιτητών και πρότυπες περιλήψεις αναφοράς[2], καθαρίζει τα κείμενα, ομαδοποιεί τα σχόλια ανά Πρόγραμμα Σπουδών και κατηγορία ερώτησης και στη συνέχεια παράγει περιλήψεις με Μεγάλα Γλωσσικά Μοντέλα - LLM. Η ομαδοποίηση γίνεται σε επίπεδο Προγράμματος Σπουδών και ερώτησης, ώστε για κάθε πρόγραμμα να παράγονται τρεις περιλήψεις: μία για τις προτάσεις βελτίωσης, μία για τα αρνητικά στοιχεία και μία για τα θετικά στοιχεία.

Η πειραματική αξιολόγηση πραγματοποιήθηκε σε 126 περιπτώσεις περίληψης, οι οποίες αντιστοιχούν σε 42 Προγράμματα Σπουδών και τρεις κατηγορίες ερωτήσεων ανά πρόγραμμα. Το Πρόγραμμα Σπουδών ΔΙΠ δεν συμπεριλήφθηκε στην ποσοτική αξιολόγηση, επειδή δεν υπήρχαν διαθέσιμες πρότυπες περιλήψεις αναφοράς για τις αντίστοιχες κατηγορίες ερωτήσεων. Τα μοντέλα που αξιολογήθηκαν είναι τα gpt-4o, gpt-4o-mini και gpt-3.5-turbo.

Τα δεδομένα της εργασίας χρησιμοποιήθηκαν αποκλειστικά για πειραματικούς σκοπούς και ήταν ανωνυμοποιημένα. Βασίστηκαν σε προεπεξεργασμένο σύνολο δεδομένων που αντλήθηκε και επεξεργάστηκε από τον επιβλέποντα καθηγητή, ώστε να μην εμφανίζονται πραγματικά αναγνωρίσιμα δεδομένα ιδρύματος, διδασκόντων ή φοιτητών.

Για την αξιολόγηση των παραγόμενων περιλήψεων χρησιμοποιήθηκαν μετρικές όπως BLEU, ROUGE, Sentence-BERT similarity, character-level cosine similarity, length ratio και keyword overlap. Τα αποτελέσματα δείχνουν ότι τα gpt-4o και gpt-4o-mini παρουσιάζουν την καλύτερη συνολική απόδοση, ενώ το gpt-3.5-turbo υστερεί κυρίως ως προς το μήκος και τη λεξική επικάλυψη των περιλήψεων. Η εργασία καταλήγει ότι τα σύγχρονα LLMs μπορούν να υποστηρίξουν αποτελεσματικά τη σύνοψη ελληνόγλωσσων ανοικτών απαντήσεων σε εκπαιδευτικά ερωτηματολόγια, υπό την προϋπόθεση ότι η παραγωγή και η αξιολόγηση γίνονται στη σωστή μονάδα ανάλυσης.

This thesis examines the generation of summaries from open-ended responses in educational evaluation questionnaires, with a focus on the Greek language. The main problem addressed is that students' open-ended answers contain valuable qualitative information, but their manual reading, classification, and summarization require considerable time and effort, especially when the number of responses is large.

As part of the thesis, a reproducible Python pipeline[1] was implemented. The pipeline loads Excel files containing student responses and reference summaries, cleans the text, groups the comments by Study Programme and question category, and then generates summaries using Large Language Models. The grouping is performed at the level of Study Programme and question, so that three summaries are produced for each programme: one for important points, one for negative comments, and one for positive comments. Thus, the summary is not generated for each student comment, but for the complete set of relevant comments.

The experimental evaluation was conducted on 126 summarization cases, corresponding to 42 Study Programmes and three question categories per programme. The Study Programme DIP was not included in the quantitative evaluation because no corresponding reference summaries were available for its question categories. The evaluated models are gpt-4o, gpt-4o-mini, and gpt-3.5-turbo.

The data used in the experiments were anonymized and preprocessed before their use in this thesis, so that no real identifiable institutional, teacher, or student information is exposed.

We evaluated the generated summaries using several metrics, including BLEU, ROUGE, Sentence-BERT similarity, character-level cosine similarity, length ratio, and keyword overlap. The results indicate that gpt-4o and gpt-4o-mini achieve the best overall performance, while gpt-3.5-turbo performs worse, especially in terms of summary length and lexical overlap. The thesis concludes that modern LLMs can effectively support summarizing Greek open-ended questionnaire responses in educational evaluation, provided both generation and evaluation are performed at the correct unit of analysis.