Η εξέλιξη των Μεγάλων Γλωσσικών Μοντέλων (Large Language Models – LLMs) έχει επηρεάσει ουσιαστικά την Επεξεργασία Φυσικής Γλώσσας, επειδή έφερε στο προσκήνιο μοντέλα που μπορούν να χειριστούν κείμενο με σαφώς μεγαλύτερη ευελιξία από παλαιότερες προσεγγίσεις.

Η παρούσα διπλωματική εξετάζει τρόπους εκπαίδευσης και προσαρμογής Μεγάλων Γλωσσικών Μοντέλων, δίνοντας ιδιαίτερη έμφαση στις τεχνικές αποδοτικής προσαρμογής παραμέτρων (Parameter-Efficient Fine-Tuning – PEFT) και, ειδικότερα, στις LoRA και QLoRA.

Στο πειραματικό μέρος χρησιμοποιήθηκαν ελληνικά δεδομένα και εκτελέσεις τόσο σε τοπικό περιβάλλον όσο και στο Google Colab. Η αξιολόγηση δεν βασίστηκε σε μία μόνο μέτρηση· συνδυάστηκαν το loss, η perplexity, η token-level accuracy, ο χρόνος εκπαίδευσης και η peak VRAM. Έτσι, η ανάλυση δεν περιορίζεται στο αν το μοντέλο προσαρμόζεται στο evaluation set, αλλά εξετάζει και το υπολογιστικό κόστος αυτής της προσαρμογής. Για πληρέστερη εικόνα, προστέθηκαν δοκιμές γενίκευσης σε δεύτερο ελληνικό corpus και ένα μικρό σενάριο DAPT με υλικό από την ελληνική Wikipedia.

Στα περισσότερα πειράματα η QLoRA ήταν σαφώς πιο οικονομική σε VRAM από τη LoRA FP16. Αυτό όμως δεν σημαίνει ότι αποτελεί πάντα την καλύτερη επιλογή. Στο TinyLlama οι διαφορές στην perplexity ήταν μικρές, ενώ στο Gemma-2-2B, κυρίως στην τοπική εκτέλεση, έγινε πιο εμφανές το κόστος της ποσοτικοποίησης. Τα πειράματα γενίκευσης έδωσαν πιο ισορροπημένη εικόνα και δείχνουν ότι η επιλογή μεθόδου εξαρτάται από το τι προέχει κάθε φορά: η μνήμη, ο χρόνος ή η ποσοτική επίδοση. Το DAPT σκέλος έδωσε μια πρώτη ένδειξη ότι μια ενδιάμεση έκθεση σε ελληνικό corpus μπορεί να βελτιώσει προσωρινά τη συμπεριφορά εκτός πεδίου, πριν το επόμενο fine-tuning οδηγήσει ξανά το μοντέλο προς το ειδικότερο dataset.

This thesis studies parameter-efficient fine-tuning (PEFT) for open-source Large Language Models, with emphasis on LoRA and QLoRA under different compute constraints. The experiments were carried out on a local GPU and on Google Colab, using Greek datasets that include a small controlled Greek text corpus (dataset_v1) and a Wikipedia-derived corpus (dataset_wiki_50k). The evaluation combines cross-entropy loss, perplexity and token-level accuracy with more practical measurements, such as training time and peak GPU memory. The results indicate that QLoRA consistently reduces memory usage compared with LoRA FP16, although its effect on quality and runtime depends on the model, sequence length and hardware configuration. In the reverse-generalization setting (wiki→v1), the two methods produced almost identical generalization perplexity.

A further set of A100 experiments was included for models and configurations that were difficult or impossible to complete locally. These runs are not meant to form a full ranking of models. They are used as a practical check of how memory use, runtime and evaluation metrics change when both the model family and the available hardware change. Taken together, the experiments provide a reproducible view of LoRA and QLoRA behaviour in realistic Greek-language fine-tuning settings.