Η ραγδαία εξέλιξη της Γενεσιουργού Τεχνητής Νοημοσύνης (Generative Artificial Intelligence) έχει οδηγήσει στην ανάπτυξη ισχυρών μοντέλων δημιουργίας εικόνων από κείμενο (text-to-image), με κυριότερους εκπροσώπους τα diffusion models. Τα μοντέλα αυτά αξιοποιούν τεχνικές βαθιάς μάθησης για τη δημιουργία ρεαλιστικών εικόνων υψηλής ποιότητας, παρουσιάζοντας σημαντικές εφαρμογές σε τομείς όπως η δημιουργική βιομηχανία, η εκπαίδευση και η ιατρική απεικόνιση.

Αντικείμενο της παρούσας διπλωματικής εργασίας είναι η συγκριτική αξιολόγηση προεκπαιδευμένων μοντέλων δημιουργίας εικόνων που είναι διαθέσιμα μέσω της πλατφόρμας Hugging Face, με έμφαση στα μοντέλα Stable Diffusion v1.5 και Stable Diffusion v2.1. Παράλληλα, μελετώνται η αρχιτεκτονική των diffusion models, οι τεχνικές προσαρμογής (fine-tuning) και τα βασικά εργαλεία του οικοσυστήματος Hugging Face.

Στο πειραματικό μέρος εφαρμόστηκαν τεχνικές Prompt Engineering, δημιουργώντας πέντε διαφορετικά σύνολα προτροπών, με στόχο τη διερεύνηση της επίδρασής τους στην ποιότητα των παραγόμενων εικόνων. Για την αντικειμενική αξιολόγηση των αποτελεσμάτων χρησιμοποιήθηκαν οι μετρικές CLIP Score, Fréchet Inception Distance (FID) και Aesthetic Score, ενώ πραγματοποιήθηκε και στατιστική ανάλυση των αποτελεσμάτων μέσω t-test και p-value. Επιπλέον, πραγματοποιήθηκε ποιοτική αξιολόγηση των εικόνων με βάση τον ρεαλισμό, τη σημασιολογική συνέπεια ως προς το prompt και την οπτική τους ποιότητα.

Στο πλαίσιο της εργασίας πραγματοποιήθηκε επίσης fine-tuning του μοντέλου Stable Diffusion v1.5 με την τεχνική Low-Rank Adaptation (LoRA), χρησιμοποιώντας τη βάση COVID-19 Radiography Database, με στόχο την παραγωγή συνθετικών ακτινογραφιών θώρακα. Η εκπαίδευση υλοποιήθηκε μέσω της βιβλιοθήκης Diffusers της Hugging Face σε περιβάλλον Google Colab, αξιοποιώντας κάρτα γραφικών NVIDIA Tesla T4 GPU.

Τα αποτελέσματα έδειξαν ότι τα μοντέλα Stable Diffusion v1.5 και Stable Diffusion v2.1 παρουσιάζουν παρόμοια απόδοση ως προς τη σημασιολογική αντιστοίχιση εικόνας–κειμένου, ενώ το Stable Diffusion v2.1 εμφανίζει ελαφρά βελτιωμένη συμπεριφορά σε πιο σύνθετες περιγραφές. Παράλληλα, η τεχνική LoRA απέδειξε ότι αποτελεί μία ιδιαίτερα αποδοτική λύση για την προσαρμογή προεκπαιδευμένων diffusion models σε εξειδικευμένα ιατρικά δεδομένα, απαιτώντας περιορισμένους υπολογιστικούς πόρους και μικρό χρόνο εκπαίδευσης. Συνολικά, η εργασία αναδεικνύει τις δυνατότητες των σύγχρονων diffusion models και των τεχνικών fine-tuning στην παραγωγή συνθετικών εικόνων υψηλής ποιότητας και συμβάλλει στην αξιολόγηση και αξιοποίησή τους σε εξειδικευμένα πεδία εφαρμογών.

Recent advances in Generative Artificial Intelligence (Generative AI) have led to the rapid development of text-to-image diffusion models capable of generating high-quality and realistic images from natural language descriptions. These models have attracted significant research interest due to their wide range of applications in digital content creation, education, healthcare, and scientific research.

The objective of this thesis is to evaluate and compare pretrained text-to-image diffusion models available through the Hugging Face platform, with particular emphasis on Stable Diffusion v1.5 and Stable Diffusion v2.1. The study also examines the architecture of diffusion models, fine-tuning techniques, and the software ecosystem supporting their development and deployment.

The experimental evaluation consisted of two main stages. First, various prompt engineering strategies were applied to investigate their impact on image generation quality. Five prompt categories were created, including baseline prompts and four prompt engineering techniques: context tokens, emphasis, repetition, and word order. The generated images were quantitatively evaluated using CLIP Score, Fréchet Inception Distance (FID), and Aesthetic Score, while statistical analysis was performed using t-tests and p-values. Furthermore, a qualitative assessment was conducted to evaluate semantic consistency, realism, visual quality, and common generation artifacts.

The second stage involved fine-tuning Stable Diffusion v1.5 using the Low-Rank Adaptation (LoRA) technique and the COVID-19 Radiography Database to generate synthetic chest X-ray images. The training process was implemented using the Diffusers library within the Hugging Face ecosystem in a Google Colab environment equipped with an NVIDIA Tesla T4 GPU.

The experimental results indicate that Stable Diffusion v1.5 and Stable Diffusion v2.1 exhibit comparable performance regarding text-image semantic alignment, while Stable Diffusion v2.1 demonstrates a slight advantage in understanding more complex prompts. The findings also confirm that LoRA provides an efficient and computationally lightweight fine-tuning approach, enabling the adaptation of pretrained diffusion models to specialized medical imaging datasets while maintaining high image quality.

Overall, this thesis demonstrates the effectiveness of modern diffusion models for text-to-image generation and highlights the practical value of prompt engineering, quantitative evaluation metrics, and parameter-efficient fine-tuning techniques for domain-specific image synthesis.