Η παρούσα Διπλωματική Εργασία διερευνά τη δυνατότητα πρόβλεψης συναισθηματικών αξιολογήσεων μουσικών αποσπασμάτων με βάση αντικειμενικά ηχητικά χαρακτηριστικά. Η εργασία εντάσσεται στο πεδίο της Ανάκτησης Μουσικής Πληροφορίας και ειδικότερα της Αναγνώρισης Μουσικού Συναισθήματος, εξετάζοντας τόσο διαστασιακές συναισθηματικές αναπαραστάσεις όσο και βασικά συναισθήματα.

Για τον σκοπό αυτό, χρησιμοποιήθηκε σύνολο δεδομένων μουσικών αποσπασμάτων με διαθέσιμες ανθρώπινες αξιολογήσεις ως προς τις διαστάσεις Valence, Energy και Tension, καθώς και ως προς τα βασικά συναισθήματα Happy, Sad, Anger, Fear και Tender. Από τα μουσικά αποσπάσματα εξήχθησαν αντικειμενικά ηχητικά χαρακτηριστικά που αφορούν την ένταση και τη δυναμική, τον ρυθμό, την τονικότητα, το φασματικό περιεχόμενο και το ηχόχρωμα. Τα χαρακτηριστικά οργανώθηκαν σε εναλλακτικά σύνολα εισόδου και αξιοποιήθηκαν για την εκπαίδευση μοντέλων παλινδρόμησης.

Στο πειραματικό μέρος αξιολογήθηκαν διαφορετικά μοντέλα μηχανικής μάθησης και σύνολα χαρακτηριστικών. Ο αλγόριθμος GradientBoostingRegressor παρουσίασε την καλύτερη συνολική απόδοση και αποτέλεσε το βασικό μοντέλο των τελικών πειραμάτων. Επιπλέον, εφαρμόστηκαν διαδικασίες επιλογής χαρακτηριστικών και ερμηνευσιμότητας με χρήση της μεθόδου SHAP και ανάλυσης σταθερότητας, οι οποίες οδήγησαν σε μειωμένα σύνολα χαρακτηριστικών με βελτιωμένη απόδοση και μεγαλύτερη ερμηνευσιμότητα.

Τα αποτελέσματα ανέδειξαν τη σημασία κυρίως τονικών/αρμονικών και ηχοχρωματικών/φασματικών χαρακτηριστικών για την πρόβλεψη των συναισθηματικών αξιολογήσεων. Παράλληλα, εξετάστηκε η χαρτογράφηση μεταξύ συναισθηματικών διαστάσεων και βασικών συναισθημάτων. Η άμεση πρόβλεψη βασικών συναισθημάτων από τα ηχητικά χαρακτηριστικά παρουσίασε καλύτερη συνολική απόδοση, ενώ η έμμεση προσέγγιση μέσω των προβλεπόμενων διαστάσεων προσέφερε ένα ενδιάμεσο ερμηνευτικό πλαίσιο.

Συνολικά, η εργασία δείχνει ότι τα αντικειμενικά ηχητικά χαρακτηριστικά μπορούν να αξιοποιηθούν για την πρόβλεψη και ερμηνεία μουσικού συναισθήματος. Επιπλέον, η αναπαράσταση των αποτελεσμάτων ως συναισθηματικών προφίλ συμβάλλει σε μια πιο κατανοητή σημασιολογική παρουσίαση του συναισθηματικού χαρακτήρα των μουσικών αποσπασμάτων.

This Diploma Thesis investigates the possibility of predicting emotional ratings of musical excerpts based on objective audio features. The study falls within the field of Music Information Retrieval (MIR) and, more specifically, Music Emotion Recognition (MER), examining both dimensional emotional representations and basic emotions.

For this purpose, a dataset of musical excerpts with available human ratings was used, including ratings for the dimensions Valence, Energy and Tension, as well as for the basic emotions Happy, Sad, Anger, Fear and Tender. Objective audio features related to loudness and dynamics, rhythm, tonality, spectral content and timbre were extracted from the musical excerpts. These features were organised into alternative input sets and used to train regression models.

In the experimental part, different machine learning models and feature sets were evaluated. GradientBoostingRegressor algorithm achieved the best overall performance and was selected as the main model for the final experiments. In addition, feature selection and interpretability procedures were applied using SHAP and stability analysis, leading to reduced feature sets with improved performance and greater interpretability.

The results highlighted the importance of mainly tonal/harmonic and timbral/spectral features for predicting emotional ratings. Moreover, the mapping between emotional dimensions and basic emotions was examined. Direct prediction of basic emotions from audio features achieved better overall performance, while the indirect approach through predicted dimensions provided an intermediate interpretative framework.

Overall, the study shows that objective audio features can be used for the prediction and interpretation of musical emotion. Furthermore, representing the results as emotional profiles contributes to a more understandable semantic presentation of the emotional character of musical excerpts.