Η παρούσα διπλωματική εργασία μελετά τόσο θεωρητικά όσο και πρακτικά τις μεθόδους αυτόματης ευθυγράμμισης μιας ζωντανής εκτέλεσης ενός μουσικού έργου, με την ψηφιακή του παρτιτούρα. Σε θεωρητικό επίπεδο, παρουσιάζονται τα μουσικά χαρακτηριστικά της εκτέλεσης ενός έργου αλλά και της παρτιτούρας του και η δυνατότητά, αυτά να χρησιμοποιηθούν ως βάση σύγκρισης. Επιπλέον, παρουσιάζονται οι διάφορες τεχνικές σύγκρισης και ευθυγράμμισης που υπάρχουν στην σχετική βιβλιογραφία. Από αυτά τα χαρακτηριστικά και τις τεχνικές σύγκρισης γίνεται στην συνέχεια μια επιλογή με σκοπό την πρακτική υλοποίηση μιας εφαρμογής αναγνώρισης συγκεκριμένων σημείων της ψηφιακής παρτιτούρας, σε μια ζωντανή εκτέλεση του αντίστοιχου μουσικού έργου. Ως βασικό χαρακτηριστικό επιλέγεται το μουσικό χρώμα, δηλαδή οι νότες που ακούγονται κάθε στιγμή και ως τεχνική σύγκρισης η μέθοδος της δυναμικής χρονικής στρέβλωσης. Η εφαρμογή σχεδιάζεται και αναπτύσσεται σε τρεις κύκλους ανάπτυξης σύμφωνα με το σπειροειδές μοντέλο ανάπτυξης λογισμικού. Από την αξιολόγηση των αποτελεσμάτων προκύπτουν κάποια συμπεράσματα με βασικό την παραδοχή ότι η διαδικασία της ευθυγράμμισης μπορεί να αυτοματοποιηθεί και ότι τα επιλεγμένα χαρακτηριστικά και η επιλεγμένη μέθοδος είναι επαρκή για την επιτυχή ευθυγράμμιση. Τέλος, παρουσιάζονται τα σημεία της υλοποιημένης εφαρμογής που απαιτούν βελτίωση και προτείνονται ορισμένες τεχνικές που θα μπορούσαν να ενσωματωθούν στην εφαρμογή προκειμένου να αυξηθεί η αποτελεσματικότητά της.
In the present diploma thesis, we study some methods of automatic comparison and alignment between a live musical performance and its respective digital score, both theoretically and practically. At a theoretical level, we present the musical features that can be extracted from the live performance audio and from the score. We also discuss their ability to be used as a basis of comparison. In addition, comparison and alignment techniques available in the relevant literature are presented. From these available features and comparison techniques, we choose the best to implement into an application for recognizing specific points of the digital score in a live performance of the respective musical work. The main feature used is the chromagram extracted from both the live performance and the digital score. The chromagram is a diagram of the notes played in relation to time. As a comparison technique, we use the Dynamic Time Warp method. The application is designed and developed in three development cycles according to the spiral software development model. From the evaluation of the results, some conclusions emerge and are presented. The main conclusion is the assumption that the alignment process can be automated and that the selected characteristics and comparison techniques are sufficient for a successful alignment. Finally, we discuss the parts of the implemented application that mainly require improvement and we suggest some techniques that could be integrated in the application, in order to increase its effectiveness.
Διερεύνηση τεχνικών ευθυγράμμισης μουσικής εκτέλεσης με ψηφιακή παρτιτούρα