Δημιουργία Μουσικής Από Εικόνες: Εφαρμογή σε Έργα Ζωγραφικής

Creating Music from Images: An Application on Paintings (english)

  1. MSc thesis
  2. Σιακαβάρα, Κωνσταντίνα
  3. Μεταπτυχιακή Εξειδίκευση στα Πληροφοριακά Συστήματα (ΠΛΣ)
  4. 24 September 2017 [2017-09-24]
  5. Ελληνικά
  6. 130
  7. Μαργουνάκης , Δημήτριος
  8. Φλώρος, Ανδρέας | Βερύκιος , Βασίλειος
  9. αλγοριθμική παραγωγή μουσικής | παραγωγή ήχου από εικόνες | algorithmic composition of music | image to sound conversion | ήχος | sound | εικόνα | image
  10. 1
  11. 15
  12. 29
  13. περιέχει πίνακες, εικόνες
    • Στην παρούσα διπλωματική εργασία αναπτύσσεται ένα σύστημα αλγοριθμικού τρόπου παραγωγής μουσικής από ψηφιακές εικόνες. Οι εικόνες που επιλέχθηκαν στα πλαίσια της παρούσας εργασίας είναι πίνακες ζωγραφικής σε ψηφιακή μορφή που αναπαριστούν αφηρημένη μοντέρνα τέχνη. Ο αλγόριθμος που αναπτύχθηκε και υλοποιήθηκε επιχειρεί να δημιουργήσει μελωδικά ηχητικά αποσπάσματα τα οποία δημιουργούν την ίδια εντύπωση, στον παρατηρητή/ακροατή, με τους πίνακες ζωγραφικής από τους οποίους παράχθηκαν. Ο αλγόριθμος περιλαμβάνει στοιχεία από τη θεωρία της μουσικής, τη θεωρία της ψυχολογίας των χρωμάτων, τον τομέα της επεξεργασίας και ανάλυσης εικόνας ενώ χρησιμοποιεί και στοιχεία από προσεγγίσεις άλλων μελετητών σε παρόμοιες έρευνες παραγωγής ήχου από εικόνες. Το πρώτο στάδιο, περιλαμβάνει την κατάτμηση της εικόνας σε περιοχές με βάση τις τιμές RGB των εικονοστοιχείων. Ακολούθως υπολογίζονται χαρακτηριστικά αυτών των περιοχών, οι οποίες πλέον ονομάζονται αντικείμενα, όπως το μέγεθος του, η τιμή του χρώματος του καθώς και οι τιμές των διαστάσεων του στο χρωματικό μοντέλο HSV. Ακολούθως, σε κάθε αντικείμενο αντιστοιχίζεται μια νότα και ένα είδος συγχορδίας λαμβάνοντας υπόψιν τα παραπάνω χαρακτηριστικά του αντικειμένου. Στη συνέχεια. ο αλγόριθμος προχωρά στη δημιουργία της συγχορδίας που αντιστοιχεί στο κάθε αντικείμενο. Η εκτέλεση του αλγορίθμου καταλήγει στην δημιουργία ενός MIDI αρχείου ήχου με την παραγόμενη μελωδία, η οποία αποτελείται από όλες τις συγχορδίες που δημιουργήθηκαν στο προηγούμενο βήμα. Η εφαρμογή του αλγορίθμου δοκιμάζεται αρχικά σε απλές εικόνες, μια με μαύρα και άσπρα αντικείμενα και σε μια εικόνα με αντικείμενα με δώδεκα τιμές RGB, οι οποίες δημιουργήθηκαν καθαρά για τα πλαίσια της παρούσας εργασίας. Στη συνέχεια, δοκιμάζεται σε τρεις πίνακες ζωγραφικής. Στο τέλος, εξάγονται και καταγράφονται τα αποτελέσματα και τα συμπεράσματα της εφαρμογής του αλγορίθμου, ακολουθούμενα από προτάσεις βελτίωσης του παρόντος αλγορίθμου και ιδέες για μελλοντικές μελέτες.
    • In this thesis, an algorithmic way of creating music from images is developed. The images selected in the context of this study are digitized paintings of modern and abstract art. The algorithm tries to create music blocks that evoke the same reactions and feelings as the original painting. The development of the algorithm utilizes aspects of the theory of music, the psychology of colors as well as elements of previous studies in the area of creating music or sound from images. Firstly, the image is segmented into regions (objects) considering the RGV value of each pixel. Next, characteristics of those objects, such as size, RGB value and HSV dimensions are calculated. Taking under consideration those characteristics, each object is assigned a musical note and a type of chord. The next step is to compose the chord for every object. The resulting file of the algorithm is a MIDI file containing the melody of all the chords created. The algorithm is then put into test starting with some simple digital images, one with only black and white objects and one with objects containing only 12 specific RGB values, which were created only for the purpose of this study. Next, three digitized modern, abstract art paintings are inserted in the system. Finally, the results, the conclusions, some ideas for improving and evolving the algorithm as well as ideas for future studies are discussed.
  15. Items in Apothesis are protected by copyright, with all rights reserved, unless otherwise indicated.