Ανάπτυξη και αξιολόγηση συστήματος αναγνώρισης της νοηματικής γλώσσας με χρήση της τεχνολογίας Kinect

Development and evaluation of a sign language recognition system based on the Kinect technology (Αγγλική)

  1. MSc thesis
  2. Ερενίδης, Ιωάννης
  3. Συστήματα Κινητού και Διάχυτου Υπολογισμού (ΣΔΥ)
  4. 26 Σεπτεμβρίου 2020 [2020-09-26]
  5. Ελληνικά
  6. 96
  7. Γκουμόπουλος, Χρήστος
  8. Αδαμοπούλου, Ευγενία
  9. Κinect | Κinect | AdaBoost | AdaBoost | Skeleton Tracking | Skeleton Tracking | Sign Language Recognition | Sign Language Recognition | Evaluation | Evaluation | Translation | Translation | Spherical Coordinates, | Spherical Coordinates,
  10. 2
  11. 1
  12. 29
  13. Περιέχει : πίνακες, διαγράμματα, εικόνες
    • Στην καθημερινή ζωή πολλοί άνθρωποι υποφέρουν από προβλήματα ακοής. Η νοηματική γλώσσα είναι μια ευρέως χρησιμοποιούμενη μέθοδος επικοινωνίας μεταξύ αυτών των ανθρώπων. Η αναγνώριση χειρονομίας έχει γίνει μια από τις βασικές τεχνικές αλληλεπίδρασης ανθρώπου-υπολογιστή (HCI). Μια σειρά από χειρονομίες και εκφράσεις προσώπου επιτρέπουν σε ένα άτομο να επικοινωνήσει / αλληλοεπιδράσει με άλλα άτομα χωρίς την χρήση προφορικού λόγου. Η παρούσα εργασία παρουσιάζει την σχεδίαση, ανάπτυξη και αξιολόγηση ενός συστήματος το οποίο μπορεί να αναγνωρίσει λέξεις της ελληνικής νοηματικής γλώσσας με χρήση της τεχνολογίας Kinect. Ο αισθητήρας Kinect παρέχει την δυνατότητα της απεικόνισης του βάθους για την αναγνώριση των χειρονομιών. Προϋπόθεση για την υλοποίηση των παραπάνω είναι η εκπαίδευση του συστήματος μέσα από την καταγραφή ενός συνόλου χειρονομιών, δεκαπέντε (15) το πλήθος, και δείγματα από πέντε (5) άτομα με διαφορετικούς σωματότυπους. Κατόπιν, με βάση τα καταγεγραμμένα δείγματα, το σύστημα προσπαθεί να αναγνωρίσει την χειρονομία που κάνει ο χρήστης σε πραγματικό χρόνο μπροστά στην κάμερα και να αποδώσει την μετάφρασή της στην οθόνη του Η/Υ. Κάθε συμμετέχων στην διαδικασία της καταγραφής των νοηματικών λέξεων καταγράφει την κάθε λέξη από πέντε διαφορετικά σημεία του χώρου. Τα σημεία αυτά ορίζονται ως εξής: τέσσερεις καταγραφές από απόσταση 1.5 μέτρου (2 μπροστά από την κάμερα, μία δεξιά και μία αριστερά της κάμερας) και 1 καταγραφή από απόσταση 3 μέτρων μπροστά από την κάμερα. Στη συνέχεια, οι λέξεις αξιολογούνται βάσει τριών διαφορετικών περιπτώσεων ταξινόμησης: α) απλή ταξινόμηση β) ταξινόμηση με βάρη και γ) ταξινόμηση με λιγότερες καταγραφές. Από τις τρεις περιπτώσεις η απλή ταξινόμηση είναι αυτή που απέδωσε το μεγαλύτερο ποσοστό αναγνώρισης της χειρονομίας. Το ποσοστό αυτό ανέρχεται κατά μέσο όρο στο 89% ενώ το μικρότερο ποσοστό απέδωσε η τρίτη περίπτωση ταξινόμησης με 30%. Τέλος, για την υλοποίηση του συστήματος έγινε χρήση του SDK Browser v2.0, του αλγόριθμου AdaBoost καθώς και της βάσης δεδομένων που προσφέρεται από το Kinect κατά την δημιουργία της εγγραφής και αποθήκευσης των χειρονομιών.
    • In everyday life many people suffer from hearing problems. Sign language is a widely used method of communication between these people. Gesture recognition has become one of the key human-computer interaction (HCI) techniques. A series of gestures and facial expressions allow a person to communicate/interact with other people without the use of verbal speech. This paper presents the design, development and evaluation of a system that can recognize words of the Greek sign language using Kinect technology. The Kinect sensor provides the ability to display depth for gesture recognition. For the implementation of the above, the training of the system through the recording of a set of gestures, fifteen (15) in total, and samples from five (5) people with different body types is essential. Based on the recorded samples, the system tries to recognize the user's gesture in real time in front of the camera and to translate it on the computer screen. In the process of recording the semantic words, all participants recorded each word from five different points in space. The words were then evaluated on the basis of three different classification cases: a) simple classification b) weight classification and c) classification with fewer entries. Of the three cases, simple classification is the one that yielded the highest percentage of gesture recognition. This percentage amounts to an average of 89% while the lowest percentage was attributed to the third case of classification with 30%. Finally, for the implementation of the system, the SDK Browser v2.0, the AdaBoost algorithm as well as the database offered by Kinect were used during the creation of the recording and storage of the gestures.
  15. Attribution-NonCommercial-NoDerivatives 4.0 Διεθνές