Ελληνική Νοηματική Γλώσσα | OpenCV | Microsoft Kinect | αναγνώριση χειρομορφών | handshape recognition
The detection and classification of human gestures, as a combination of scientific fields of Computer Vision and Machine Learning, is used nowadays in more and more implementations for the description of human activity. These implementations require efficient methods to automatically analyze and classify data and they are a very active area of research. One of the implementations that has great, especially social, significance is the recognition of human characteristics for Sign Language translation or interpretation.
Sign Languages were created firstly for communication between the deaf and secondly in order to bridge the gap in communication between the hearing impaired or deaf and non-deaf. Deaf people face serious challenges in communication with people who have the hearing ability, the vast majority of whom have no linguistic skills in Sign Language. Deaf people in such cases should be based on a written language, which is usually not their primary language. Thus, software that converts the signs of Sign Language to plain text can help in real time communication and provides an interactive education for learning a Sign Language.
In this Thesis, a system is presented that recognizes ten signs of Greek Sign Language using the technological features of Microsoft Kinect in conjunction with modified, known image processing techniques of OpenCV library. Because the depth sensor of Kinect is an infrared camera, the lighting conditions, signers’ skin color and clothing, and background have little impact on the performance of this system. The accuracy and the robustness make this system a versatile component that can be integrated in a variety of applications in daily life.
Η ανίχνευση και ταξινόμηση ανθρώπινων χειρονομιών, ως τομέας σύμπραξης της Τεχνητής Όρασης και της Μηχανικής Μάθησης, χρησιμοποιείται σήμερα σε ολοένα και περισσότερες εφαρμογές για την περιγραφή της ανθρώπινης δραστηριότητας. Οι εφαρμογές αυτές απαιτούν αποδοτικές μεθόδους για την αυτόματη ανάλυση και ταξινόμηση των δεδομένων και αποτελούν ένα πολύ δραστήριο ερευνητικό πεδίο. Μία από τις εφαρμογές που έχει μεγάλη, κυρίως κοινωνική σημασία, είναι η αναγνώριση χαρακτηριστικών του ανθρώπου για τη μετάφραση ή διερμηνεία των Νοηματικών Γλωσσών.
Οι Νοηματικές Γλώσσες δημιουργήθηκαν αφενός για την επικοινωνία μεταξύ των κωφών και αφετέρου για να γεφυρωθεί το χάσμα στην επικοινωνία μεταξύ των βαρήκοων ή κωφών και των μη κωφών. Όμως οι κωφοί αντιμετωπίζουν σοβαρές προκλήσεις κατά την επικοινωνία με τους ανθρώπους οι οποίοι έχουν την ικανότητα ακοής, η συντριπτική πλειοψηφία των οποίων δεν έχει καμία γλωσσική δεξιότητα στη Νοηματική Γλώσσα. Οι κωφοί άνθρωποι στις περιπτώσεις αυτές πρέπει να βασίζονται στη γραπτή γλώσσα, που δεν είναι συνήθως η κύρια γλώσσα τους. Έτσι, λογισμικό που μετατρέπει τα νοήματα της Νοηματικής Γλώσσας σε απλό κείμενο μπορεί να βοηθήσει την επικοινωνία σε πραγματικό χρόνο και να παρέχει επίσης διαδραστική εκπαίδευση για την εκμάθηση της Νοηματικής Γλώσσας.
Σε αυτήν την Πτυχιακή Εργασία παρουσιάζεται σύστημα που αναγνωρίζει δέκα χειρομορφές, βασικού συστατικού της Ελληνικής Νοηματικής Γλώσσας, χρησιμοποιώντας τα τεχνολογικά χαρακτηριστικά του Microsoft Kinect σε συνδυασμό με κατάλληλα τροποποιημένες, γνωστές τεχνικές επεξεργασίας εικόνας της βιβλιοθήκης OpenCV. Επειδή ο αισθητήρας βάθους του Kinect είναι υπέρυθρος, οι συνθήκες φωτισμού, το χρώμα του δέρματος και τα ρούχα του νοηματιστή, καθώς και το φόντο του περιβάλλοντος έχουν μικρή επίπτωση στην απόδοση αυτού του συστήματος, ενώ η ακρίβεια και η ευρωστία καθιστούν αυτό το σύστημα ευέλικτο να ενσωματωθεί σε μία ποικιλία εφαρμογών στην καθημερινή ζωή.
Hellenic Open University
Items in Apothesis are protected by copyright, with all rights reserved, unless otherwise indicated.
