Κύριος σκοπός της εν λόγω διπλωματικής εργασίας είναι να αναλύσει εις βάθος την αξιολόγηση εφαρμογών με τη μέθοδο του Πληθοπορισμού (crowdsourcing evaluation), που αποτελεί μία αναδυόμενη τάση στον τομέα της αξιολόγησης λογισμικού, η οποία εκμεταλλεύεται τα οφέλη και την αποτελεσματικότητα του crowdsourcing, της αντίστοιχης πλατφόρμας και του πλήθους. Ουσιαστικά πρόκειται για την εξωτερική ανάθεση των δραστηριοτήτων της αξιολόγησης σε μία ανομοιογενή ομάδα αξιολογητών με διαφορετικό επίπεδο γνώσεων και εμπειρίας, μέσω μίας ανοιχτής κλήσης για συμμετοχή και ανάληψη μίας εργασίας, εθελοντικά ή επί πληρωμή. Στα πλαίσια της παρούσας εργασίας πραγματοποιήθηκε βιβλιογραφική επισκόπηση των παραδοσιακών μεθόδων αξιολόγησης, ανάλυση της crowdsourcing μεθόδου αξιολόγησης και του πλαισίου εφαρμογής της ενώ στη συνέχεια επιχειρήθηκε σύγκριση μεταξύ τους, ώστε να εξαχθούν συμπεράσματα για την καταλληλόλητα της συγκεκριμένης τεχνικής έναντι των παραδοσιακών μεθόδων αξιολόγησης. Παράλληλα διεξάχθηκε πειραματική διαδικασία μέσα από το διαμοιρασμό και συμπλήρωση ερωτηματολογίων με τη συμμετοχή ομάδας χρηστών που αποτελούνταν από ειδικούς και μη ειδικούς. Μέσα από την στατιστική ανάλυση των ερωτηματολογίων διερευνήθηκαν τα πλεονεκτήματα και οι περιορισμοί από τη χρήση της συγκεκριμένης τεχνικής αξιολόγησης με στόχο την εξαγωγή συμπερασμάτων για την ποιότητα των αποτελεσμάτων από τη χρήση του crowdtesting. Η μέθοδος αξιολόγησης με την οποία επιλέχθηκε να πραγματοποιηθεί σύγκριση ήταν αυτή της αξιολόγησης από ειδικούς ώστε να οδηγηθούμε σε ασφαλή συμπεράσματα για την καταλληλόλητα της συγκεκριμένης μεθόδου έναντι της αξιολόγησης από ειδικούς. Στόχος είναι να ελεγχθεί εάν το crowdtesting μπορεί να χρησιμοποιηθεί με επιτυχία οδηγώντας σε σωστά και εύστοχα αποτελέσματα στην αξιολόγηση του σχεδιασμού και λειτουργίας των εφαρμογών.
The main purpose of this thesis is to perform an in-depth analysis of the crowdsourcing evaluation method, which is an emerging trend in the field of software evaluation. Crowdsourcing evaluation exploits the benefits and effectiveness of crowdsourcing, the crowdsourcing platform and the crowd. Essentially, it is the outsourcing of evaluation activities to a group of people with different level of knowledge, experience and diversity, via a flexible open call for participation and undertaking a task. The reward for undertaking the task, can be money, fame, voluntary purposes or for the common good.
In the framework of the present thesis, a bibliographic review for the traditional evaluation methods was carried out. The crowdsourcing evaluation was analyzed in order to clarify the basic concepts related to it, to make an in depth analysis of the process and the model that exists worldwide and to highlight the main advantages and disadvantages of the method. Furthermore, a comparison between crowdsourcing and traditional evaluation techniques was performed in order to draw conclusions regarding the suitability of crowdsourcing technique compared to traditional evaluation methods.
At the same time, an appropriately designed experiment was carried out where questionnaires were distributed to forty two participants of which forty were non experts and two were experts. Through the statistical analysis of the non-expert questionnaires the advantages and limitations of the crowdsourcing technique were explored, in order to evaluate the quality of the results from the crowdsourcing evaluation method. The two participants were experts, thus we compared the results from the non-experts to the expert ones. The aim was to test whether crowdsourcing evaluation can be successfully used leading to correct and accurate results in assessing the design and operation of applications. From the statistical analysis we conducted we came to the conclusion that the quality of the non-experts results is high enough and the majority of the non-expert answers coincides with the expert answers.
In conclusion, crowdsourcing evaluation is a promising evaluation technique with many advantages and disadvantages. Is not the solution to all the problems of software evaluation but because of its particular characteristics it provides great assist in dealing with the rapid evolution of consumer technology, with the wide variety of devices and the rapidly evolving software development processes.
Εφαρμογή Crowdsourcing Τεχνικών Αξιολόγησης