Στην παρούσα εργασία παρουσιάζεται αρχικά ο σχεδιασμός και η υλοποίηση τριών συστημάτων επεξεργασίας και ανάλυσης Δεδομένων Μεγάλου Όγκου του Διαδικτύου των Αντικειμένων σε πραγματικό χρόνο, ενώ στη συνέχεια, στα πλαίσια της Μηχανικής Μάθησης, αξιολογούνται διάφοροι αλγόριθμοι οι οποίοι εφαρμόζονται σε ροές δεδομένων.
Το πρώτο σύστημα αποτελεί ένα σύστημα διοχέτευσης, επεξεργασίας και ανάλυσης δεδομένων από το Διαδίκτυο των Αντικειμένων, με χρήση υπηρεσιών Υπολογιστικού Νέφους. Βασική ενασχόληση, αποτελεί η συλλογή, επεξεργασία, αποθήκευση και οπτικοποίηση των δεδομένων, μέσω μιας πλατφόρμας υπηρεσιών Υπολογιστικού Νέφους, της Google Cloud Platform (GCP).
Το δεύτερο σύστημα, το οποίο σχεδιάζεται και υλοποιείται σε εικονικό περιβάλλον με εργαλεία ανοιχτού κώδικα, λαμβάνει και επεξεργάζεται δεδομένα του Διαδικτύου των Αντικειμένων, σε πραγματικό χρόνο. Κύριος στόχος είναι η προσομοίωση ροής δεδομένων, η συλλογή, επεξεργασία, αποθήκευση και οπτικοποίηση τους. Για το σκοπό αυτό χρησιμοποιούνται προγραμματιστικά πλαίσια της Apache (Kafka, Flink, Cassandra), το ElasticSearch, το Kibana και η γλώσσα προγραμματισμού Java.
Σε δεύτερη φάση, η εργασία πραγματεύεται τη Μηχανική Μάθηση. Σχεδιάζεται και υλοποιείται ένα τρίτο σύστημα, με εργαλεία ανοιχτού κώδικα σε εικονικό περιβάλλον, το οποίο λαμβάνει ροές δεδομένων και στη συνέχεια πάνω σε αυτές εφαρμόζονται αλγόριθμοι κατηγοριοποίησης. Χρησιμοποιείται μια γεννήτρια τυχαίων δεδομένων, το εργαλείο ανοιχτού κώδικα MOA (Massive Online Analysis) που προσάπτεται στο προγραμματιστικό πλαίσιο Apache Flink και η γλώσσα προγραμματισμού Java.
Τέλος, παρουσιάζονται τα συμπεράσματα που προκύπτουν τόσο από τις υλοποιήσεις των συστημάτων όσο και από την εφαρμογή των αλγορίθμων στη ροή των δεδομένων ενώ γίνεται και μια κατάδειξη προοπτικών για περαιτέρω έρευνα.
This thesis presents initially the design and implementation of three real-time systems that process and analyze Big Data from Internet of Things (IoT) and then, in the context of Machine Learning, evaluates several algorithms that are applied on streaming data.
Τhe first system consists of a pipeline of incoming IoT data that get processed and analyzed through cloud computing. The primary engagement here is the collection, processing, storage and visualization of data through the usage of Google Cloud Platform (GCP).
The second system that is based on open source tools is designed and executed on a virtual environment, which receives and processes data from IoT in real time. The main focus here is data streaming simulation, their collection, processing, storage and visualization. For this purpose the below frameworks where used: Apache (Kafka, Flink, Cassandra), Elasticsearch, Kibana and Java programming language.
Subsequently the thesis deals with Machine Learning methods. Classification algorithms are applied to data streams using a third system, which is built on open source tools. A random data generator, the Massive Online Analysis (MOA) framework, which is attached to Apache Flink and Java programming language were used.
Finally the conclusions are presented from the execution of the systems, the application of the algorithms and potential prospects for future review.
Ανάλυση Δεδομένων Μεγάλου Όγκου στο Διαδίκτυο των Αντικειμένων με Χρήση Τεχνολογίας Υπολογιστικού Νέφους