Η παρούσα πτυχιακή εργασία εστιάζει στις σύγχρονες προσεγγίσεις και τεχνολογίες που χρησιμοποιούνται για την επεξεργασία και ανάλυση μεγάλων δεδομένων σε πραγματικό χρόνο. Με την ραγδαία αύξηση της παραγωγής δεδομένων από smartphones, IoT, κοινωνικά δίκτυα και άλλες πηγές, η ανάγκη για άμεση επεξεργασία και αξιοποίηση των δεδομένων αυτών είναι πιο κρίσιμη από ποτέ.

Πραγματοποιείται μία εισαγωγή στο πρόβλημα των μεγάλων δεδομένων, αναδεικνύοντας τις προκλήσεις που παρουσιάζονται στην επεξεργασία και ανάλυση τους. Αναλύονται οι βασικές αρχές των μεγάλων δεδομένων και οι τεχνικές επεξεργασίας τους, συμπεριλαμβανομένων των παραδοσιακών batch processing και των σύγχρονων stream processing. Ιδιαίτερη έμφαση δίνεται στις αρχιτεκτονικές Lambda και Kappa, οι οποίες προσφέρουν λύσεις για την αποτελεσματική διαχείριση και ανάλυση συνεχούς ροής δεδομένων.

Τέλος εξετάζονται δύο από τις πιο δημοφιλείς πλατφόρμες επεξεργασίας δεδομένων, το Apache Spark και το Apache Flink. Μέσω υλοποιήσεων συστημάτων επεξεργασίας δεδομένων σε πραγματικό χρόνο, παρουσιάζονται οι δυνατότητες και οι επιδόσεις των δύο πλατφορμών.

The thesis focuses on modern approaches and technologies used for real-time processing and analysis of big data. With the rapid increase in data production from smartphones, IoT, social networks, and other sources, the need for immediate processing and utilization of this data is more critical than ever.

There is an introduction to the big data problem, highlighting the challenges posed by processing and analyzing such data. It analyzes the fundamental principles of big data and processing techniques, including traditional batch processing and modern stream processing. Particular emphasis is given to the Lambda and Kappa architectures, which offer solutions for effective management and analysis of continuous data streams.

Finaly, the thesis examines two of the most popular data processing platforms, Apache Spark and Apache Flink. Through real-time data processing system implementations are presented the capabilities and performance of these two platforms.