Price prediction | Πρόβλεψη τιμής | Big Data | Μαζικά δεδομένα | Data scrapping | Εξόρυξη δεδομένων | Linear regression | Γραμμική παλινδρόμηση | Clustering | Κατηγοριοποίηση
2
24
diagrams, tables, figures included
Αυτή η διατριβή αναλύει την τιμή των προϊόντων πλατφόρμας ηλεκτρονικού εμπορίου εφαρμόζοντας γνωστές τεχνικές ανάλυσης δεδομένων. Για την επίτευξη αυτού του στόχου, αναπτύχθηκε ένα λογισμικό για τη σωστή απόκτηση και διαχείριση μεγάλων συνόλων δεδομένων από υπάρχοντες ιστότοπους ηλεκτρονικού εμπορίου (car.gr, spitogatos.gr κ.λπ.). Το λογισμικό χρησιμοποιεί τεχνικές σάρωσης για την απόκτηση δεδομένων. Ο μεγάλος όγκος των δεδομένων που αποκτήθηκε πέρασε από ένα στάδιο προεπεξεργασίας, καθώς απαιτείτο για να είναι κατάλληλο για ανάλυση δεδομένων μέσω στατιστικών μεθόδων. Λόγω των πολυάριθμων σφαλμάτων που υπάρχουν στις λίστες των ιστότοπων ηλεκτρονικού εμπορίου, αξιολογήθηκαν και εφαρμόστηκαν διάφορα φίλτρα δεδομένων για την καλύτερη προετοιμασία του συνόλου δεδομένων. Μετά την προετοιμασία των δεδομένων, εφαρμόστηκε ανάλυση παλινδρόμησης ούτως ώστε να εντοπίσουμε τη συσχέτιση των ποιοτικών μεταβλητών με την τιμή της αγγελίας. Εκτός από το τελευταίο, πραγματοποιήθηκε ανάλυση ομαδοποίησης K-Means για τον εντοπισμό πιθανών παραγόντων ταξινόμησης μεταξύ των λιστών. Σε ένα συνεχώς εξελισσόμενο περιβάλλον, ένα εργαλείο τέτοιου τύπου γρήγορα θεωρείται παρωχημένο. Τα νέα εργαλεία για την ταχεία αναγνώριση αυτών των απειλών χρειάζονται τώρα περισσότερο από ποτέ. Τα εργαλεία και οι μέθοδοι που παρέχει αυτή η διατριβή, είναι χρήσιμα σε πολλές εφαρμογές, όπως η αξιολόγηση των απειλών στο Διαδίκτυο. Λόγω του τεράστιου όγκου δεδομένων και τεχνικών που χρησιμοποιούνται, αυτή η διατριβή θεωρείται ότι αφορά στον τομέα των μεγάλων δεδομένων. Τα στατιστικά στοιχεία που προέκυψαν από την ανάλυση, δείχνουν ότι υπάρχει συσχέτιση των χαρακτηριστικών των καταχωρίσεων ηλεκτρονικού εμπορίου με την τιμή τους, καθιστώντας δυνατή τη σύγκριση τουλάχιστον των καταχωρίσεων μεταξύ παρόμοιων και εντοπισμού της καλύτερης.
This dissertation applies well-known data analysis techniques to e-commerce site data to evaluate product prices from e-commerce sites. To achieve this goal, a software was developed for the proper acquisition and management of large data sets from existing e-commerce sites (car.gr, spitogatos.gr, etc.). The software uses scavenging techniques to obtain data. The large volume of data obtained, went through a preprocessing stage, as it was required to be suitable for data analysis through statistical methods. Due to the numerous errors that exist in the lists of e-commerce sites, various data filters have been evaluated and applied to better prepare the data set. After preparing the data, the regression analysis was applied to identify the correlation of the quality variables with the advertisement listing price. In addition to the latter, K-Means clustering analysis was performed to identify possible classification factors between the lists. In an ever-evolving environment, a tool of this type quickly becomes obsolete. New tools to quickly identify these threats are needed now more than ever. The tools and methods provided by this dissertation are useful in many applications, such as Internet Threat Assessment. Due to the huge amount of data and techniques used, this dissertation is considered to work in the field of big data. The statistics obtained from the analysis show that there is a correlation between the characteristics of e-commerce listings and their price, making it possible to compare at least the listings between similar and identify the best.
Αξιολόγηση τιμών ηλεκτρονικού εμπορίου μέσω ανάλυσης δεδομένων