Αξιολόγηση της απόδοσης της ταχύτητας απόδοσης επερωτημάτων με μεγάλα σύνολα εγγραφών μεταξύ σχεσιακών βάσεων δεδομένων και noSQL συστημάτων

Evaluation of performance of large-scale queries against relational databases and noSQL systems (Αγγλική)

  1. MSc thesis
  2. Γκουρνέλου, Βασιλική
  3. Μεταπτυχιακή Εξειδίκευση στα Πληροφοριακά Συστήματα (ΠΛΣ)
  4. 17 Σεπτεμβρίου 2022 [2022-09-17]
  5. Ελληνικά
  6. 148
  7. Καραπιπέρης, Δημήτριος
  8. Βασιλακόπουλος, Μιχαήλ | Γκαράνη, Γεωργία
  9. Βάση Δεδομένων | Database | Σχεσιακή Βάση Δεδομένων mydblp | Relational Database mydblp | Σύστημα Διαχείρισης Σχεσιακής Βάσης Δεδομένων MySQL | Relational Database Management System MySQL | Μη σχεσιακή βάση δεδομένων DBLP | NoSql Database DBLP | Σύστημα Διαχείρισης μη Σχεσιακής Βάσης Δεδομένων MongoDB Compass | NoSQL Database Management System MongoDB Compass | Πίνακας βάσης δεδομένων | Table Database | Συλλογή βάσης δεδομένων | Collection Database | Ανάλυση δεδομένων | Analysis of data | Αρχεία δεδομένων, Αρχείο xml, csv, json | Data files, File xml, csv, json | Εισαγωγή δεδομένων | Import Data | Επερωτήματα | Queries | Σχεδίαση γραφημάτων | Plotting graphs | Γλώσσα προγραμματισμού Python | Programming language Python
  10. 7
  11. 32
  12. Περιέχει : πίνακες, εικόνες.
  13. "Διαχείριση Δεδομένων / Ευαγγελία Πιτουρά"
    • Σκοπός της εργασίας είναι η σύγκριση της ταχύτητας εκτέλεσης επερωτημάτων για ένα μεγάλο σύνολο εγγραφών πάνω από 1000000 εγγραφές μεταξύ σχεσιακών Βάσεων Δεδομένων και μη σχεσιακών Βάσεων Δεδομένων. Στα πλαίσια της εργασίας δημιουργήθηκαν δύο Βάσεις Δεδομένων, μία σχεσιακή η mydblp με το σύστημα διαχείρισης σχεσιακών βάσεων δεδομένων MySQL και μία μη σχεσιακή η DBLP με το σύστημα διαχείρισης μη σχεσιακών βάσεων δεδομένων MongoDB Compass. Και οι δύο βάσεις δεδομένων χρησιμοποιούν το ίδιο μεγάλο σύνολο εγγραφών της ιστοσελίδας DBLP. Η dblp.org είναι μία ιστοσελίδα της βιβλιογραφίας της επιστήμης των υπολογιστών που οι εγγραφές της βιβλιογραφίας περιέχονται σε ένα τεράστιο αρχείο XML(dblp.xml) περίπου 3,2GByte. Το αρχείο αυτό χρησιμοποιείται για να ανακτηθούν τα δεδομένα που θα εισαχθούν στις δύο βάσεις δεδομένων. Η ανάκτηση δεδομένων από το αρχείο dblp.xml γίνεται με δύο προγράμματα Python το ένα δημιουργεί αρχεία δεδομένων csv για την εισαγωγή των δεδομένων στην σχεσιακή Βάση Δεδομένων mydblp και το άλλο δημιουργεί αρχεία δεδομένων json για την εισαγωγή των δεδομένων στην μη σχεσιακή Βάση Δεδομένων DBLP. Η εισαγωγή των αρχείων δεδομένων csv στην σχεσιακή βάση δεδομένων mydblp γίνεται πάλι με πρόγραμμα Python ενώ η εισαγωγή των δεδομένων στην μη σχεσιακή βάση δεδομένων DBLP γίνεται κατευθείαν με επιλογή του αρχείου δεδομένων json από το φάκελο στον οποίο είναι αποθηκευμένο στο σκληρό δίσκο. Αφού ολοκληρωθεί η εισαγωγή των δεδομένων και στις δύο βάσεις δεδομένων, στη συνέχεια δημιουργούνται τα ίδια επερωτήματα και στις δύο βάσεις δεδομένων. Γίνεται σύγκριση της ταχύτητας εκτέλεσης των επερωτημάτων και δημιουργούνται τα αντίστοιχα γραφήματα. Στο πρώτο κεφάλαιο είναι εισαγωγή σε βασικές έννοιες όπως τι είναι βάση δεδομένων και τι σύστημα διαχείρισης βάσης δεδομένων. Στο δεύτερο κεφάλαιο παρουσιάζονται οι σχεσιακές βάσεις δεδομένων. Στο τρίτο κεφάλαιο παρουσιάζονται οι μη σχεσιακές- NoSQL βάσεις δεδομένων. Στο τέταρτο κεφάλαιο παρουσιάζεται η dblp.org ιστοσελίδα της βιβλιογραφίας της επιστήμης των υπολογιστών. Στο πέμπτο κεφάλαιο περιγράφεται η σχεδίαση της σχεσιακής βάσης δεδομένων, η εγκατάσταση της MySQL, η δημιουργία των πινάκων της σχεσιακής βάσης δεδομένων mydblp. Στο έκτο κεφάλαιο περιγράφεται η σχεδίαση της μη σχεσιακής βάσης δεδομένων, η εγκατάσταση της MongoDB Compass, η δημιουργία της συλλογής της μη σχεσιακής βάσης δεδομένων DBLP. Στο έβδομο κεφάλαιο περιγράφεται η σχεδίαση και η υλοποίηση του προγράμματος σε Python 3.10 για την ανάλυση των δεδομένων από το αρχείο dblp.xml και η δημιουργία αρχείων δεδομένων csv. Στο όγδοο κεφάλαιο περιγράφεται η σχεδίαση και η υλοποίηση του προγράμματος σε Python 3.10 για την ανάλυση των δεδομένων από το αρχείο dblp.xml και η δημιουργία αρχείων δεδομένων json. Στο ένατο κεφάλαιο παρουσιάζεται πως έγινε η εισαγωγή δεδομένων στις δύο βάσεις δεδομένων mydblp και DBLP. Στο δέκατο κεφάλαιο παρουσιάζονται αναλυτικά τα μεγέθη των αρχείων δεδομένων που εισήχθησαν σε κάθε βάση δεδομένων, το μέγεθος των δεδομένων της κάθε βάσης καθώς και τον αριθμό και το είδος των εγγραφών που περιέχουν οι δύο βάσεις. Στο ενδέκατο κεφάλαιο παρουσιάζονται τα επερωτήματα που δημιουργήθηκαν στις δύο βάσεις δεδομένων, σύγκριση της ταχύτητας εκτέλεσής τους και τα αντίστοιχα γραφήματα. Τέλος στο δωδέκατο κεφάλαιο είναι ο Επίλογος-Συμπεράσματα.
    • This master’s dissertation focuses on comparing query execution speeds for a large scale of records. More specifically, more than one million records of relational databases and noSQL databases are compared. To begin with, two Databases were created. The first is a relational one named mydblp and it is based on the Relational Database Management System MySQL. The second is a non-relational database named DBLP which is based on the NoSQL Database Management System that is MongoDB Compass. Both of them use the same large set of dblp.org Web site records. Dblp.org is a computer science bibliography website where bibliographic records are contained in a huge XML file (dblp.xml) of approximately 3.2GByte. This file is used to retrieve the data to be entered into the two databases. Data is extracted from the dblp.xml file by using two Python programs. One of them creates csv data files for importing data into the relational mydblp Database and the other makes json data files for importing data into the non-relational DBLP Database. Python is also used to import csv files to the mydblp relational database, while in order to import the data to the non-relational DBLP database I directly select the json data file from the folder where it is stored on the hard disk. After the data entry in both databases is completed, the same queries are then created in both mydblp and DBLP. Then the query execution speed is compared and the corresponding graphs are created. The first chapter is an introduction to basic concepts such as what a database is as well as what a database management system is. The second chapter presents the relational databases. The third chapter displays the non-relational NoSQL databases. The fourth chapter introduces the dblp.org website of the computer science bibliography. The fifth chapter describes the planning of the relational database, the installation of MySQL in addition with the creation of the tables of the relational database mydblp. The sixth chapter shows the design of the non-relational database, the installation of MongoDB Compass and the creation of the collection of the non-relational database DBLP. The seventh chapter describes the planning and implementation of the program in Python 3.10 for the analysis of data from the dblp.xml file along with the creation of csv data files. The eighth chapter describes the design and implementation of the program in Python 3.10 for analyzing data from the dblp.xml file and creating json data files. The ninth chapter shows how the data was imported in both databases, mydblp and DBLP. The tenth chapter displays in detail the sizes of the data files entered in each database, the data size of each database as well as the number and type of records contained in the two databases. The eleventh chapter states the queries created in the two databases together with a comparison of their execution speed and the corresponding graphs. Finally, the twelfth chapter is linked to the Epilogue and Conclusions.
  15. Items in Apothesis are protected by copyright, with all rights reserved, unless otherwise indicated.