- MSc thesis
- Μεταπτυχιακή Εξειδίκευση στα Πληροφοριακά Συστήματα (ΠΛΣ)
- 30 Σεπτεμβρίου 2023
- Ελληνικά
- 69
- Εμμανουήλ Τζαγκαράκης
- Μιχαήλ Βασιλακόπουλος | Δημήτριος Καραπιπέρης
- Twitter | tweets | Twitter v2 API | TwitterSearch | shell
- Μεταπτυχιακή Εξειδίκευση στα Πληροφοριακά Συστήματα / ΠΛΣ60
- 3
- 9
- Περιλαμβάνει: Πίνακες, Διαγράμματα, Εικόνες
-
-
Η ραγδαία εξέλιξη της τεχνολογίας και ειδικότερα των τηλεπικοινωνιών και των έξυπνων συσκευών (π.χ. Smartphones, Smartwatch, Tablets) διευκόλυνε τη χρήση των μέσων κοινωνικής δικτύωσης (Social media), ως αποτέλεσμα την μαζική αύξηση στη χρήση τους σε σχέση με οποιαδήποτε άλλη χρήση του διαδικτύου. Μια από τις βασικές κατηγορίες μέσων κοινωνικής δικτύωσης αποτελούν τα κοινωνικά δίκτυα ή σελίδες κοινωνικής δικτύωσης (Social networks), όπως το Facebook και το Twitter. Συγκεκριμένα, το Twitter αποτελεί έναν σημαντικό πόλο ενδιαφέροντος για την ανάκτηση και ανάλυση πληροφοριών. Η σημασία αυτού έγκειται στο γεγονός ότι οι αναρτήσεις στο Twitter (tweets) περιλαμβάνουν πολύτιμα δεδομένα για την κατανόηση της κοινής γνώμης, των τάσεων και των συμπεριφορών των χρηστών. Η παρούσα ερευνητική εργασία είχε ως στόχο την υλοποίηση και το σχεδιασμό ενός απλού προγράμματος python, που ονομάσαμε TwitterSearch, το οποίο επιτρέπει την αναζήτηση και τη λήψη tweets από το Twitter χρησιμοποιώντας το Twitter v2 API.
Όσον αφορά τη δομή της παρούσας εργασίας, στο εισαγωγικό κεφάλαιο παρατίθενται κάποιες γενικές πληροφορίες που αφορούν την ανάπτυξη του διαδικτύου, των μέσων κοινωνικής δικτύωσης και το Twitter. Η μεθοδολογία που ακολουθήθηκε για τη συγγραφή της παρούσης διπλωματικής εργασίας ήταν η συγκέντρωση υλικού και αξιόπιστων πληροφοριών που αφορούν την ανάλυση δεδομένων από το Twitter και τη χρήση του Twitter v2 API. Στη συνέχεια, πραγματοποιήθηκε εκτενής μελέτη του υλικού και των πληροφοριών που συλλέχθηκαν. Λόγω του αντικειμένου της εργασίας, χρησιμοποιήθηκε επίσης η γλώσσα προγραμματισμού Python έκδοσης 3.11.4
Στο δεύτερο κεφάλαιο, παρουσιάζεται μια ανασκόπηση των υπαρχόντων λογισμικών που ασχολούνται με την αναζήτηση στο Twitter. Εξετάζονται εφαρμογές όπως το TweetScraper, το TwitterSearch, το Tweepy και Selenium based web scrapers.. Αναλύονται οι δυνατότητες αυτών των εφαρμογών. Εν συνεχεία αυτής της ανάλυσης, υλοποιήθηκε μια νέα βελτιωμένη εφαρμογή που παρέχει μια ολοκληρωμένη και αποτελεσματική λύση για τη μαζική αναζήτηση και εξαγωγή αναρτήσεων από το Twitter.
Το τρίτο κεφάλαιο, εστιάζει στο σχεδιασμό και την υλοποίηση του TwitterSearch. Επιπλέον αφορά τη σωστή προετοιμασία και τον καθορισμό των ρυθμίσεων που απαιτούνται για την εκτέλεση του. Το TwitterSearch επιτρέπει την μαζική αναζήτηση αναρτήσεων με βάση κατηγορίες, λέξεις-κλειδιά ή χρονικά περιθώρια. Αν και αυτή η υλοποίηση έχει ως στόχο τον πειραματισμό και την εξοικείωση με το v2 API του Twitter, αποτελεί ένα σημαντικό βήμα για την κατανόηση των βασικών αρχών και λειτουργιών που εμπλέκονται στη μαζική αναζήτηση και εξαγωγή αναρτήσεων από το Twitter.
Στο τέταρτο κεφάλαιο παρουσιάζονται αναλυτικά όλες οι εντολές του προγράμματος, με αποτελέσματα από τις χρήσεις τους. Το κεφάλαιο αυτό περιλαμβάνει επίσης την εκτέλεση και τις λειτουργίες του. Προσωπικά ασχολήθηκα με την υλοποίηση ενός κελύφους (shell) με πρόσθετες εντολές, οι οποίες είναι παραμετροποιήσιμες λόγω του ότι δέχονται ορίσματα και που θα αναλυθούν εκτενώς στο κεφάλαιο αυτό.
Τέλος, ακολουθεί το πέμπτο και τελευταίο κεφάλαιο με τα συμπεράσματα της εργασίας, καθώς και προτεινόμενες βελτιώσεις για το μέλλον.
-
The rapid advancement of technology, especially in telecommunications and smart devices (e.g., smartphones, smartwatches, tablets), has facilitated the use of social media platforms. As a result, there has been a massive increase in their usage compared to any other use of the internet. One of the primary categories of social media platforms is social networks, such as Facebook and Twitter. Specifically, Twitter is of significant interest for information retrieval and analysis. The significance lies in the fact that Twitter posts (tweets) contain valuable data for understanding public opinion, trends, and user behaviors. The aim of this research project was to implement and design a simple Python program called "TwitterSearch." This program allows for searching and retrieving tweets from Twitter using the Twitter v2 API.
As for the structure of this work, the introductory chapter provides some general information regarding the development of the internet, social media, and Twitter. The methodology employed for the writing of this thesis involved gathering reliable information related to data analysis from Twitter and the use of the Twitter v2 API. Subsequently, an extensive study of the collected materials and information was conducted. Due to the nature of the work, Python programming language version 3.11.4 was also utilized.
In the second chapter, a review of existing software applications dealing with Twitter searching is presented. Applications such as TweetScraper, TwitterSearch, Tweepy, and Selenium-based web scrapers are examined. The capabilities of these applications are analyzed. Following this analysis, a new improved application was developed to provide a comprehensive and efficient solution for mass searching and extraction of posts from Twitter.
The third chapter focuses on the design and implementation of TwitterSearch. Additionally, it covers the proper preparation and configuration settings required for its execution. TwitterSearch allows for mass searching of posts based on categories, keywords, or time frames. While this implementation is aimed at experimentation and familiarity with Twitter's v2 API, it represents a significant step in understanding the fundamental principles and functions involved in mass searching and extraction of posts from Twitter.
In the fourth chapter, all the program's commands are presented in detail, along with the results of their usage. This chapter also includes the execution and functionality of the program. I personally worked on the implementation of a shell with additional commands, which are customizable as they accept arguments and will be extensively discussed in this chapter.
Finally, the fifth and last chapter contains the conclusions of the work, as well as suggested improvements for the future.
-
- Hellenic Open University
- Αναφορά Δημιουργού-Μη Εμπορική Χρήση 4.0 Διεθνές