Η Ενισχυτική Μάθηση αποτελεί ένα τομέα της Μηχανικής Μάθησης ο οποίος πραγματεύεται την υλοποίηση υπολογιστικών προγραμμάτων (πράκτορες) τα οποία είναι σε θέση να μάθουν να ενεργούν με το βέλτιστο δυνατό τρόπο σε ένα περιβάλλον, χωρίς πρότερη γνώση της δυναμικής και των κανόνων λειτουργίας αυτού, μέσω ενός μηχανισμού αλληλεπίδρασης με αυτό και ανταμοιβών. Πέραν της διαδικασίας μάθησης εξίσου σημαντική διάσταση αποτελεί και η δυνατότητα προσαρμογής του πράκτορα στις μεταβολές του περιβάλλοντος.
Τα Συστήματα Συνεργατικών Πρακτόρων εξετάζουν μοντέλα υπολογιστικών προγραμμάτων τα οποία συνεργάζονται μεταξύ τους για την επίτευξη ενός κοινού στόχου. Οι επιμέρους πράκτορες δύναται να έχουν τις ίδιες, επικαλυπτόμενες ή συμπληρωματικές ικανότητες / λειτουργίες. Σημαντικό στοιχείο των συστημάτων συνεργατικών πρακτόρων αποτελεί το γεγονός πως αυτά δύναται να εκτελέσουν λειτουργίες οι οποίες είναι ιδιαίτερα δύσκολο ή αδύνατον να υλοποιηθούν στο πλαίσιο ενός πράκτορα. Όσο αυξάνεται η πολυπλοκότητα και η διαφορετικότητα των ενεργειών που ένας πράκτορας καλείται να εκτελέσει, αυξάνονται επίσης και οι απαιτούμενοι υπολογιστικοί πόροι για τη λειτουργία του πράκτορα.
Στη παρούσα εργασία προτείνεται η υλοποίηση ενός αλγορίθμου συνεργατικών πρακτόρων οι οποίοι σε συνδυασμό με μηχανισμούς ενισχυτικής μάθησης θα επιτύχουν να μάθουν αυτόνομα το περιβάλλον στο οποίο κινούνται και στη συνέχεια να επιτύχουν συνεργαζόμενοι το επιθυμητό αποτέλεσμα. Για την υλοποίηση του αλγορίθμου θα χρησιμοποιηθεί η πλατφόρμα RLGame η οποία έχει υλοποιηθεί στη βάση προηγούμενων εργασιών. Το RLGame αποτελεί ένα παιχνίδι στρατηγικής δύο παικτών το οποίο αναπτύχθηκε ως ένα εργαλείο για την μελέτη και έρευνα στο πεδίο της Ενισχυτικής Μάθησης.
Reinforcement Learning is a field of Machine Learning that deals with the implementation of computer programs (agents) able to learn to act in the best possible way in an environment without prior knowledge of the dynamics and its operating rules, using a mechanism of interactions and rewards. Apart from the learning process, an equally important dimension is also the ability of the agent to adapt to a changed environment.
Co-operative Multi-agent Systems researching models of agents that work together in order to achieve a common goal. Individual agents may have the same, overlapping or complementary capabilities / functions. An important element of co-operative agent systems is that they can perform functions that are particularly difficult or impossible to implement within an agent. As the complexity and diversity of the actions that an agent is required to perform increases, the needed computational resources for the agent's operation also increase.
In this thesis we propose the implementation of an algorithm of co-operative agents which, in combination with reinforcing learning mechanisms, will succeed in learning autonomously the environment in which they operate and achieve the desired result. To implement the algorithm, we will use the RLGame platform that has been implemented in previous theses. RLGame is a two player strategy game developed as a tool for study and research in the field of Reinforcement Learning.
Συνεργατικοί πράκτορες σε συστήματα για παιχνίδια στρατηγικής