Στην παρούσα εργασία χρησιμοποιούμε τα νευρωνικά δίκτυα ενημερωμένα με εξισώσεις φυσικής (Physics Informed Neural Networks ή PINNs) για να επιλύσουμε μη γραμμικά προβλήματα της φυσικής. Σαν πρότυπο πρόβλημα επιλέχθηκε το χαοτικό πρόβλημα των τριών σωμάτων της ουράνιας μηχανικής. Η κωδικοποίηση έγινε σε γλώσσα Python με χρήση της βιβλιοθήκης DeepXDE. Τα scripts που χρησιμοποιήθηκαν στην εργασία έχουν αναρτηθεί στο github.

Το 1ο κεφάλαιο περιέχει μια σύντομη περιγραφή των βασικών εννοιών των νευρωνικών δικτύων με έμφαση στα νευρωνικά δίκτυα που χρησιμοποιούνται στην εργασία. Στο 2ο κεφάλαιο περιγράφονται τα νευρωνικά δίκτυα ενημερωμένα με εξισώσεις φυσικής (PINNs). Το 3ο κεφάλαιο περιέχει μια σύντομη περιγραφή της βιβλιοθήκης DeepXDE. Στο 4ο κεφάλαιο περιγράφονται τα πειράματα με την βιβλιοθήκη DeepXDE καθώς και οι τεχνικές που χρησιμοποιήθηκαν για την προσέγγιση των τροχιών. Αρχικά εκπαιδεύουμε τα Pinns χωρίς εξωτερικά δεδομένα. Ξεκινάμε με το πρόβλημα των δύο σωμάτων που είναι αναλυτικά επιλύσιμο και κατόπιν ασχολούμαστε με το μη επιλύσιμο και χαοτικό πρόβλημα των τριών σωμάτων. Συγκεκριμένα προσεγγίζουμε τρεις διάσημες περιοδικές λύσεις του προβλήματος των τριών σωμάτων, την λύση του Euler, την λύση του Lagrange και την πιο σύγχρονη περιοδική τροχιά σχήματος οκτώ (figure eight). Ιδιαίτερη έμφαση δίνεται στην γενίκευση της λύσης από το νευρωνικό δίκτυο και στον εντοπισμό περιπτώσεων ελλιπούς (ή και αποτυχημένης) εκπαίδευσης του δικτύου. Για παράδειγμα μια πολύ καλή οπτικά τροχιά μπορεί να είναι απλά μια υπερεκπαίδευση στα σημεία ελέγχου και να αποτυγχάνει σε ενδιάμεσα σημεία που δεν εκπαιδεύτηκε το δίκτυο. Κατόπιν συγκρίνουμε τα νευρωνικά δίκτυα με τα απλά νευρωνικά δίκτυα στην περίπτωση πειραματικών δεδομένων με υψηλό θόρυβο. Η σύγκριση γίνεται σε δύο περιπτώσεις: α) τα Pinns γνωρίζουν τις αρχικές συνθήκες του προβλήματος και β) τα pinns δεν γνωρίζουν τις αρχικές συνθήκες. Στην δεύτερη περίπτωση παρατηρήσαμε ότι η έλλειψη αρχικών συνθηκών οδήγησε τα pinns να βρουν αρχικές συνθήκες που αντιστοιχούν σε περιοδικές λύσεις που δεν δίνονταν από τα πειραματικά δεδομένα. Αυτήν την ενδιαφέρουσα ιδιότητα εξερευνήσαμε στην τελευταία παράγραφο. Συγκεκριμένα δίνοντας δεδομένα από γνωστές περιοδικές τροχιές σχήματος οκτώ τα pinns έδωσαν αρχικές συνθήκες κοντά σε διαφορετικές περιοδικές τροχιές τύπου BHH (από τα αρχικά των ερευνητών που τις ανακάλυψαν). Για τις ακριβείς περιοδικές συνθήκες χρησιμοποιήθηκε μια μέθοδος ελαχίστων τετραγώνων που αναζητά περιοδικές τροχιές κοντά στις αρχικές συνθήκες που έδωσε το pinn. Τέλος επεκτείναμε την μέθοδο σε αφύσικα δεδομένα με υψηλό θόρυβο που όμως είναι περιορισμένα σε κάποια “μικρή” περιοχή του χώρου με τροχιές κυκλικές ή ελλειπτικές και πήραμε αρκετές γνωστές περιοδικές λύσεις του προβλήματος των τριών σωμάτων.
Στο 5ο κεφάλαιο αναφέρουμε τα συμπεράσματα από τα πειράματα και γίνεται μια σύντομη συζήτηση για τα πλεονεκτήματα/μειονεκτήματα των Pinns σε σχέση με τις παραδοσιακές αριθμητικές μεθόδους.

In this thesis, we use Physics-Informed Neural Networks (PINNs) to solve nonlinear problems in physics. As a benchmark problem, we selected the chaotic three-body problem from celestial mechanics. The implementation was carried out in Python using the DeepXDE library. The scripts developed for this work have been uploaded to GitHub.

Chapter 1 provides a brief introduction to the fundamental concepts of neural networks, with emphasis on the architectures used in this thesis. Chapter 2 presents Physics-Informed Neural Networks (PINNs), while Chapter 3 gives a brief overview of the DeepXDE library. Chapter 4 describes the experiments performed with DeepXDE, as well as the techniques used to approximate the trajectories.

Initially, we train the PINNs without using external data. We begin with the two-body problem, which admits an analytical solution, and then proceed to the non-integrable and chaotic three-body problem. In particular, we approximate three well-known periodic solutions of the three-body problem: the Euler solution, the Lagrange solution, and the more recently discovered figure-eight orbit. Special emphasis is placed on the generalization ability of the neural network and on identifying cases of incomplete or unsuccessful training. For example, a trajectory that appears visually accurate may in fact correspond to overfitting at the training points while failing at intermediate points not included in the training set.

We then compare Physics-Informed Neural Networks with conventional neural networks in the presence of highly noisy experimental data. The comparison is performed in two cases: (a) when the PINNs are provided with the initial conditions of the problem, and (b) when the initial conditions are unknown. In the second case, we observed that the absence of initial conditions led the PINNs to identify alternative initial conditions corresponding to periodic solutions not represented in the experimental data. This interesting property is further investigated in the final section of Chapter 4. Specifically, when trained using data from known figure-eight periodic trajectories, the PINNs produced initial conditions close to different periodic solutions of the BHH family (named after the researchers who first discovered them). To determine the corresponding exact periodic conditions, we employed a least-squares method that searches for periodic trajectories near the initial conditions predicted by the PINNs.

Finally, we extended the method to non-physical high-noise data restricted to a relatively small region of space, involving circular or elliptical trajectories, and successfully recovered several known periodic solutions of the three-body problem.

Chapter 5 summarizes the conclusions drawn from the experiments and includes a brief discussion of the advantages and limitations of PINNs in comparison with traditional numerical methods.