Sepsis is a life-threatening condition requiring early intervention, and multimodal machine
learning is widely expected to improve its prediction by integrating diverse clinical data
streams. Yet the true incremental value of such fusion at early prognostic horizons remains
unclear. This dissertation evaluates a four-modality explainable late-fusion network for
sepsis prediction six hours before clinical onset in Intensive Care Unit (ICU) patients,
using the MIMIC-IV database. The architecture integrates tabular Electronic Health
Records (EHR), Electrocardiogram (ECG) waveforms, Chest X-ray (CXR) images, and
radiology reports through frozen domain-specific foundation models, and handles the high
missingness of clinical data without imputation, by means of a Masked Softmax gating
network that routes between an additive head and a non-linear synergy head.
The central finding is a null result, established from three converging lines of evidence:
the EHR foundation model is a capable predictor of impending sepsis (AUROC 0.8664),
whereas the ECG, CXR image, and radiology report are weakly informative auxiliary
baselines; the gating network, free to weight the modalities as it saw fit, concentrated
almost all weight on the EHR pathway for the great majority of patients; and an
Incremental Value Analysis on the complete-case "Gold Cohort" showed no measurable
gain from the auxiliary modalities. The four-modality network did not outperform the
EHR baseline, in either fusion's training regime. The equivalence of pretrained and fromscratch training localizes the cause outside the fusion design, in some combination of
weak modality signal and the limits of the frozen embeddings. A secondary analysis finds
that post-hoc token attribution on the EHR model resolves into tokens of clinical process
rather than specific findings. The contribution of this work is a rigorously evaluated,
mechanistically explained negative result, alongside the late-fusion framework and the
explainability analysis built to reach it

Η σήψη είναι μια απειλητική για τη ζωή κατάσταση που απαιτεί έγκαιρη παρέμβαση, και
η πολυτροπική μηχανική μάθηση (multimodal machine learning) προσδοκάται να
βελτιώσει την πρόβλεψή της μέσω της ενσωμάτωσης ποικίλων κλινικών δεδομένων.
Ωστόσο, η πραγματική αυξητική αξία (incremental value) μιας τέτοιας σύντηξης σε
πρώιμους προγνωστικούς ορίζοντες παραμένει ασαφής. Η διατριβή αξιολογεί ένα
επεξηγήσιμο δίκτυο όψιμης σύντηξης (explainable late-fusion network) τεσσάρων
τροπικοτήτων για την πρόβλεψη της σήψης έξι ώρες πριν την κλινική έναρξη σε ασθενείς
ΜΕΘ, αξιοποιώντας τη βάση δεδομένων MIMIC-IV. Η αρχιτεκτονική ενσωματώνει
πινακοποιημένα Ηλεκτρονικά Μητρώα Υγείας (EHR), Ηλεκτροκαρδιογραφήματα (ECG),
εικόνες Ακτινογραφίας Θώρακα (CXR) και ακτινολογικές αναφορές μέσω παγωμένων
μοντέλων γενικού σκοπού (frozen foundation models), και διαχειρίζεται την υψηλή
έλλειψη δεδομένων χωρίς τεχνικές συμπλήρωσης (imputation), μέσω δικτύου πύλης
Masked Softmax που κατευθύνει τη ροή μεταξύ μιας αθροιστικής κεφαλής (additive head)
και μιας μη γραμμικής κεφαλής συνέργειας (synergy head).
Το κεντρικό εύρημα είναι ένα μηδενικό αποτέλεσμα (null result), τεκμηριωμένο από τρεις
συγκλίνουσες γραμμές: το μοντέλο EHR είναι ικανός προγνωστικός δείκτης της
επικείμενης σήψης (AUROC 0,8664), ενώ το ECG, η εικόνα CXR και η ακτινολογική
αναφορά αποτελούν αδύναμες πληροφοριακές βοηθητικές αναφορές· το δίκτυο πύλης,
ελεύθερο να σταθμίσει τις τροπικότητες, συγκέντρωσε σχεδόν όλο το βάρος στο μονοπάτι
του EHR για τη συντριπτική πλειοψηφία των ασθενών· και η Ανάλυση Αυξητικής Αξίας
στον «Χρυσό Πληθυσμό» (Gold Cohort) δεν κατέδειξε μετρήσιμο κέρδος από τις
βοηθητικές τροπικότητες. Το πολυτροπικό δίκτυο δεν ξεπέρασε τη γραμμή βάσης του
EHR με κανέναν τρόπο εκπαίδευσης. Η ισοδυναμία των δύο τρόπων εκπαίδευσης
(προεκπαιδευμένος και από το μηδέν) αποδίδει την αιτία εκτός του σχεδιασμού της
σύντηξης, σε κάποιον συνδυασμό ασθενούς σήματος των βοηθητικών τροπικοτήτων και
των περιορισμών των παγωμένων διανυσμάτων (frozen embeddings). Δευτερογενής
ανάλυση δείχνει ότι η εκ των υστέρων απόδοση σημασίας στα tokens (post-hoc token
attribution) του EHR αναδεικνύει tokens κλινικής διαδικασίας παρά συγκεκριμένα
ευρήματα. Η συνεισφορά είναι ένα αυστηρά αξιολογημένο και μηχανιστικά επεξηγημένο αρνητικό αποτέλεσμα, παράλληλα με το πλαίσιο όψιμης σύντηξης και την ανάλυση
επεξηγησιμότητας που το συνόδευσαν.