Deep Learning: Einblicke in das Lernen künstlicher Intelligenz aus komplexen Netzwerkstrukturen
Die Errungenschaften tiefer neuronaler Netze sind in den Bereichen Wissenschaft und Technologie unübersehbar, doch die Gründe für ihre Effektivität bleiben oft im Dunkeln. Eine aktuelle Forschungsarbeit liefert neue Einsichten in die Arbeitsweise von Deep-Learning-Modellen, insbesondere beim Lernen aus relationalen Daten, wie sie in biologischen und sozialen Netzwerken zu finden sind.
Tiefe neuronale Netze, inspiriert von der Struktur des menschlichen Gehirns, sind komplexe Systeme, die trotz ihrer beeindruckenden Leistung in puncto Transparenz und Nachvollziehbarkeit ihrer inneren Prozesse Fragen aufwerfen. Graphische neuronale Netze (GNNs), entwickelt zur Modellierung von Beziehungen zwischen Entitäten wie Individuen, Molekülen oder Städten, haben breite Anwendungsbereiche gefunden – von der Vorhersage von Verkehrsflüssen bis zur Beschleunigung der Entdeckung neuer Medikamente. AlphaFold, ein Vorreiter in der Anwendung von GNNs, widmet sich dem komplexen Feld der Proteinfaltung, verdeutlicht jedoch gleichzeitig das begrenzte Verständnis der fundamentalen Prinzipien hinter dem Erfolg von GNNs.
Die Studie von Professor Ivan Dokmanić und seinem Team an der Universität Basel nutzt Methoden aus der statistischen Mechanik, um die „doppelte Abstieg“-Eigenheit moderner Deep-Learning-Modelle zu untersuchen, ein Phänomen, bei dem mehr Daten paradoxerweise die Modellleistung verschlechtern können. Die Forschungsergebnisse offenbaren, dass GNNs diesem Trend widerstehen können, abhängig von der Homophilie (Gleichgesinntheit) oder Heterophilie (Komplementarität) in den Daten.
Die Entdeckung, dass die Netzwerkstruktur – ob homophil oder heterophil – entscheidend für die Anwendbarkeit des Gelernten auf neue Situationen ist, markiert einen bedeutenden Fortschritt in der Entwicklung effizienterer GNNs. Besonders für heterophile Daten, wie sie in der medizinischen Forschung auftreten, bietet dies wichtige Ansätze für die Verbesserung der Modelle.
„Die Studienergebnisse fördern unser Verständnis darüber, wie KI aus komplexen Netzwerken lernt und bieten praktische Anleitungen zur Entwicklung leistungsfähigerer neuronaler Netze für die Verarbeitung realer Daten“, so Dokmanić. „Von der Medikamentenentdeckung bis zur Analyse sozialer Netzwerke – die Erkenntnisse haben weitreichende Auswirkungen.“
Die in der Fachzeitschrift PNAS publizierte Studie zieht Parallelen zwischen GNNs und ungeordneten physikalischen Systemen, sogenannten Spin-Gläsern, um eine Theorie der Generalisierung in GNNs zu formulieren, wodurch ein tieferes Verständnis dieser Technologie ermöglicht wird.
Forschungsergebnisse: Cheng Shi, Liming Pan, Hong Hu, Ivan Dokmanić: Homophily modulates double descent generalization in graph convolution networks. Veröffentlicht in Proceedings of the National Academy of Sciences (2024), doi: 10.1073/pnas.2309504121
Erstveröffentlichung auf der Webseite der Universität Basel.
