Dieses Projekt untersucht, wie abstrakte Fourier-Entwicklungen mit rationalen Funktionensystemen zur Modellierung linearer zeitinvarianter dynamischer Systeme genutzt werden können, und verallgemeinert diese Ergebnisse auf Kernel-Entwicklungen, um neuartige Modellierungsansätze für maschinelle Lernverfahren und nichtlineare Abbildungen zu entwickeln. Dadurch entwickeln wir mathematisch fundierte, datengetriebene Approximationsalgorithmen, die über ein breites Spektrum an Disziplinen hinweg anwendbar sind.
Dieses Projekt entwickelt neue mathematische Werkzeuge, um komplexe Systeme zu verstehen und zu modellieren – von der Ingenieurwissenschaft bis zum maschinellen Lernen. Viele reale Systeme – wie elektrische Schaltkreise oder mechanische Geräte – lassen sich durch Gleichungen beschreiben, die ihre Eingänge mit ihren Ausgängen verknüpfen. Oft kennen wir die genauen Regeln, die ein System bestimmen, nicht, weshalb wir stattdessen versuchen, ein Modell direkt aus gemessenen Daten zu lernen. Dieses Projekt schlägt neue Wege vor, diese Systembeschreibungen mithilfe von Werkzeugen aus der harmonischen Analysis in einfachere Bausteine zu zerlegen, wodurch die resultierenden Modelle robuster und zuverlässiger werden, selbst wenn die Komplexität des Systems im Voraus unbekannt ist.
Über diese klassischen dynamischen Systeme hinaus erweitert das Projekt ähnliche Ideen auf die Modellierung allgemeiner nichtlinearer Zusammenhänge in Daten, was für viele Methoden des maschinellen Lernens von zentraler Bedeutung ist. Wir zeigen, wie diese Techniken der harmonischen Analysis, die ursprünglich zur Beschreibung dynamischer Systeme entwickelt wurden, angepasst werden können, um effizientere Modelle für maschinelles Lernen zu erstellen – insbesondere solche, die auf sogenannten „Kernel-Methoden" basieren, welche aufgrund hoher Rechenkosten derzeit Schwierigkeiten mit grossen Datensätzen haben. Unser Ansatz macht diese Techniken skalierbarer und praxistauglicher.
Ein weiteres Ziel besteht darin, komplexe Modelle zu vereinfachen, ohne an Genauigkeit einzubüssen – ein Prozess, der als Modellordnungsreduktion bekannt ist. Wir schlagen neue Methoden vor, um komplizierte Systembeschreibungen auf wesentlich einfachere zu reduzieren, wobei wichtige Eigenschaften wie Stabilität erhalten bleiben. Diese Methoden sind auch auf allgemeinere nichtlineare Modelle anwendbar, einschliesslich neuronaler Netze und komplexer physikalischer Prozesse.
Schliesslich widmen wir uns einer zentralen Herausforderung der modernen künstlichen Intelligenz: Viele leistungsstarke Modelle des maschinellen Lernens, wie tiefe neuronale Netze, funktionieren als unvorhersehbare „Black Boxes", was ihren Einsatz in sicherheitskritischen Anwendungen verhindert. Um dies zu adressieren, entwerfen wir neue Arten von neuronalen Netzwerkkomponenten, die sowohl effizient als auch besser interpretierbar sind und Einblick in die Entscheidungsfindung des Modells geben.
