Dieses Projekt entwickelt und analysiert mehrstufige und regularisierte Newton-Verfahren für grossskalige Optimierungsprobleme, mit einem Fokus auf schnelle Konvergenz, Skalierbarkeit und Anwendungen im maschinellen Lernen und Deep Learning.
Dieses Projekt konzentriert sich auf die theoretische Analyse und praktische Entwicklung von Methoden zweiter Ordnung für grossskalige Optimierung. Das zentrale Ziel ist die Entwicklung von Newton-Verfahren, die die schnellen Konvergenzeigenschaften klassischer Methoden zweiter Ordnung beibehalten, während ihre Rechenkosten durch mehrstufige, Unterraum-, randomisierte und regularisierte Techniken reduziert werden.
Ein wesentlicher Teil des Projekts betrifft mehrstufige Verfahren für selbstkonkordante und stark selbstkonkordante Minimierung. Dies umfasst die Entwicklung eines mehrstufigen Newton-Verfahrens, das wichtige Einschränkungen in der Theorie randomisierter Newton-Verfahren adressiert, darunter das Fehlen superlinearer Konvergenz mit globalen Konvergenzgarantien sowie das Fehlen einer skaleninvarianten Analyse. Diese Arbeitsrichtung erstreckt sich zudem auf nicht-konvexe Optimierung und zeigt ein verbessertes praktisches Verhalten, einschliesslich eines schnelleren Entkommens aus Sattelpunkten und flachen Regionen im Vergleich zu Standardmethoden erster Ordnung.
Das Projekt untersucht zudem regularisierte Newton-Verfahren für konvexe und nicht-konvexe Probleme. In diesem Zusammenhang besteht das Ziel darin, scharfe globale Konvergenzraten zu etablieren und zu verstehen, wie mehrstufige Regularisierung Komplexitätsgarantien auf dem aktuellen Stand der Forschung erreichen kann, während sie für grossskalige Probleme geeignet bleibt. Ein verwandter Teil der Arbeit untersucht das verbesserte lokale Verhalten des Newton-Verfahrens für stark selbstkonkordante Funktionen und zeigt, dass stärkere strukturelle Annahmen zu schnellerer Konvergenz und grösseren Bereichen lokaler Konvergenz führen können.
Das Projekt widmet sich ausserdem der Frage, wann ein Optimierungsalgorithmus von einer kostengünstigeren, aber langsameren Methode zu einer teureren Methode zweiter Ordnung mit schneller lokaler Konvergenz wechseln sollte. Dies führt zur Entwicklung adaptiver mehrstufiger Newton-Verfahren mit nachweisbarer quadratischer lokaler Konvergenz. Insgesamt trägt das Projekt zu einem breiteren Forschungsprogramm zur skalierbaren Optimierung zweiter Ordnung bei, mit potenziellen Anwendungen im maschinellen Lernen, Deep Learning und wissenschaftlichen Rechnen.
