Illustration

Prof. Dr. Andreas Fischer: „Tuning of Hyper-Parameters in Machine Learning Problems“

Termin: 06.10.2014 17:00 Uhr

Der Vortrag findet im KSW Seminargebäude A, Obergeschoss Raum 4+5, Universitätsstr. 33, 58097 Hagen, statt.

Wir können die Vetranstaltung nicht übertragen, da der Referent seine Zustimmung nicht gegeben hat.

Loading the player ...

 

Der Vortrag findet im Rahmen des Hagenener Forschungsdialogs statt.

Abstract:
Methoden des Machine Learning ermöglichen es, ganz unterschiedliche funktionale Zusammenhänge auf der Basis von Trainingsdaten zu approximieren. Beispielsweise kann man handgeschriebene Zeichen oder Versagensmodi von Maschinen erkennen, das Alter von Personen oder die Lage eines Gegenstands schätzen und zeitaufwändige mathematische Rechnungen oder kostenintensive Versuche durch eine schnelle und billige Näherung ersetzen.

Zur Approximation solcher funktionalen Zusammenhänge werden oft Support Vector Machines oder eine Support Vector Regression eingesetzt. Dahinter verbergen sich spezielle konvexe aber hochdimensionale Optimierungsaufgaben. Mit ihrer Hilfe wird eine Funktion aus einer Menge von Funktionen (etwa Polynome oder radiale Basisfunktionen) ausgewählt. Die ausgewählte Funktion verwendet man dann zur Approximation des interessierenden funktionalen Zusammenhangs. Die Menge von Funktionen hängt von sogenannten Hyper-Parametern ab, die einen wesentlichen Einfluss auf die Güte der erhaltenen Approximation besitzen.

Die Festlegung der Hyper-Parameter (Tuning) führt auf ein kompliziertes hochdimensionales Bi-Level Optimierungsproblem. Wir zeigen, wie man dieses Problem für den Fall einer Least-Squares Support Vector Regression in ein klassisches Optimierungsproblem überführen kann, für das sich effizient eine lokale Lösung berechnen lässt. Besonders günstig ist das Vorgehen, wenn mehr als zwei oder drei Hyper-Parameter zu optimieren sind. Die Diskussion numerischer Tests rundet den Vortrag ab.

videostreaming | 12.08.2021
FernUni-Logo FernUniversität in Hagen, ZMI, 58084 Hagen, E-Mail: viedeostreaming(at)fernuni-hagen.de