„Tuning of Hyper-Parameters in Machine Learning Problems“

Mit Methoden des Machine Learning kann man z.B. zeitaufwändige mathematische Rechnungen oder kostenintensive Versuche durch eine schnelle und billige Näherung ersetzen.


Öffentliches Fakultätskolloquium Mathematik und Informatik am 6. Oktober

Über „Tuning of Hyper-Parameters in Machine Learning Problems“ spricht Prof. Dr. habil. Andreas Fischer vom Institut für Numerische Mathematik der TU Dresden am Montag, 6. Oktober, ab 17 Uhr in der Reihe Fakultätskolloquium Mathematik und Informatik. Die Veranstaltung im Seminargebäude der FernUniversität in Hagen, Universitätsstr. 33, 58097 Hagen, ist öffentlich. Die Veranstaltungsreihe findet unter dem Dach des Hagener Forschungsdialogs der FernUniversität statt.

Illustration

Methoden des Machine Learning ermöglichen es, ganz unterschiedliche funktionale Zusammenhänge auf der Basis von Trainingsdaten zu approximieren. Beispielsweise kann man handgeschriebene Zeichen oder Versagensmodi von Maschinen erkennen, das Alter von Personen oder die Lage eines Gegenstands schätzen und zeitaufwändige mathematische Rechnungen oder kostenintensive Versuche durch eine schnelle und billige Näherung ersetzen.

Zur Approximation solcher funktionalen Zusammenhänge werden oft Support Vector Machines oder eine Support Vector Regression eingesetzt. Dahinter verbergen sich spezielle konvexe aber hochdimensionale Optimierungsaufgaben. Mit ihrer Hilfe wird eine Funktion aus einer Menge von Funktionen (etwa Polynome oder radiale Basisfunktionen) ausgewählt. Die ausgewählte Funktion verwendet man dann zur Approximation des interessierenden funktionalen Zusammenhangs. Die Menge von Funktionen hängt von sogenannten Hyper-Parametern ab, die einen wesentlichen Einfluss auf die Güte der erhaltenen Approximation besitzen. Die Festlegung der Hyper-Parameter (Tuning) führt auf ein kompliziertes hochdimensionales Bi-Level Optimierungsproblem. Der Referent zeigt, wie man dieses Problem für den Fall einer Least-Squares Support Vector Regression in ein klassisches Optimierungsproblem überführen kann, für das sich effizient eine lokale Lösung berechnen lässt. Besonders günstig ist das Vorgehen, wenn mehr als zwei oder drei Hyper-Parameter zu optimieren sind. Die Diskussion numerischer Tests rundet den Vortrag ab.

Gerd Dapprich | 15.09.2014