Empirische Risikominimierung

Prinzip der statistischen Lerntheorie

Empirische Risikominimierung ist ein häufig angewendetes Prinzip der statistischen Inferenz[1]. Sie wird beim überwachten Lernen verwendet. Beim maschinellen Lernen ist es häufig nicht möglich, alle möglichen Eingabedaten zu kennen oder zu testen. Daher wird bei der empirische Risikominimierung mit einem bekannten Subset der möglichen Eingabedaten gearbeitet.

Definition Bearbeiten

Die Risikofunktion ist:

 

wobei L eine Verlustfunktion (z. B. die 0-1 Verlustfunktion) ist,   eine von den Realisierungen   abhängige und durch   parametrisierte Hypothese, y ein Label. Die Risikominimierung hat zum Ziel   zu minimieren, indem die Parameter   angepasst werden. Beispielsweise minimiert der Bayes-Klassifikator das Risiko einer Falschklassifikation.

Ziel der Lernverfahren ist es die Hypothese   im Raum der untersuchten Hypothesen   zu finden, für das Risiko minimiert wird:

 

siehe auch arg min.

In der empirischen Risikominimierung stehen jedoch nicht die echten Wahrscheinlichkeitsdichten   zur Verfügung, sodass stattdessen der empirische Schätzer   minimiert wird, welcher nach dem Gesetz der großen Zahlen gegen den Erwartungswert konvergiert.

Eigenschaften Bearbeiten

Die Auswahl einer Verlustfunktion entscheidet über die Modellausgabe. Im Rahmen der Probabilistischen Klassifikation können Scoring rules als Verlustfunktion eingesetzt werden um die Wahrscheinlichkeitskalibrierung zu verbessern.

Verlustfunktion Mittlerer quadratischer Fehler Bearbeiten

Minimierung des mittleren quadratischen Fehlers   liefert eine Schätzung des bedingten Erwartungswertes[2]:  

Verlustfunktion Mittlerer absoluter Fehler Bearbeiten

Minimierung des mittleren absoluten Fehlers   liefert eine Schätzung des bedingten Medians:   wobei beim Beweis auf die Leibnizregel für Parameterintegrale zurückgegriffen wird.

Quantilsverlustfunktion Bearbeiten

Minimierung des Erwartungswertes der Quantilsverlustfunktion liefert die Quantilsschätzung, der Beweis greift (wie beim mittleren absoluten Fehler) auf die Leibnizregel für Parameterintegrale zurück:

  wobei  

Verlustfunktion Absolute Percentage Error Bearbeiten

Im Kontext der MAPE-Regression wird die Nähe von   zu   durch Mean absolute percentage error gemessen, und das Ziel von MAPE-Regressionen besteht darin, ein Modell   zu finden, so dass:

 

wobei   die Klasse der in Betracht gezogenen Modelle ist.

In der Praxis kann   durch die Strategie der empirischen Risikominimierung geschätzt werden, was zu folgender Formel führt:

 

Es ist daher offensichtlich, dass die MAPE-Regression equivalent zu einer gewichteten Mean Absolute Error-Regression ist:

 

mit Gewichten  

Tilted Empirical Risk Minimization Bearbeiten

Tilted Empirical Risk Minimization (TERM)[3] dient dazu eine Verlustfunktion wie die quadratische Abweichung durch die Einführung eines Tilting-Parameters anzupassen. Dieser Parameter passt die Gewichtung von Datenpunkten während des Trainings dynamisch an, wodurch der Algorithmus sich auf bestimmte Bereiche oder Eigenschaften der Datenverteilung konzentrieren kann. TERM ist besonders nützlich in Szenarien mit unausgeglichen Klassenhäufigkeiten (imbalanced data) oder wenn es erforderlich ist, Fehler in bestimmten Teilen des Vorhersageraums zu betonen.

Gewichtete empirische Risikominimierung Bearbeiten

Die nach Wichtigkeit gewichtete empirische Risikominimierung (Importance weighted Empirical Risk Minimization) beruht auf dem Prinzip des Importance Sampling und dient dazu, die Auswirkungen von Abweichungen zwischen der Verteilungen der Trainingsdaten und der realen Daten zu minimieren. Dies ist besonders relevant in Situationen, in denen eine verzerrte Stichprobenauswahl oder Verteilungsverschiebungen (distribution drifts) vorliegen[4].

Verwandte Konzepte Bearbeiten

Empirische Risikominimierung kann mit kostensensitiver Optimierung in Verbindung gebracht werden[5].

Siehe auch Bearbeiten

Einzelnachweise Bearbeiten

  1. Ian Goodfellow, Yoshua Bengio, Aaron Courville: Deep Learning – Das umfassende Handbuch: Grundlagen, aktuelle Verfahren und Algorithmen, neue Forschungsansätze. MITP, Frechen 2018, ISBN 978-3-95845-702-7.
  2. Beachte: während dieses Resultat auch für heteroskedastische Fehler gilt, ist der Schätzer, welcher durch Minimierung des mittleren quadratischen Fehlers erhalten wird, nicht mehr am effizientesten (obwohl er unverzerrt ist).
  3. Li, Tian, et al. "Tilted empirical risk minimization." https://arxiv.org/abs/2007.01162
  4. What is the Effect of Importance Weighting in Deep Learning? Jonathon Byrd, Zachary C. Lipton https://arxiv.org/abs/1812.03372v3
  5. Maximum Likelihood in Cost-Sensitive Learning: Model Specification, Approximations, and Upper BoundsAuthors: Jacek P. Dmochowski, Paul Sajda, Lucas C. Parra, https://dl.acm.org/doi/10.5555/1756006.1953037