Isotonische Regression

mathematisch statistisches Regressionsverfahren

Die isotonische Regression ist ein Regressionsverfahren, mit dem eine isotone (ordnungserhaltende) Abbildung zwischen einer abhängigen und einer unabhängigen Variable gefunden wird. Werden monotone Abbildungen, also isotone sowie antitone Abbildungen, betrachtet, bezeichnet man das Verfahren als monotone Regression. Die von der Abbildung beschriebene Kurve hat anders als beispielsweise die lineare Regression keine feste Form, sondern nur die Beschränkung, monoton steigend (oder fallend) zu sein, während die Entfernung zu den Datenpunkten so gering wie möglich ist.

Ein Beispiel einer isotonischen Regression (durchgezogene rote Linie) verglichen mit einer linearen Regression (gestrichelte grüne Linie) auf denselben Daten. Beide wurden so optimiert, dass die mittlere quadratische Abweichung minimal wird. Bei der isotonischen Regression ist es möglich, dass die Kurve stärker steigt, wo die Daten größere Steigungen aufweisen. Durch die Isotonizitätsbeschränkung wird verhindert, dass die Kurve absinkt.

Anwendung

Bearbeiten

Wird zwischen einem Parameter und Messwerten eines Experiments eine monotone Beziehung erwartet, kann diese durch monotone Regression bestimmt werden, auch wenn die Messwerte durch Rauschen verfälscht sind. Eine Modellannahme wie Linearität muss dabei nicht getätigt werden.

Im Bereich des maschinellen Lernens finden sich oft Modelle, die eine Wahrscheinlichkeit für eine Klassifikation von Datenpunkten ausgeben. Je nach Modellart können die vorhergesagten Wahrscheinlichkeiten im Vergleich zur Häufigkeit der Klassen in den Daten verzerrt sein. Zur Korrektur können die Vorhersagen kalibriert werden. Eine dafür geeignete Methode basiert auf isotonischer Regression.[1]

Algorithmus

Bearbeiten

Bei der isotonischen Regression erfolgt eine Anpassung von Werten   an Beobachtungen   mit zugehörigen Gewichten   mithilfe der Methode der kleinsten Quadrate, wobei Nebenbedingungen der Form   (meist  ) eingehalten werden müssen. Das heißt, jeder Punkt muss einen mindestens so hohen Wert wie der vorherige Punkt haben.

Die Bedingungen beschreiben eine partielle oder totale Ordnung, die als gerichteter Graph   definiert werden kann, wobei   die Menge der Beobachtungen und   die Menge der Paare   bezeichnet, für die   gilt. Damit kann die isotonische Regression als folgendes quadratisches Programm formuliert werden:

   

Wenn   eine totale Ordnung ist, kann das Problem in   gelöst werden.[2]

Einzelnachweise

Bearbeiten
  1. Probability calibration. In: scikit-learn documentation. Abgerufen am 21. November 2019 (englisch).
  2. Michael J. Best, Nilotpal Chakravarti: Active set algorithms for isotonic regression; A unifying framework. In: Mathematical Programming. Band 47, Nr. 1–3, 1990, S. 425–439, doi:10.1007/BF01580873.