Cramér-Rao-Ungleichung

zentrale Ungleichung der Schätztheorie

Die Cramér-Rao-Ungleichung, auch Informationsungleichung oder Fréchet-Ungleichung genannt, ist eine zentrale Ungleichung der Schätztheorie, einem Teilgebiet der mathematischen Statistik. Sie liefert in regulären statistischen Modellen eine Abschätzung für die Varianz von Punktschätzern und damit eine Möglichkeit, unterschiedliche Schätzer miteinander zu vergleichen sowie ein Kriterium für die Bestimmung von gleichmäßig besten erwartungstreuen Schätzern.

Illustration der Cramer-Rao Schranke: es gibt keinen unberührten Schätzer, welcher den (2-dimensionalen) Parameter mit niedrigerer Varianz schätzt als die Cramer-Rao Schranke, welche als Standardabweichungs-Ellipse dargestellt ist

Die Ungleichung ist nach Harald Cramér und Calyampudi Radhakrishna Rao beziehungsweise nach Maurice René Fréchet benannt.

Rahmenbedingungen

Bearbeiten

Gegeben sei ein einparametriges Standardmodell  , das heißt, es ist   und jedes der   besitzt eine Dichtefunktion   bezüglich des Maßes  .

Des Weiteren seien die Cramér-Rao-Regularitätsbedingungen erfüllt, das heißt, es gilt:

  •   ist eine offene Menge.
  • Die Dichtefunktion   ist auf ganz   echt größer als 0.
  • Die Score-Funktion
 
existiert und ist endlich.
  • Die Fisher-Information   ist echt positiv und endlich.
  • Es gilt die Vertauschungsrelation
 .

Formulierung

Bearbeiten

Ist dann   ein Schätzer mit endlicher Varianz und ist

 

so ist   ein erwartungstreuer Schätzer für  . Ist nun   ein regulärer Schätzer in dem Sinne, als dass die Vertauschungsrelation

 ,

gültig ist, so gilt die Cramér-Rao-Ungleichung

 

wobei   die Ableitung von   ist.

Bemerkungen

Bearbeiten

Die Definition der zu schätzenden Funktion   über den Erwartungswert von   garantiert die Differenzierbarkeit dieser Funktion. Alternativ kann auch   als ein erwartungstreuer Schätzer für eine differenzierbare Funktion   definiert werden.

Formulierung für verzerrte Schätzer

Bearbeiten

Für verzerrte Schätzer mit Verzerrung   gilt:   wobei   kleiner Null sein kann und somit die Varianz im Vergleich zu einem unverzerrten Schätzer verkleinern kann.

Abgeleitete Begriffe

Bearbeiten

Cramér-Rao-Schranke

Bearbeiten

Ist   ein erwartungstreuer Schätzer für die Funktion  , so vereinfacht sich die Cramér-Rao-Ungleichung zu

 .

Dies nennt man auch die Cramér-Rao-Schranke.

Cramér-Rao-Effizienz und Supereffizenz

Bearbeiten

Ein Schätzer, welcher die Cramér-Rao-Ungleichung mit Gleichheit erfüllt, heißt ein Cramér-Rao-effizienter Schätzer. Er ist ein gleichmäßig bester erwartungstreuer Schätzer für die Klasse der regulären Schätzer, also diejenigen, für die die obige Vertauschungsrelation gilt. Einfachstes und bekanntestes Beispiel eines Cramér-Rao-effizienter Schätzers ist das arithmetische Mittel   als Schätzer für den Erwartungswert   einer Normalverteilung.

Schätzer, die die Cramér-Rao-Ungleichung sogar unterschreiten, werden supereffizient genannt. Diese sind notwendigerweise nicht-regulär oder nicht-erwartungstreu, erfüllen also nicht die Bedingungen der Cramér-Rao-Ungleichung. Der bekannteste Vertreter supereffizienter Schätzer ist der James-Stein-Schätzer.

Regularitätsbedingungen und Beweisidee

Bearbeiten

Der Beweis der Cramér-Rao-Ungleichung beruht im Wesentlichen auf der Cauchy-Schwarz-Ungleichung und zwei Modellannahmen, die die Vertauschbarkeit von Differentiation und Integration regeln.

Einerseits soll

 

gelten und andererseits nehmen wir

 

an. Direktes Einsetzen in die Cauchy-Schwarz-Ungleichung liefert dann die Behauptung.

Mehrdimensionale Formulierung

Bearbeiten

Unter ähnlichen Regularitätsbedingungen ist die Cramér-Rao-Ungleichung auch im Falle mehrdimensionaler Parameter formulierbar. Die Aussage überträgt sich dann auf die Betrachtung der Kovarianzmatrix des mehrdimensionalen Schätzers und liefert eine  -Relation im Sinne der Löwner-Halbordnung für Matrizen.

Sei   der Vektor der unbekannten Parameter und   eine multivariate Zufallsvariable mit zugehöriger Wahrscheinlichkeitsdichte  .

Der Schätzer

 

für den Parametervektor   besitzt eine Kovarianzmatrix

 .

Die Cramér-Rao-Ungleichung lautet in diesem Fall

 

wobei   die Fisher-Informationsmatrix

 

ist.

Anwendungen

Bearbeiten

Mit Hilfe der Cramér-Rao-Ungleichung lässt sich die dynamische Permeabilitätszahl von Membranen abschätzen, was vor allem in der Bio- und Nanotechnologie rege Anwendung findet.

Verallgemeinerungen

Bearbeiten

Eine mögliche Verallgemeinerung ist die Chapman-Robbins-Ungleichung. Sie erlaubt eine Abschätzung der Varianz eines Schätzers bezüglich eines fest vorgegebenen   und wird daher für Abschätzungen im Rahmen der Untersuchung von lokal minimalen Schätzern verwendet. Bei Grenzübergang liefert sie eine punktweise Version der Cramér-Rao-Ungleichung.

Als eine Verallgemeinerung der Cramér-Rao-Ungleichung kann auch die Van-Trees-Ungleichung aus der bayesschen Statistik angesehen werden. Im Unterschied zu dieser lässt sich die Van-Trees-Ungleichung auch auf nicht-erwartungstreue Schätzer anwenden.

Siehe auch

Bearbeiten
Bearbeiten

Literatur

Bearbeiten