Effizienz (Statistik)

Qualitätsmaß einer statistischen Methode

Die Effizienz ist ein zentrales Gütekriterium in der mathematischen Statistik und liefert die Möglichkeit, Punktschätzer miteinander zu vergleichen. Die Effizienz wird in der Literatur nicht einheitlich verwendet, daher sollte immer die Definition des jeweiligen Autors überprüft werden. Einige Unterscheidungen sind:

  • Effizienz und asymptotische Effizienz, also das Eintreten der Effizienz erst im Grenzwert.
  • Definitionen nur für erwartungstreue Schätzer oder auch für solche mit Verzerrung
  • Formulierung über die Cramér-Rao-Ungleichung, also nur in regulären statistischen Modellen. Dementsprechend wird dann von Cramér-Rao-Effizienz gesprochen.
  • „Absolute“ Effizienz gegen „relative“ Effizienz. Dabei ist ein absolut effizienter Schätzer besser als alle weiteren Schätzer in einer definierten Klasse, ein relativ effizienter Schätzer nur besser als ein angegebener Konterpart.

Entsprechend finden sich auch Kombinationen der oben aufgeführten Möglichkeiten. Zentrales Vergleichskriterium ist im erwartungstreuen Fall die Varianz des Schätzers, im nicht erwartungstreuen Fall der mittlere quadratische Fehler oder allgemein Risikofunktionen, die aus vorgegebenen Verlustfunktionen gewonnen werden.

Die Effizienz zählt neben Konsistenz, Suffizienz und (asymptotischer) Erwartungstreue zu den vier gebräuchlichen Gütekriterien von Punktschätzern.

Die Effizienz bezieht sich auf die Varianz einer Schätzfunktion. Je kleiner die Varianz einer Schätzfunktion ist, desto näher wird ein Schätzwert (im Mittel), berechnet aus einer Stichprobe, an dem wahren Parameter liegen. Man unterscheidet zwischen relativer und absoluter Effizienz.

Hat man zwei erwartungstreue Schätzfunktionen für den gleichen unbekannten Parameter, dann heißt die Schätzfunktion mit der kleineren Varianz (relativ) effizient oder effizienter. Zur Lösung des Schätzproblems würde man den effizienteren Schätzer bevorzugen. Die Cramér-Rao-Ungleichung sagt aus, dass es für viele Schätzprobleme eine untere Grenze für die Varianz einer erwartungstreuen Schätzfunktion gibt. Hat man eine solche Schätzfunktion gefunden, dann gibt es keine andere erwartungstreue Schätzfunktion, die eine kleinere Varianz hat. Kann man also zeigen, dass für ein Schätzproblem eine Schätzfunktion die minimale Varianz hat, so heißt diese Schätzfunktion absolut effizient.

Beispiel

Bearbeiten

Für unabhängige Stichprobenvariablen   mit   und   sollen die beiden Schätzfunktionen

 

und

 

für den unbekannten Parameter   betrachtet werden.

Beide Schätzfunktionen sind erwartungstreu:  . Für die Varianz ergibt sich jedoch

 

und

 .

Damit gilt

 ,

das heißt   ist effizienter als  .

Mathematische Definition

Bearbeiten

Erwartungstreuer Fall

Bearbeiten

Formal sei   ein erwartungstreuer Schätzer für den unbekannten Parameter   in einer Familie von Wahrscheinlichkeitsdichten und   die zur Dichte   gehörige Fisher-Information. Dann ist die Effizienz von   wie folgt definiert:

 .

Wenn man zwei erwartungstreue Schätzer   und   miteinander vergleichen möchte, so heißt derjenige Schätzer effizienter, der den höheren Wert   und also die kleinere Varianz besitzt.

Eine Konsequenz aus der Cramér-Rao-Ungleichung ist, dass unter Regularitätsbedingungen   nach oben durch 1 beschränkt ist und daher solche Schätzer effizient (oder genauer Cramér-Rao-effizient) genannt werden, für die   und also   gilt. Dies ist unter den für die Cramér-Rao-Ungleichung notwendigen Bedingungen an das stochastische Modell die bestmögliche Varianz eines Schätzers.

Nichterwartungstreuer Fall

Bearbeiten

Falls der Schätzer   nicht erwartungstreu ist, lässt sich seine Effizienz als

 

definieren. Offensichtlich ergibt sich die obige Definition als Spezialfall.

Asymptotische Effizienz

Bearbeiten

In der Regel reicht es aus, wenn Schätzer asymptotisch effizient sind, d. h. wenn sie in Verteilung gegen eine normalverteilte Zufallsvariable konvergieren, deren Varianz das Inverse der Fisher-Information ist. Formal soll also die Konvergenzaussage

 

bewiesen werden können, wobei   die Fisher-Information der Dichte   bezeichnet und   gilt. Für asymptotisch effiziente Schätzer gilt offensichtlich  

Typische Beispiele für asymptotisch effiziente Schätzer sind solche, die mit Hilfe der Maximum-Likelihood-Methode gewonnen werden.

Bearbeiten

Literatur

Bearbeiten