Schätzmethode (Statistik)

Verfahren, die verwendet werden, um Schätzfunktionen für unbekannte Parameter einer statistischen Grundgesamtheit zu konstruieren
(Weitergeleitet von Statistische Schätzverfahren)

Schätzmethoden (auch Schätzverfahren) werden in der mathematischen Statistik gebraucht. Man verwendet sie, um Schätzfunktionen für unbekannte Parameter einer statistischen Grundgesamtheit zu konstruieren.

Drei klassische Schätzmethoden sind unter anderem

Bei allen drei Methoden haben Ausreißer einen sehr starken Einfluss auf das Ergebnis. Die Momentenmethode kann auch als Spezialfall des Substitutionsprinzips aufgefasst werden. Auch Methoden basierend auf Quantilen werden häufig verwendet und sind oft robuster (z. B. kann der Median oft den Mittelwert als Schätzer ersetzen).

Die verschiedenen Verfahren sind zum Teil konkurrierend, zum Teil auch ergänzend.

Maximum-Likelihood-MethodeBearbeiten

Man betrachtet hier die Beobachtungen   als Stichproben-Realisierungen von n, in der Regel stochastisch unabhängigen, Zufallsvariablen   mit einem bekannten Verteilungstyp. Die Parameter der Verteilung hängen vom gesuchten Parameter ab und der Schätzwert des Parameters ergibt sich als der Wert, der mit größter Plausibilität die beobachtete Stichprobe hervorbringen würde.

Der Vorteil der Maximum-Likelihood-Methode (Methode der größten Plausibilität) liegt in den Eigenschaften der Schätzfunktion. Zum einen ist sie oft konsistent (d. h. je mehr Beobachtungen man in der Stichprobe hat, desto genauer kann man den gesuchten Parameter schätzen) und asymptotisch effizient (d. h. für große Stichprobenumfänge gibt es keine bessere Schätzfunktion). Man kann sehr allgemein Signifikanztests für Modellvergleiche formulieren.

Ein wesentlicher Nachteil ist es, dass man den Verteilungstyp der Stichprobenvariablen kennen muss. Irrt man sich hierbei, kann die Schätzfunktion vollkommen falsche Werte liefern. Des Weiteren muss zur Auffindung des Parameters meist eine numerische Maximierung durchgeführt werden, die unter Umständen in einem lokalen statt globalen Maximum landet.

Da jedoch die Vorteile überwiegen, dürfte die Maximum-Likelihood-Methode die am meisten genutzte Schätzmethode sein. Bei einer Normalverteilung sind die Resultate nach der Momentenmethode und nach Maximum-Likelihood-Methode fast identisch; die Momentenmethode liefert einen etwas kleineren systematischen Fehler hinsichtlich der Standardabweichung. Bei der Maximum-Likelihood-Method sind diese Fehler generell bei kleinem Stichprobenumfang oft nicht vernachlässigbar.

Methode der kleinsten QuadrateBearbeiten

Hier betrachtet man ebenfalls die Beobachtungen   als Realisierungen von   Zufallsvariablen  . Hierbei hängt der Erwartungswert   direkt oder durch eine bekannte Funktion vom gesuchten Parameter sowie einer Störgröße ab. Daher bestimmt man den gesuchten Parameter so, dass die Summe der quadrierten Störgrößen möglichst klein wird.

Das klassische Beispiel ist die einfache lineare Regression: die Regressiongerade   mit den Parametern   und   wird von einer Störgröße überlagert. Man beobachtet also  . Für die Zufallsvariable   gilt:   und  . Nun berechnet man die Summe der quadrierten Störgrößen   und minimiert sie, um Schätzwerte für   und   zu finden. Die Anpassungsgüte der Schätzung kann mit dem Bestimmtheitsmaß quantifiziert werden.

Der Vorteil der Methode der kleinsten Quadrate ist, dass keine Annahme über den Verteilungstyp gemacht werden muss, sondern nur bzgl. des Zusammenhangs zwischen dem Erwartungswert und dem unbekannten Parameter. Damit ist diese Schätzmethode in einem breiteren Problemkreis anwendbar.

Der Vorteil ist jedoch auch ein Nachteil. Da nur Information über den Erwartungswert benutzt wird, und nicht über die Verteilung wie bei der Maximum-Likelihood-Methode, weisen die Schätzfunktionen nicht so gute Eigenschaften wie Schätzfunktionen aus der Maximum-Likelihood-Methode auf. Falls der Erwartungswert nicht linear vom Parameter abhängt, müssen auch bei dieser Methode im Allgemeinen numerische Näherungsverfahren zur Bestimmung des Minimums verwendet werden.

BeispielBearbeiten

In einem neuen Spiel kann man 1,00 Euro mit Wahrscheinlichkeit   verlieren, 1,00 Euro mit Wahrscheinlichkeit   gewinnen und mit Wahrscheinlichkeit   weder Geld verlieren noch gewinnen. Das Spiel wird nun sechsmal gespielt mit dem Ergebnis: −1 EUR, 1 EUR, −1 EUR, 0 EUR, 1 EUR, 1 EUR. Wie groß ist der Wert von  ?

Maximum-Likelihood-MethodeBearbeiten

Nach der Maximum-Likelihood-Methode ergibt sich die Wahrscheinlichkeit für die beobachtete Stichprobe als

   
 
 .

Die Maximierung ergibt dann einen Schätzwert  .

Methode der kleinsten QuadrateBearbeiten

Für die Methode der kleinsten Quadrate braucht man den Erwartungswert  , d. h. im Durchschnitt erwartet man   EUR Gewinn pro Spiel. Für jede Beobachtung berechnet man den quadrierten Fehler zwischen dem beobachteten Gewinn und dem erwarteten Gewinn pro Spiel und summiert diese:

     
 
   

Die Minimierung ergibt dann einen Schätzwert  .

Minimum-Chi-Quadrat-MethodeBearbeiten

Die Minimum-Chi-Quadrat-Methode ist mit der Methode der kleinsten Quadrate verwandt. Jedoch wird dabei davon ausgegangen, dass die Zufallsvariablen   diskret sind (das schließt auch klassierte Daten ein). Das Auffinden des Minimums der quadrierten Fehler wird schwierig, da der Minimierungsalgorithmus mit Unstetigkeitsstellen umgehen muss. Stattdessen betrachtet man die Zufallsvariablen  , die Häufigkeit mit der die Merkmalsausprägung (oder Klasse)   auftritt.

Kann man die erwarteten Häufigkeiten mit den gesuchten Parametern verbinden, so minimiert man die Teststatistik des Chi-Quadrat-Anpassungstests, um Schätzwerte für die gesuchten Parameter zu finden.

BeispielBearbeiten

In einem Buch wurden zufällig sechs Sätze ausgewählt und gezählt, wie viele Nebensätze sie enthalten. Es ergab sich, dass drei Sätze keinen Nebensatz enthielten, zwei Sätze einen Nebensatz und nur ein Satz mehr als einen Nebensatz. Unterstellt man, dass die Nebensätze Poisson-verteilt sind, stellt sich die Frage, wie groß   ist, die mittlere Anzahl der Nebensätze pro Satz.

Maximum-Likelihood-MethodeBearbeiten

Nach der Maximum-Likelihood-Methode ergibt sich die Wahrscheinlichkeit für die beobachtete Stichprobe als

   
 
 .

Die Maximierung ergibt dann einen Schätzwert  .

Minimum-Chi-Quadrat-MethodeBearbeiten

Für die Minimum-Chi-Quadrat-Methode braucht man die erwarteten Häufigkeiten:  ,   und  

 

Die Minimierung ergibt dann einen Schätzwert  .

MomentenmethodeBearbeiten

Man betrachtet hier die Beobachtungen   als Stichproben-Realisierungen von n, in der Regel stochastisch unabhängigen, Zufallsvariablen   mit einem bekannten Verteilungstyp. Die Momente   der jeweiligen Verteilung hängen von den Verteilungsparametern ab, die wiederum den gesuchten Parameter beinhalten und man erhält Gleichungen zwischen den gesuchten Parametern und den Momenten. Die Momente können wiederum aus den Beobachtungsdaten geschätzt werden ( ) und man erhält ein Gleichungssystem, das nach den gesuchten Parametern aufgelöst werden kann. Die Lösung ist dann eine Schätzung des gesuchten Parameters.

Der Vorteil der Momentenmethode liegt in der einfachen Berechenbarkeit, auch wenn zur Lösung eines eventuell nicht-linearen Gleichungssystems ein numerisches Iterationsverfahren benutzt werden muss. Sie kann aber auch eingesetzt werden, wenn die Stichprobenvariablen   nicht unabhängig sind. In einem solchen Fall kann die Schätzung mit einer Maximum-Likelihood-Methode sehr kompliziert werden.

Die einfache Berechenbarkeit ist aber auch der Nachteil, da nicht alle Informationen aus der Stichprobe ausgenutzt werden. Dies kann dazu führen, dass bei kleinen Stichproben Schätzwerte auftreten, die außerhalb des Parameterraums liegen (z. B. negative Werte für geschätzte Varianzen). Die Schätzfunktionen aus der Momentenmethode sind meist nicht effizient, d. h. für gegebenen Stichprobenumfang gibt es bessere Schätzfunktionen. Beispielsweise ist der Momentenschätzer weniger effizient bei einer Gleichverteilung als der nach der Maximum-Likelihood-Methode.

Manchmal wird bei komplexen Problemen die Momentenmethode eingesetzt, um Startwerte für die Parameter in der Maximum-Likelihood-Methode zu erhalten.

BeispielBearbeiten

Der Lohn von Angestellten sei Pareto-verteilt   im Intervall   (  sei der Mindestlohn). Es wurde eine Stichprobe von drei Angestellten beobachtet, die jeweils das 1,2-, 1,5- und 1,8fache des Mindestlohnes verdienen. Gesucht ist der Parameter  ; denn je größer   desto geringer ist die Wahrscheinlichkeit für einen hohen Lohn:  .

Maximum-Likelihood-MethodeBearbeiten

Nach der Maximum-Likelihood-Methode ergibt sich die Likelihood-Funktion für die beobachtete Stichprobe als

   
 

Die Maximierung ergibt dann einen Schätzwert  , d. h. die Wahrscheinlichkeit mehr als das Doppelte des Mindestlohnes zu verdienen beträgt in diesem Modell knapp 1,7 %.

MomentenmethodeBearbeiten

Für die Pareto-Verteilung ergibt sich   (falls  ). Der Erwartungswert wird geschätzt mit dem arithmetischen Mittel, d. h. es gilt

 .

Auflösen der Gleichung ergibt dann einen Schätzwert  , d. h. die Wahrscheinlichkeit mehr als das Doppelte des Mindestlohnes zu verdienen beträgt in diesem Modell 12,5 %.

Siehe auchBearbeiten

LiteraturBearbeiten

  • J. Hartung, B. Elpelt, K.-H. Klösener: Statistik. 10., durchges. Auflage. Oldenbourg, München/ Wien 1995, ISBN 3-486-23387-4.
  • F. Sixtl: Der Mythos des Mittelwertes. Oldenbourg, München/ Wien 2000, ISBN 3-486-23320-3.

WeblinksBearbeiten

Wikibooks: Statistik – Lern- und Lehrmaterialien
  • Volker Schmidt: Methoden der Statistik aus dem Vorlesungsskript Stochastik für Informatiker, Physiker, Chemiker und Wirtschaftswissenschaftler