Dieser Artikel behandelt eine symmetrische und idempotente Matrix. Für die Methode, unterschiedliche statistisch ermittelte Szenarien miteinander zu kombinieren, siehe Projektion (Statistik).
In der Statistik ist eine Projektionsmatrix eine symmetrische und idempotente Matrix.[1] Weiterhin sind alle Eigenwerte einer Projektionsmatrix entweder 0 oder 1 und Rang und Spur einer Projektionsmatrix sind identisch.[2] Die einzige nichtsinguläre Projektionsmatrix ist die Einheitsmatrix. Alle anderen Projektionsmatrizen sind singulär. Die wichtigsten Projektionsmatrizen in der Statistik stellen die Prädiktionsmatrix und die residuenerzeugende Matrix bzw. Residualmatrix dar. Sie sind ein Beispiel für eine Orthogonalprojektion im Sinne der linearen Algebra, wo jeder Vektor eines Vektorraumes mit Skalarprodukt bei gegebener Projektionsmatrix in eindeutiger Weise zerlegt werden kann gemäß . Eine weitere in der Statistik wichtige Projektionsmatrix ist die zentrierende Matrix.
Als Ausgangslage betrachten wir ein typisches multiples lineares Regressionsmodell mit gegebenen Daten für statistische Einheiten und Regressoren. Der Zusammenhang zwischen der abhängigen Variablen und den unabhängigen Variablen kann wie folgt dargestellt werden
.
In Matrixnotation auch
mit . In kompakter Schreibweise
.
Hier stellt einen Vektor von unbekannten Parametern dar (bekannt als Regressionskoeffizienten), die mithilfe der Daten geschätzt werden müssen. Des Weiteren wird angenommen, dass die Fehlerterme im Mittel null sind: , was bedeutet, dass wir davon ausgehen können, dass unser Modell im Mittel korrekt ist.
Die residuenerzeugende Matrix[3] (englischresidual-maker matrix), auch Residuum-erzeugende Matrix, Residualmatrix ist wie folgt definiert
,
wobei P die Prädiktionsmatrix darstellt. Der Name residuenerzeugende Matrix ergibt sich dadurch, dass diese Projektionsmatrix multipliziert mit dem y-Vektor den Residualvektor ergibt. Der kann durch die Prädiktionsmatrix kompakt wie folgt ausgedrückt werden
.
Bei linearen Modellen sind Rang und Spur einer Projektionsmatrix identisch. Für den Rang der residuenerzeugenden Matrix gilt
Die Projektionsmatrix hat eine Fülle von nützlichen algebraischen Eigenschaften.[4][5] In der Sprache der linearen Algebra ist die Projektionsmatrix eine orthogonale Projektion auf den Spaltenraum der Datenmatrix. Weitere Eigenschaften der Projektionsmatrizen werden im Folgenden zusammengefasst:
und
ist invariant unter : folglich .
(„Anwendung der Regression auf die Residuen liefert “)
ist eindeutig für einen bestimmten Unterraum
Alle Eigenwerte einer Projektionsmatrix sind entweder 0 oder 1
Schätzung des Varianzparameters nach der Kleinste-Quadrate-SchätzungBearbeiten
Die Residuenquadratsumme, kurz SQR (Summe der Quadrate der Restabweichungen (oder: „Residuen“) bzw. englischsum of squared residuals, kurz SSR) ergibt in Matrixschreibweise