Kanonische Korrelation

Die kanonische Korrelationsanalyse bezeichnet eine Methode der multivariaten Statistik zur Analyse der Abhängigkeit zweier Zufallsvektoren $X$ und $Y$. Außerdem ermöglicht sie diese Beziehungen bei hoch-dimensionalen Daten in eine geringere Anzahl von Statistiken zusammenzufassen.

Die Idee hinter der kanonischen Korrelationsanalyse ist Folgende: Man sucht ein Paar an Linearkombinationen $(a,b)$, genannt kanonischen Variablen, welches die größte Korrelation

$\operatorname {corr} (a^{T}X,b^{T}Y)$

besitzt. Diese Verallgemeinerung der Korrelation nennt man kanonische Korrelation. Das Verfahren wird dann wiederholt, so dass die nächsten Linearkombinationen zusätzlich unkorreliert zu den vorherigen Linearkombination ist.

Die kanonische Korrelationsanalyse wurde im Jahr 1935 von Harold Hotelling eingeführt.

Ziele

Strukturentdeckung

Da primär als Instrument der explorativen Statistik entwickelt, dient sie in erster Linie der Aufdeckung interessanter Strukturen in den Daten, hier der Aufdeckung interessanter Beziehungen zwischen Mengen von Variablen in einem gegebenen Datensatz. Im Gegensatz zum einfachen Bravais-Pearson-Korrelationskoeffizienten interessiert nicht die Abhängigkeit zwischen zwei einzelnen Variablen, sondern zwischen zwei Sätzen von Variablen.

Dimensionsreduktion

Ein weiteres Einsatzgebiet der kanonischen Korrelationsanalyse ist die Reduzierung der Dimension des untersuchten Datensatzes durch die Verwendung der kanonischen Variablen mit der höchsten Korrelation anstatt der ursprünglichen, den kanonischen Variablen zugrundeliegenden Variablen. Wichtig ist, dass die kanonischen Variablen gut und möglichst eindeutig interpretierbar sind, da es durch die Ersetzung der ursprünglichen Variablen sonst zu Interpretationsproblemen kommt.

Vorgehen

Untersucht werden zwei Mengen von Zufallsvariablen $X=(X_{1},\ldots ,X_{p})^{\mathrm {T} }$ und $Y=(Y_{1},\ldots ,Y_{q})^{\mathrm {T} }$.

Das Ziel der (linearen) kanonischen Korrelationsanalyse ist die Aufdeckung geeigneter kanonischer Variablen, d. h. geeigneter Linearkombinationen der Variablen jeweils einer Variablenmenge. Aus den kanonischen Variablen wird der kanonische Korrelationskoeffizient bestimmt, der den Grad der wechselseitigen linearen Abhängigkeit zwischen den kanonischen Variablen und damit zwischen den Sätzen von Zufallsvariablen angibt.

Man betrachtet die Linearkombinationen

$A_{1}=u_{1}X_{1}+u_{2}X_{2}+\ldots +u_{p}X_{p}=u^{\mathrm {T} }X$

und

$B_{1}=v_{1}Y_{1}+v_{2}Y_{2}+\ldots +v_{q}Y_{q}=v^{\mathrm {T} }Y$.

Gesucht werden diejenigen Gewichtungsvektoren $u$ und $v$, die die Korrelation zwischen $A_{1}$ und $B_{1}$ maximieren, das heißt für

$\rho (u,v):=\rho _{A_{1},B_{1}}=\operatorname {corr} (A_{1},B_{1})$

suchen wir

${\underset {u,v}{\operatorname {arg\,max} }}\;\rho (u,v).$

Sei

$\operatorname {Cov} {\begin{pmatrix}X\\Y\end{pmatrix}}={\begin{pmatrix}\Sigma _{XX}&\Sigma _{XY}\\\Sigma _{YX}&\Sigma _{YY}\end{pmatrix}},$

dann optimieren wir

$\rho _{A_{1},B_{1}}={\frac {u^{\mathrm {T} }\Sigma _{XY}v}{(u^{\mathrm {T} }\Sigma _{XX}u)^{1/2}(v^{\mathrm {T} }\Sigma _{YY}v)^{1/2}}}$

Durch Skalierung können wir auch folgendes Optimierungsproblem mit Nebenbedingung lösen

${\underset {u,v}{\operatorname {arg\,max} }}\;u^{\mathrm {T} }\Sigma _{XY}v\quad {\text{mit}}\quad u^{\mathrm {T} }\Sigma _{XX}u=v^{\mathrm {T} }\Sigma _{YY}v=1.$

Hat man nun das erste Paar an kanonischer Variablen $(A_{1},B_{1})$ gefunden, so wiederholt man das Prozedere sukzessiv mit der zusätzlichen Bedingung für den $k$-ten Schritt, dass $(A_{k},B_{k})$ unkorreliert zu den $1,\dots ,k-1$ Paaren ist. Konkret bedeutet dies für das zweite Paar, das zusätzlich

$\operatorname {Cov} (A_{1},A_{2})=\operatorname {Cov} (B_{1},B_{2})=0\quad {\text{und}}\quad \operatorname {Cov} (A_{1},B_{2})=\operatorname {Cov} (B_{1},A_{2})=0$

gelten muss.

Das Ziel ist die maximale Kovarianzaufklärung (ähnlich der Hauptkomponentenanalyse, die die sukzessiv maximale Varianzaufklärung zum Ziel hat). Die Korrelation zwischen dem $k$-ten Paar, nennt man $k$-te kanonische Korrelation. Insgesamt können $\min(p,q)$ Faktorenpaare extrahiert werden, da maximal so viel Faktoren extrahiert werden können, wie Variablen in einer Gruppe vorhanden sind.

Kennwerte

Zur Beurteilung der Lösung können verschiedene Kennwerte errechnet werden.

Redundanzmaße

Redundanzmaße geben an wie überflüssig (redundant) eine Erhebung bzw. ein Variablensatz ist, wenn die Beobachtungen aus dem zweiten Variablensatz bekannt sind. Anders ausgedrückt, Redundanzmaße besagen, wie viel Varianz eines Variablensatzes durch den jeweils anderen Variablensatz erklärt wird.

Eigenschaften

Per Konstruktion sind die kanonischen Korrelationskoeffizienten nicht-negativ und der Wertebereich ist somit $[0,1]$, im Fall $p=q=1$ gilt

$|\operatorname {corr} (X,Y)|=|\operatorname {corr} (a^{T}X,b^{T}Y)|,\quad \forall a,b\neq 0.$

Zusammenhang mit anderen Verfahren

Viele andere multivariate Verfahren sind Spezialfälle der kanonischen Korrelationsanalyse oder stehen in engem Zusammenhang zu ihr.

Besteht eine Variablenmenge aus nur einer einzigen Variablen, entspricht der kanonische Korrelationskoeffizient dem multiplen Korrelationskoeffizienten. Bestehen beide Mengen jeweils aus nur einer Variablen, sind kanonischer Korrelationskoeffizient und Absolutwert des einfachen (Bravais-Pearson-)Korrelationskoeffizienten identisch.

Das Modell der kanonischen Korrelationsanalyse kann als Pfadmodell mit zwei latenten Variablen und den jeweiligen Indikatorsätzen X bzw. Y gesehen werden.

Ist die Richtung des Zusammenhangs zwischen den Variablensätzen aus theoretischen Überlegungen bekannt, so ist eine multiple lineare Regression einsetzbar, d. h. eine Regressionsanalyse mit mehreren abhängigen Variablen.

Auch Faktorenanalyse, Diskriminanzanalyse, Varianzanalyse und viele andere multivariate Verfahren stehen in engem Zusammenhang mit der kanonischen Korrelationsanalyse.

Anwendung

Anwendung findet die kanonische Korrelationsanalyse z. B. bei der Analyse latenter Variablen, die durch mehrere messbare Variablen operationalisiert werden. Ein Beispiel ist die Messung des Zusammenhangs der Ergebnisse eines Persönlichkeitstests mit denen eines Leistungstests.

Prozeduren zur kanonischen Korrelationsanalyse sind in vielen Statistikprogrammen integriert, z. B. in GNU R mittels der Funktion cancor() aus dem Paket stats.