Multiples Testen

Multiples Testen bezeichnet Verfahren der statistischen Testtheorie, bei denen mehrere statistische Tests simultan durchgeführt werden.

Überblick über Verfahren des multiplen Testens

Unter dem Begriff multiples Testen werden verschiedene Verfahren zusammengefasst, bei denen eine – in der Regel endliche – Anzahl von statistischen Tests simultan durchgeführt wird. Es können drei Gruppen unterschieden werden, die das Konzept des Fehlers 1. Art, das ist die fälschliche Ablehnung einer Nullhypothese, auf unterschiedliche Art für mehrere Test verallgemeinern. Wenn mindestens eine Nullhypothese fälschlich abgelehnt wird, liegt ein multipler Fehler 1. Art vor.

Multiple Tests mit vorgegebenem globalem Signifikanzniveau

Für eine Familie von Nullhypothesen wird die Wahrscheinlichkeit, dass mindestens eine Nullhypothese abgelehnt wird, falls alle Nullhypothesen richtig sind, kontrolliert, d. h. durch ein vorgegebenes Signifikanzniveau $\alpha \in (0,1)$ nach oben beschränkt. In diesem Fall heißt das Signifikanzniveau globales Signifikanzniveau. Diese erste Gruppe von Verfahren testet mit Hilfe der Einzeltests eine Globalhypothese, die als Durchschnitt der einzelnen Nullhypothesen definiert ist.

Multiple Tests mit vorgegebenem multiplem Signifikanzniveau

Bei dieser Gruppe multipler Testverfahren wird für eine Familie von Nullhypothesen die Wahrscheinlichkeit, dass mindestens eine Nullhypothese fälschlich abgelehnt wird, kontrolliert, d. h. durch ein Signifikanzniveau $\alpha \in (0,1)$, das dann multiples Signifikanzniveau heißt, nach oben beschränkt.

Multiple Tests mit Beschränkung der erwarteten Fehlerquote der Ablehnungen

Bei dieser Gruppe von Testverfahren wird die erwartete Fehlerquote der Ablehnungen (englisch: false discovery rate, FDR), das ist der erwartete Anteil fälschlicher Ablehnungen von Nullhypothesen unter allen abgelehnten Nullhypothesen, kontrolliert.

Grundbegriffe

Gegeben sei eine Familie von $k$ Test mit den Nullhypothesen $H_{j}:\theta \in \Theta _{j}$ für $j=1,\ldots ,k$, wobei $\emptyset \neq \Theta _{j}\subset \Theta$ für $j=1,\ldots ,k$ gilt. Die entsprechenden Gegenhypothesen sind $K_{j}:\theta \in \Theta \setminus \Theta _{j}$ für $j=1,\ldots ,k$. Eine simultane Durchführung der $k$ Tests wird multipler Test genannt.

Multipler Fehler 1. Art

Bei der Durchführung eines multiplen Tests sind mehrere Testergebnisse möglich: es wird keine Nullhypothese abgelehnt oder es wird mindestens eine der Nullhypothesen abgelehnt. Im Extremfall werden alle Nullhypothesen abgelehnt. Die übliche Verallgemeinerung des Konzeptes der Fehlerwahrscheinlichkeit 1. Art für einen einzelnen Test auf multiple Tests ist der multiple Fehler 1. Art, der begangen wird, wenn bei mindestens einem Einzeltest eine Nullhypothese fälschlich abgelehnt wird.

Definition: Für einen simultanen Test mehrerer Nullhypothesen heißt das Testergebnis „Mindestens eine Nullhypothese wird fälschlich abgelehnt“ multipler Fehler 1. Art.

Multiple Fehlerwahrscheinlichkeit 1. Art

Definition: Für einen simultanen Test mehrerer Nullhypothesen heißt die Wahrscheinlichkeit, dass ein multipler Fehler 1. Art begangen wird, multiple Fehlerwahrscheinlichkeit 1. Art (engl.: family-wise error rate, FWER) oder versuchsbezogene Irrtumswahrscheinlichkeit (engl.: experimentwise error rate).

Multipler Test zum lokalen Signifikanzniveau

Das einfachste Vorgehen beim multiplen Testen ist, jeden Einzeltest mit demselben vorgegebenen Signifikanzniveau durchzuführen, so dass bei jedem Einzeltest die Fehlerwahrscheinlichkeit 1. Art nach oben beschränkt ist.

Definition: Ein multipler Test, bei dem jeder Einzeltest das Signifikanzniveau $\alpha \in (0,1)$ einhält, für den also

$P_{\theta }(\{H_{j}{\text{ wird abgelehnt}}\})\leq \alpha \quad {\text{für alle }}\theta \in \Theta _{j}{\text{ und jedes }}j=1,\dots ,k$

gilt, heißt multipler Test zum lokalen Signifikanzniveau $\alpha \in (0,1)$.

Ein multipler Test zum lokalen Signifikanzniveau $\alpha$ kontrolliert zwar die Fehlerwahrscheinlichkeiten 1. Art für jeden Einzeltests, da diese durch $\alpha$ nach oben beschränkt werden. Die Wahrscheinlichkeit für die fälschliche Ablehnung einer oder mehrerer der Nullhypothese beim simultanen Testen wird aber nur teilweise kontrolliert. Für einen multiplen Test zum lokalen Signifikanzniveau $\alpha$ sind die Wahrscheinlichkeiten $\mathrm {FWER} _{\theta }$ nicht durch $\alpha$ nach oben beschränkt. Es gilt lediglich die Ungleichung

$\mathrm {FWER} _{\theta }\leq \min\{k\cdot \alpha ,1\}\quad {\text{ für }}\theta \in \Theta \;,$

die aber für größere $k$ nicht zu einer praktikablen Beschränkung führt. Z. B. für $\alpha =0{,}05$ wird für $k\geq 20$ für die obere Schranke der Wert Eins erreicht. Diese Problematik wird auch mit dem Begriff Alphafehler-Kumulierung bezeichnet und motiviert Verfahren zur Kontrolle des multiplen Fehlers 1. Art.

Multiple Tests zu vorgegebenem globalem Signifikanzniveau

Test einer Durchschnittshypothese

Zu einer Familie von $k$ Nullhypothesen $H_{1}:\theta \in \Theta _{1},\ldots ,H_{k}\in \Theta _{k}$ mit $\Theta _{j}\subset \Theta$ für $j=1,\ldots ,k$ sei

$\Theta _{0}:=\bigcap _{j=1}^{k}\Theta _{j}$

eine nicht-leere Teilmenge von $\Theta$. Dann heißt die Durchschnittshypothese

$H_{0}:\theta \in \Theta _{0}$

Globalhypothese und die einzelnen Nullhypothesen heißen in diesem Zusammenhang Elementarhypothesen. Die Globalhypothese $H_{0}$ ist falsch, wenn mindestens eine der Hypothesen $H_{1},\ldots ,H_{k}$ falsch ist. Ein Test der Globalhypothese kann daher durch $k$ simultane Tests der Elementarhypothesen erfolgen, wobei $H_{0}$ abgelehnt wird, falls mindestens eine der Hypothesen $H_{1},\ldots ,H_{k}$ abgelehnt wird.

Definition: Ein simultaner Test der $k$ Nullhypothesen $H_{1}:\theta \in \Theta _{1},\ldots ,H_{k}:\theta \in \Theta _{k}$ mit $\Theta _{0}=\Theta _{1}\cap \dots \cap \Theta _{k}\neq \emptyset$, der zu einem vorgegebenen Signifikanzniveau $\alpha \in (0,1)$ die Eigenschaft

$\mathrm {FWER} _{\theta }\leq \alpha \quad {\text{ für alle }}\theta \in \Theta _{0}$

hat, heißt multipler Test zum globalen Signifikanzniveau α.

Konstruktionsverfahren

Einen multiplen Test zum globalen Signifikanzniveau $\alpha$ erhält man regelmäßig nicht dadurch, dass man die einzelnen Tests jeweils zum Niveau $\alpha$ durchführt, das es dann zur Alphafehler-Kumulierung kommt, die im Extremfall dazu führt, dass das globale Niveau den Wert $\min\{1,k\cdot \alpha \}$ hat.

Das Problem der Alphafehler-Kumulierung hat eine allgemeine Lösung in Form der Bonferroni-Korrektur, die für die Durchführung des einzelnen Tests das Niveau $\alpha _{\mathrm {lokal} }=\alpha /k$ vorschreibt, wodurch das globale Niveau $\alpha$ garantiert ist.

Unter bestimmten Voraussetzungen Situationen kann die Šidák-Korrektur angewendet werden, die zu einer Verbesserung gegenüber der Bonferroni-Korrektur führt, da das lokale Signifikanzniveau der Einzeltests weniger stark abgesenkt werden muss. Eine Voraussetzung ist die stochastische Unabhängigkeit der Tests, womit gemeint ist, dass die Teststatistiken der einzelnen Tests stochastisch unabhängig sind. Eine alternative Voraussetzung ist, dass die Teststatistiken eine gemeinsame multivariate Normalverteilung besitzen und die Abnahmebereiche Intervalle sind, die symmetrisch zum jeweiligen Erwartungswert sind.

Für einen multiplen Test zum globalen Niveau α ist die multiplen Fehlerwahrscheinlichkeit 1. Art für die Familie von Elementarhypothesen identisch mit der Fehlerwahrscheinlichkeit 1. Art des Tests der Globalhypothese, es gilt also

$P_{\theta }(\{H_{0}{\text{ wird abgelehnt}}\})=\mathrm {FWER} _{\theta }\quad {\text{für alle }}\theta \in \Theta _{0}\,.$

In Spezialfällen ist das Testen der Durchschnittshypothese auch ohne Verwendung der Einzeltests möglich. Beispiele sind Tests über einen Parametervektor, z. B. das Testen der allgemeinen linearen Hypothese im multiplen linearen Regressionsmodell, die mit einer Teststatistik durchgeführt werden. Diesen Fall bezeichnet man im engeren Sinn nicht als multiples Testen, da es sich um einen Test für die Hypothese eines Parametervektors handelt, er wird allerdings dem Bereich der simultanen Inferenzverfahren zugeordnet.

Schwache und starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art

Die Reduktion des Test einer Familie von Hypothesen $H_{1},\dots ,H_{k}$ auf den Test der Globalhypothese $H_{0}$ mit Hilfe einzelner Tests ist eine mögliche Fragestellung, aber nicht die einzige und typische Behandlungsmöglichkeit multipler Tests. Durch die Vorgabe eines globalen Signifikanzniveaus wird die multiple Fehlerwahrscheinlichkeit 1. Art nur eingeschränkt kontrolliert, da die Ungleichung $\mathrm {FWER} _{\theta }\leq \alpha$ nur für alle $\theta \in \Theta _{0}$ gilt, man spricht daher auch von einer schwachen Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art. Im Unterschied dazu liegt eine starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art vor, falls

$\mathrm {FWER} _{\theta }\leq \alpha \quad {\text{ für alle }}\theta \in \Theta$

gilt. Für multiple Test bei denen die Globalhypothese nicht von eigenständigem Interesse ist, ist die schwache Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art wenig sinnvoll. „Weak control is typically not very meaningful, and so when we refer to control of the FWER, we mean strong control.“

Multiple Tests zu vorgegebenem multiplem Signifikanzniveau

Gegeben sei eine Familie von $k$ Test mit den Nullhypothesen $H_{j}:\theta \in \Theta _{j}$ für $j=1,\ldots ,k$, wobei $\emptyset \neq \Theta _{j}\subset \Theta$ für $j=1,\ldots ,k$ gilt.

Wie oben definiert liegt ein multipler Fehler 1. Art vor, wenn mindestens ein Nullhypothese fälschlich verworfen wird. Wenn die multiple Fehlerwahrscheinlichkeit für alle $\theta \in \Theta$ kontrolliert, d. h. durch eine vorgegebenes Signifikanzniveau nach oben beschränkt wird, nennt man dieses ein multiples Signifikanzniveau.

Definition: Ein simultaner Test der Nullhypothesen $H_{1}:\theta \in \Theta _{1},\ldots ,H_{k}\in \Theta _{k}$ mit der Eigenschaft

$\mathrm {FWER} _{\theta }\leq \alpha \quad {\text{für alle }}\theta \in \Theta$

heißt multipler Test zum multiplen Signifikanzniveau α.

Der entscheidende Unterschied zu einem Test zum globalen Niveau ist, das die Wahrscheinlichkeit fälschlicher Ablehnungen nicht nur für $\theta \in \Theta _{0}$, sondern für alle $\theta \in \Theta$ kontrolliert wird, wobei die fälschliche Ablehnung einer Nullhypothese nur für $\theta \in \bigcup _{j=1}^{k}\Theta _{j}\subseteq \Theta$ möglich ist, da in $\Theta \setminus \bigcup _{j=1}^{k}\Theta _{j}$ alle Nullhypothesen falsch sind.

Verfahren zur starken Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art

Eine allgemeine Methode, um einen multiplen Test zum multiplen Signifikanzniveau $\alpha$ zu erhalten, ist das Bonferroni-Verfahren, das darin besteht, für die Einzeltests die adjustierten Signifikanzniveaus $\alpha /k$ vorzugeben. Mit diesem Vorgehen ist eine starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art gewährleistet. Es gibt zahlreiche Modifikationen und Verfeinerungen für bestimmte Anwendungsfälle oder für den Fall, dass bestimmte zusätzliche Voraussetzungen erfüllt sind.

Für stochastisch unabhängige Tests verlangt die Šidák-Korrektur die adjustierten Signifikanzniveaus $1-(1-\alpha )^{1/k}$, um die starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art zu gewährleisten.

Das Holm-Verfahren oder Bonferroni-Holm-Verfahren ist eine schrittweise Prozedur, die bei den einzelnen Schritten unterschiedliche Signifikanzniveaus verwendet. Unter der stark einschränkenden Voraussetzung der stochastischen Unabhängigkeit der Teststatistiken ergibt sich mit dem Simes-Hochberg-Verfahren. eine Verbesserung des Bonferroni-Holm-Verfahrens.

Multiple Tests mit Beschränkung der erwarteten Fehlerquote der Ablehnungen

Eine alternative Idee das Konzept der Fehlerwahrscheinlichkeit 1. Art für einen einzelnen Test auf multiple Tests zu übertragen, den erwarteten Anteil fälschlich abgelehnter Nullhypothesen unter allen abgelehnten Nullhypothesen zu kontrollieren.

Zu einem fixierten multiplen Test mit vorgegebenem Signifikanzniveau $\alpha$ und einem Parameter $\theta \in \Theta$ bezeichne $R(\theta )$ die zufällige Anzahl abgelehnter Nullhypothesen und $V(\theta )$ die zufällige Anzahl fälschlich abgelehnter Nullhypothesen. Die Zufallsvariablen $R(\theta )$ und $V(\theta )$ nehmen Werte in einer Teilmenge von $\{0,1,\dots ,k\}$ an, wobei

$0\leq V(\theta )\leq R(\theta )\leq k$

gilt und daher aus $R(\theta )=0$ auch $V(\theta )=0$ folgt. Falls für den betrachteten Parameter alle Hypothesen richtig sind, kann $R(\theta )$ alle Werte in $\{0,1,\dots ,k\}$ annehmen, falls für den betrachteten Parameter alle Nullhypothesen falsch sind, gilt $R(\theta )=V(\theta )=0$.

Fehlerquote der Ablehnungen

Zu einem bestimmten $\theta$ bezeichnet die Zufallsvariable

$\mathrm {FDP} _{\theta }={\begin{cases}{\frac {V(\theta )}{R(\theta )}},&{\text{falls }}R(\theta )>0\\0,&{\text{falls }}R(\theta )=0\end{cases}}$

die zufällige Fehlerquote der Ablehnungen (englisch: false discovery proportion, FDP). Die Fehlerquote der Ablehnungen ist der Anteil der fälschlich abgelehnten Nullhypothesen an allen abgelehnten Nullhypothesen. Die Zufallsvariable $\mathrm {FDP} _{\theta }$ hat eine diskrete Wahrscheinlichkeitsverteilung mit Werten in einer Teilmenge der Menge $\{0,1/k,\dots ,(k-1)/k,1\}$.

Erwartete Fehlerquote der Ablehnungen

→ Hauptartikel: Falscherkennungsrate

Der Erwartungswert der Zufallsvariablen $\mathrm {FDP} _{\theta }$,

$\mathrm {FDR} _{\theta }=E_{\theta }(\mathrm {FDP} _{\theta }),$

ist die erwartete Fehlerquote der Ablehnungen (englisch: false discovery rate, FDR).

Die erwartete Fehlerquote der Ablehnungen ist im Fall $k=1$ die Wahrscheinlichkeit, die einzige Nullhypothese fälschlich abzulehnen, und damit die Fehlerwahrscheinlichkeit 1. Art. Somit ist die erwartete Fehlerquote der Ablehnungen eine Verallgemeinerung des Konzeptes der Fehlerwahrscheinlichkeit 1. Art für multiple Test.

Die erwartete Fehlerquote der Ablehnungen ist durch die multiple Fehlerwahrscheinlichkeit 1. Art nach oben beschränkt, es gilt also

$\mathrm {FDR} _{\theta }\leq \mathrm {FWER} _{\theta }\quad {\text{für alle }}\theta \in \Theta \;,$

wobei im Allgemeinen das strikte Ungleichheitszeichen gilt. Die Anforderungen für eine Kontrolle von $\mathrm {FDR} _{\theta }$ durch eine Oberschranke sind also im Allgemeinen schwächer als die für die Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art. Die Kontrolle der multiplen Fehlerwahrscheinlichkeit erster Art durch ein vorgegebenes Niveau $\alpha$ impliziert also die Kontrolle der erwarteten Fehlerquote der Ablehnungen.

Verfahren zur Kontrolle der erwarteten Fehlerquote der Ablehnungen

Eine Methode zur Kontrolle der erwarteten Fehlerquote der Ablehnungen ist das Benjamini-Hochberg-Verfahren, das allerdings die stochastische Unabhängigkeit der p-Werte voraussetzt. Das Benjamini-Yekutieli-Verfahren ist eine Verallgemeinerung für eine bestimmte Art der positiven Abhängigkeit, die den Fall der stochastischen Unabhängigkeit als Grenzfall enthält.

Güteeigenschaften multipler Tests

Typischerweise ist ein Hauptkriterium statistischer Tests die Beschränkung der Fehlerwahrscheinlichkeit 1. Art. Bei multiplen Tests ergeben sich spezielle Gütekriterien aus der Eigenschaft, dass die betrachteten Nullhypothesen geschachtelt sein können, also z. B. $\Theta _{1}\subset \Theta _{2}$ gilt.

Kohärenz

Die Kohärenz eines multiplen Tests verlangt, dass im Fall $\Theta _{1}\subset \Theta _{2}$ aus der Ablehnung von $H_{2}:\theta \in \Theta _{2}$ auch die Ablehnung von $H_{1}:\theta \in \Theta _{1}$ folgt. „Diese Eigenschaft ist aus logischen Gründen für einen multiplen Test unverzichtbar“. Beispielsweise darf bei einem simultanen Vergleich von drei Mittelwerten $\mu _{1},\mu _{2},\mu _{3}$ nicht die Nullhypothese $H_{12}:\mu _{1}=\mu _{2}$ abgelehnt werden, aber gleichzeitig die Nullhypothese $H_{123}:\mu _{1}=\mu _{2}=\mu _{3}$ nicht abgelehnt werden.

Konsonanz

Die Konsonanz eines multiplen Test bedeutet im Fall einer Familie von drei Hypothesen mit $\Theta _{1}\subset \Theta _{3}$ und $\Theta _{2}\subset \Theta _{3}$, dass dann, wenn $H_{3}:\theta \in \Theta _{3}$ abgelehnt wird, auch mindestens eine der stärkeren Hypothesen $H_{1}:\theta \in \Theta _{1}$ und $H_{2}:\theta \in \Theta _{2}$ abgelehnt wird. „Diese Eigenschaft ist für einen multiplen Test nur wünschenswert, aber nicht unbedingt erforderlich.“

Beispielsweise sollte bei einem simultanen Vergleich von drei Mittelwerten $\mu _{1},\mu _{2},\mu _{3}$ nicht die Konstellation eintreten, dass die Nullhypothese $H_{123}:\mu _{1}=\mu _{2}=\mu _{3}$ abgelehnt wird, $H_{12}:\mu _{1}=\mu _{2}$ abgelehnt werden, aber gleichzeitig die drei Nullhypothesen $\mu _{1}=\mu _{2}$, $\mu _{1}=\mu _{3}$ und $\mu _{2}=\mu _{3}$ nicht abgelehnt werden.

Abgeschlossenheit

Für bestimmte mehrstufige Testverfahren ist es wichtig, dass die Familie der Hypothesen eine gewisse Abgeschlossenheit hat, diese bedeutet z. B., dass dann, wenn für zwei Hypothesen $H_{1}:\theta \in \Theta _{1}$ und $H_{2}:\theta \in \Theta _{2}$ die Menge $\Theta _{1}\cap \Theta _{2}$ nicht-leer ist, auch die Hypothese $H:\theta \in \Theta _{1}\cap \Theta _{2}$ in der Hypothesenfamilie enthalten ist.

Trennschärfe

Es gibt Verallgemeinerungen des Konzeptes der Fehlerwahrscheinlichkeit 2. Art und damit der Konzepte der Trennschärfe oder Macht eines Tests für multiple Tests.

Verschiedene Arten multipler Testung

Es gibt verschiedene Arten der multiplen Testung, die sich in der Formulierung der Nullhypothese unterscheiden.

Manchmal ist ein multiples Testproblem mit einer abweichenden Notation für die Hypothesen zu finden, die beim Vergleich mit der obigen Notation leicht zu Irritationen führt. Es werden dann die $k$ Alternativhypothesen mit $H_{1},H_{2},\ldots ,H_{k}$ bezeichnet und mit $H_{0}$ wird die simultane Verneinung aller Alternativhypothesen $H_{1},H_{2},\ldots ,H_{k}$ bezeichnet. Beim so definierten multiplen Test ist $H_{0}$ richtig, wenn alle $H_{i}$ falsch sind, und ist $H_{0}$ falsch, wenn mindestens eine der Hypothesen $H_{i}$ richtig ist.

Literatur

• Ralf Bender, St. Lange, A. Ziegler: Multiples Testen. Artikel Nr. 12 der Statistik-Serie in DMW. In: Deutsche Medizinische Wochenschrift. Band 127, 2002, S. T4–T7 (thieme-connect.de [PDF]). 
• Jason C. Hsu: Multiple Comparisons – Theory and Methods. Chapman and Hall, London 1996, ISBN 0-412-98281-1, doi:10.1201/b15074 (E-Book-ISBN 978-0-429-17087-4). 
• Thorsten Dickhaus: Multiples Testen – Skript zur Lehrveranstaltung. Hrsg.: Universität Bremen, Institut für Statistik. Bremen 2022 (uni-bremen.de [PDF; abgerufen am 11. Januar 2023] Version: 8. April 2022). 
• Alexei Dimitrenko, Jason C. Hsu: Multiple Testing in Clinical Trials. In: Samuel Kotz et al. (Hrsg.): Encyclopedia of Statistical Sciences. 2. Auflage. Wiley, New York 2006, ISBN 0-471-15044-4, S. 5111–5117, doi:10.1002/0471667196. 
• E. L. Lehmann, Joseph P. Romano: Testing Statistical Hypothesis. 4. Auflage. Springer, Cham 2022, ISBN 978-3-03070577-0, Chapter 9: Multiple Testing and Simultaneous Inference, doi:10.1007/978-3-030-70578-7 (E-Book-ISBN 978-3-030-70578-7). 
• Bernhard Rüger: Test- und Schätztheorie, Band II: Statistische Tests. Oldenbourg, München 2002, ISBN 3-486-25130-9, Abschnitt 3.3.7: Multiple Testverfahren. 
• Xinping Ciu, Thorsten Dickhaus, Ying Ding, Jason C. Hsu (Hrsg.): Handbook of Multiple Comparisons. Chapman and Hall/CRC, Boca Raton 2021, ISBN 978-0-367-14067-0, doi:10.1201/9780429030888 (E-Book-ISBN 978-0-429-03088-8).