Von diversen Stellen werden Umfragen / Studien zu allen erdenklichen Themen durchgeführt. Über den Umweg der Presse finden einige davon ihren Weg in die Wikipedia. Dabei ergeben sich folgende Probleme
- Der Auftraggeber der Studie führt diese oft durch, um seine eigenen Argumente zu untermauern.
- Eine methodisch sauber durchgeführte Studie kostet viel Geld.
- In der Regel erfolgt keine Qualitätssicherung via Peer-Review.
- Je nach Untersuchungsgegenstand kann auch mit besten Absichten und unbegrenzten Ressourcen eine Verzerrung nicht verhindert werden.
- Die Journalisten haben nicht die Zeit, eine Studie komplett zu lesen, zu verstehen und zu hinterfragen.
- Oft fehlt ihnen auch der notwendige statische / wissenschaftliche Hintergrund, dies zu tun. Deshalb werden die Formulierungen aus der Presseveröffentlichung von Presseagenturen und Redaktionen oft 1:1 übernommen.
- Das trifft um so mehr zu, wenn eine Studie die Meinung des Mediums unterstützt.
- Tendenziell werden Studien umso eher von der Presse aufgegriffen, je spektakulärer und polarisierender die Ergebnisse sind.
- Teilweise übertrifft die Presse die Herausgeber mit ihrer Interpretation sogar, um möglichst viele Klicks zu generieren.
Bei einer Verwendung in unseren Artikeln ergibt sich zusätzlich das Problem, dass Studien oft ein höheres Gewicht eingeräumt wird. "Das Musterinstitut sieht einen positiven Zusammenhang zwischen Obstkonsum und Gesundheit." klingt nach Meinung. "Das Musterinstitut konnte in einer Studie einen signifikant positiven Zusammenhang zwischen Obstkonsum und Gesundheit nachweisen." klingt nach Wahrheit™. Das Lesen, Kritisieren und Entfernen einer Studie wird als unerlaubte Theoriefindung empfunden. Wenn reputable Quellen über eine Studie berichten, dann wäre es unsere Pflicht, diese Studie in unsere Artikel zu übernehmen. Die Entfernung aus einem Artikel könnte nur gerechtfertigt werden, wenn andere Medien die Qualität der Studie bezweifeln. Hier stellt sich allerdings das Problem, dass aus einer DPA-Meldung in wenigen Minuten ein Artikel erstellt werden kann, während die Kritik an einer Studie sehr zeitaufwändig ist und wissenschaftliche Kenntnisse erfordert.
GAMAAN Bearbeiten
Die Studie Bearbeiten
GAMAAN (The Group for Analyzing and Measuring Attitudes in IRAN) versucht die Einstellung der iranischen Bevölkerung zu diversen Themen zu ermitteln.[1] Beispielhaft soll hier die Studie zur Religion im Iran betrachtet werden.[2]
Die Befragten wurden dabei über Telegram, Instagram, WhatsApp, Twitter und Facebook rekrutiert. Um wahrheitsgemäße Einstellung zu erfahren und eine Gefährdung der Teilnehmer auszuschließen, wurden Maßnahmen ergriffen, um eine vollständige Anonymität der Befragten zu gewährleisten. Um eine Repräsentativität zu erreichen wurden die Teilnehmer nach verschiedenen Kriterien (Alter, Geschlecht, Bildung, Wohnort) gewichtet.
Die Probleme Bearbeiten
- Die Auswahl der Umfrageteilnehmer erfolgte durch Selbstselektion. Die Teilnehmer mussten aktiv einen Link anklicken und wurden aufgefordert, die Links an Freunde weiterzugeben.
- Die genutzten Plattformen waren im Iran überwiegend verboten. Es ist nicht davon auszugehen, dass regierungstreue und regierungskritische, konservative und progressive Iraner zu gleichen Anteilen an der Umfrage teilgenommen haben.
- Weniger technikaffine Iraner ohne Zugang zum Internet oder ohne das Know-How, um die Internetsperren der Regierung zu umgehen, wurden grundsätzlich von der Teilnahme ausgeschlossen.
- Aufgrund der Anonymität der Teilnehmer gab es keine Möglichkeit eine Mehrfachabstimmung zu verhindern oder sicherzustellen, dass ein Teilnehmer wirklich im Iran lebt.
- Die Richtigkeit der Angaben zu Alter, Geschlecht, Bildung oder Wohnort ließ sich nicht überprüfen. Versehentliche oder absichtliche Falschangaben führen zu einer falschen Gewichtung.
Die Studie kommt zu dem bemerkenswerten Ergebnis, dass weniger als ein Drittel der Iraner sich als Schiiten sehen, aber fast 8 % als Zoroastrier - 50 Mal so viele Anhänger wie wir der Religion weltweit zuschreiben. Die Ergebnisse erscheinen also nicht plausibel.
Status Bearbeiten
Die Studie zur Religion wird aktuell im Artikel Zoroastrismus verwendet.
Sanktionsfrei Bearbeiten
Die Studie Bearbeiten
Sanktionsfrei hat eine Studie[3] in Auftrag gegeben, um die Auswirkungen von Sanktionen zu ermitteln, die gegen Hartz-IV-Empfänger erlassen werden. Dafür wurden 585 Hartz-IV-Empfänger zufällig in 2 Gruppen aufgeteilt. In der Interventionsgruppe wurden finanzielle Einbußen aufgrund von Sanktionen bedingungslos ausgeglichen. In der Kontrollgruppe war dies nicht der Fall. So sollte für die 3 Jahre der Studienlaufzeit simuliert werden, wie sich Hartz-IV-Empfänger verhalten und fühlen, wenn es Sanktionen gibt oder nicht gibt.
Die Probleme Bearbeiten
Beim Namen "Sanktionsfrei" des Auftraggebers kann man bereits vermuten, was das gewünschte Ergebnis der Studie war. Dennoch macht die Studie vom Aufbau und der Datenerhebung her in Anbetracht des schwierigen Untersuchungsgegenstandes keinen schlechten Eindruck. Das Problem ist hier, dass die Daten der Studie nicht im Ansatz zum Fazit passen, das "Sanktionsfrei" verfasst hat und das von vielen Medien unverändert übernommen wurde. Im Fazit heißt es, dass Sanktionen keinen Einfluss darauf haben, Menschen besser in Arbeit zu bringen. Wenn man sich aber die Grafik auf Seite 5 anschaut, dann sind nach Ende der Studie 49 % der Kontrollgruppe (mit Sanktionen), aber 61 % der Interventionsgruppe (keine Sanktionen) nicht erwerbstätig. Mit statistischen Auswertungen wird der Leser der Studie aus gutem Grund verschont. Die Nullhypothese "Sanktionen haben einen Einfluss auf Arbeitslosenquote" ließe sich definitiv nicht ablehnen, wenn die Arbeitslosenquote in der Interventionsgruppe um 25 % (12 %P) höher ist als in der Kontrollgruppe.
Status Bearbeiten
Aktuell wird die Studie in den Artikeln Sanktionsfrei, Bürgergeld-Gesetz und Arbeitslosengeld II als Quelle genutzt.
Civey Bearbeiten
Die Studie Bearbeiten
Civey führt regelmäßig Online-Umfragen zu diversen Themen durch. Diese Umfragen werden von unterschiedlichen Seiten (Spiegel, T-Online, GMX, ...) direkt in Artikel eingebettet und können dort von den Lesern mit wenigen Klicks beantwortet werden. Um Repräsentativität zu erreichen, werden die Umfrageergebnisse anhand weiterer, durch die Teilnehmer anzugebener Kriterien unterschiedlich gewichtet.
Die Probleme Bearbeiten
Bei den Umfragen herrscht eine Selbstselektion. Das führt u. a. dazu, dass eher extreme Meinungsäußerungen getätigt werden. Nur wenige Menschen klicken eine Umfrage an, um auszuwählen, dass die Fragestellung ihnen (fast) egal ist. Außerdem kann nicht davon ausgegangen werden, dass die Aufrufer der Websites, in die die Umfragen eingebunden werden, repräsentativ für die Gesamtbevölkerung sind. Besonders mitteilungsbedürftige Menschen können direkt auf die Website von Civey gehen und dort alle Umfragen beantworten. Einen wirksamen Schutz gegen Mehrfachabstimmung gibt es nicht. Civey versucht Repräsentativitätsproblem durch eine Gewichtung zu lösen. Dabei hat Civey keine Möglichkeit, die Angaben zu Geschlecht, Alter und Wohnort zu überprüfen, sondern muss auf die Ehrlichkeit der Abstimmenden vertrauen. Eine Gewichtung nur nach Geschlecht, Alter und Wohnort erscheint nicht immer ausreichend, da viele Meinungen von Einkommen, Bildungsgrad oder politischen Einstellungen abhängen. So kann man davon ausgehen, dass eine Abstimmung mit identischer Gewichtung sehr unterschiedliche Ergebnisse liefern wird, wenn man sie bei der Bild, der TAZ oder der Wirtschaftswoche einbindet.
Status Bearbeiten
Aktuell werden Studien von Civey (mindestens) in den Artikel Alman (Ethnophaulismus) und Metaversum als Quelle verwendet.
Transparency International Bearbeiten
Die Studie Bearbeiten
Transparency International gibt jährlich den Korruptionswahrnehmungsindex heraus. Dabei werden die Ergebnisse aus 13 unterschiedlichen Studien von 12 verschiedenen Organisationen aggregiert. Um sie vergleichbar zu machen werden die Daten normalisiert (aus einer Schulnote 3 könnte z. B. ein Punktewert von 60 werden). Anschließend wird ein Durchschnittswert für jedes Land ermittelt und alle Länder werden in eine Reihenfolge gebracht.
Die Probleme Bearbeiten
Die Studie selbst hat gewisse Probleme, z. B. dass es versucht wird, die Wahrnehmung der Korruption zu messen, die teilweise mehr durch die Berichterstattung über Korruption beeinflusst wird als durch die Korruption selber. Das Hauptproblem liegt aber in der Interpretation der Daten und vor allem der Veränderung der Daten.
Transparency International selbst verknüpft die Bekanntgabe mit der Daten mit aus den aus Sicht der Organisation wichtigsten Problemen des Landes – ohne zu wissen, ob diese Probleme Einfluss auf die Bewertung haben. Transparency International ist darauf angewiesen, mit dem Bericht ein möglichst großes Medienecho zu erzeugen. Zum einen ist die Erzeugung von Aufmerksamkeit der einzige Weg, mit dem Transparency International das Ziel der Korruptionsbekämpfung unterstützen kann. Zum anderen ist Transparency International spendenfinanziert und daher auf eine regelmäßige Medienpräsenz angewiesen, um die Einnahmen für eine Fortsetzung der Arbeit generieren zu können.
Die Medien übernehmen die Darstellung von Transparency International oder interpretieren die Daten selbst, um Überschriften zu erzeugen, die möglichst viele Klicks generieren.
Sieht man sich die Veränderungen für Deutschland von 2021 zu 2022 an, dann gibt es wenig Anlass für spektakuläre Überschriften in die eine oder andere Richtung. Deutschland hat sich von 80 auf 79 verschlechtert, aber von Platz 10 auf Platz 9 verbessert. Der Wert von Deutschland setzt sich aus diesen 8 Einzelwerten zusammen:
| 2021 | 79 | 90 | 83 | 80 | 85 | 77 | 63 | 80 |
| 2022 | 79 | 90 | 71 | 87 | 85 | 77 | 60 | 80 |
Von den 8 Studien, aus denen sich der deutsche Gesamtwert zusammensetzt, hat sich bei 5 der Wert zum Vorjahr nicht verändert, bei 2 Studien ist er niedriger, bei einer höher als im Vorjahr. Berüchtigt man, dass der normalisierte Wert der Studien zwischen 60 und 90 schwankt, jede Studie ihre eigenen Probleme und Abweichungen hat und wir über die Wahrnehmung von Menschen reden, dann kann man zu der Veränderung aus statistischer Sicht eigentlich gar nichts sagen.
Status Bearbeiten
Der Bericht für 2022 wurde auf der Hauptseite die längste Zeit neutral präsentiert. Zwischendurch gab es 2 Versionen, in denen Interpretationen aus der Presse übernommen wurden, die die Daten nicht hergeben.
Global Revenue Statistics Database Bearbeiten
Die Seite Bearbeiten
Keine Studie, sondern eher eine Datensammlung ist die Global Revenue Statistics Database[4] der OECD. Hier versucht die OECD Daten zum Steueraufkommen ihrer Mitgliedsländer zu sammeln und in Kategorien einzuordnen.
Die Probleme Bearbeiten
Insbesondere das Kategorisieren von Steuereinnahmen ist eine schwierige Aufgabe. Steuern und Abgaben sind in unterschiedlichen Ländern nicht immer vergleichbar. Das Problem lässt sich gut an den beiden auf Basis der OECD-Daten erstellten Grafiken zu vermögensbezogenen Steuern für die Verwendung in den Artikeln Vermögensteuer und Vermögensteuer (Deutschland) sehen. Die Grafiken vermitteln den Eindruck, dass Vermögen in Deutschland sehr viel geringer besteuert wird als in anderen Ländern. Schaut man sich aber Großbritannien an, dass laut beiden Grafiken die höchste Besteuerung hat, dann zeigt sich das Problem. Die wichtigste vermögensbezogene Steuer in Großbritannien ist wohl die Council Tax, eine Steuer, die der Mieter bezahlen muss und von der u. a. die Müllabfuhr bezahlt wird. Sie korreliert grob mit dem Wert der Wohnung. An zweiter Stelle dürfte die non-domestic rates kommen, was so etwas wie die Gewerbesteuer in Deutschland ist. Beide Steuern / Abgaben gehen in Deutschland nicht in die Rechnung ein. Am Ende zeigt die Grafik also nur, dass nahezu identische Steuern in ganz unterschiedliche Schubladen gesteckt werden können. Eine Vermögensteuer im eigentlichen Sinne existiert in Großbritannien nicht. In anderen Ländern dürfte es ähnliche Verzerrungen geben, sodass die Grafiken Äpfel mit Birnen vergleichen und so einen falschen Eindruck von der Vermögensbesteuerung vermitteln.
Status Bearbeiten
Im Artikel Vermögensteuer wird die erste Grafik weiterhin verwendet. Die zweite Grafik wurde aus dem Artikel Vermögensteuer (Deutschland) entfernt. Dafür wird jetzt im Abschnitt Wiedereinführungsdiskussion, wahrscheinlich auf Basis dieser Daten, behauptet, dass Großbritannien Vermögen viel stärker besteuern würde als Deutschland.
change.org Bearbeiten
Die Seite Bearbeiten
Change.org bietet jedem die Möglichkeit ohne großen Aufwand und lange Vorbereitungszeiten Petitionen zu starten. Es gibt Petitionen von prominenten und unbekannten Einzelpersonen und von diversen Organisationen. Das Spektrum geht von lokalen bis globalen Fragestellungen und von hochpolitischen bis zu lächerlichen Forderungen. Jeder angemeldete Benutzer kann eine Petition unterzeichnen.
Die Probleme Bearbeiten
Es scheint keinen Mechanismus zu geben, der verhindert, dass die selbe Petition (evtl. sogar Bot-unterstützt) mehrfach unterzeichnet wird. Bei der Anmeldung muss lediglich ein Vor- und Nachname angegeben werden. Es erfolgt keinerlei Überprüfung der Angaben und unter demselben Namen können beliebig viele Accounts angelegt werden. Bei der testweisen Anlage von 5 Accounts (ohne Bot) lag der Zeitaufwand je Account zwischen ein und zwei Sekunden. Es sollte also problemlos möglich sein, binnen einer Stunde 1.000 Accounts anzulegen. Schaut man sich die sehr bemerkenswerte Zahl von über einer halben Milliarde registrierter Accounts an, dann kann man annehmen, dass nicht alle Account echt sind. Trotz dieser Manipulationsmöglichkeiten werden Petitionen in einigen Artikeln mit Wahlen gleichgesetzt, mit Formulierungen wie "100.000 Menschen unterstützten in einer Petition...".
Status Bearbeiten
Auf zahlreichen Seiten wird auf Petitionen Bezug genommen, teilweise in unproblematischer Form ("Eine Petition zu dem Thema forderte..."), teilweise in problematischer Form ("100.000 Menschen forderten in einer Petition...").