Die Abschaffung der Signifikanz

In Zeiten der Fake News sollte man eine Headline wie diese mit Vorsicht betrachten. Es geht nicht um den inflationären Gebrauch des Begriffs in blumigen Marketingtexten. Es geht ernsthaft um den Begriff der statistisch begründeten Signifikanz. Die „American Statistical Association“ (ASA)  plädiert dafür, die „Signifikanz“ als wichtiges Qualitätsmerkmal von Umfragen und empirischen Untersuchungen abzuschaffen. Nein, das ist falsch formuliert: Natürlich soll die Ermittlung des Wahrscheinlichkeitswerts oder des „p-Werts“ nicht abgeschafft werden. Aber die ASA sowie einige weitere Wissenschaftler aus den Bereichen Naturwissenschaften und Medizin argumentieren laut eines Berichts des Handelsblatts dafür, die Signifikanz als Kriterium für Studien nicht mehr zu verwenden. Als „signifikant“ wird ein Zusammenhang zwischen zwei Faktoren beispielsweise in einer Kreuztabelle bewertet, wenn dieser nicht mehr Zufall sein könnte. Dazu hatte es sich eingebürgert, Wahrscheinlichkeiten also p-Werte unter 5 Prozent als nicht mehr zufällig einzuordnen.

Studien besser interpretieren

Zu viele andere Ergebnisse oder ganze Studien seien unter den Tisch gefallen, nur weil sie insgesamt nicht repräsentativ seien – eine Voraussetzung für die Feststellung  von Signifikanz. Es ist natürlich auch zu  hinterfragen, ob Zusammenhänge mit p-Werten bei 10 Prozent nicht auch schon etwas zum untersuchten Problem aussagen.  Ich denke, es geht einfach darum, mit logischem Verstand sich die jeweiligen Untersuchungen anzusehen. Selbst aus nicht-repräsentativen Studien lassen sich zumindest Trends oder Verdachtsmomente ableiten – die man natürlich auch so formulieren sollte. Studienergebnisse sollten wir wir auch mithilfe anderer Werte interpretieren – muss es zum Beispiel immer nur der arithmetische Durchschnitt sein? Es kann auch wichtig sein zu wissen, wie sich eine Menge von Messwerten in zwei gleich große Hälften aufteilt, und welcher Wert dann sozusagen in der Mitte liegt (was sich dann Median nennt). Es muss auch nicht immer der Wahrscheinlichkeitswert sein, der nur bei repräsentativ oder zufällig ausgewählten Stichproben seine Gültigkeit hat. Wer statistisch interessiert ist, kann sich hier mit der Ermittlung der Chi-Quadrat-Koeffizienten beschäftigen.

Leitfaden zum Studiendesign anfordern

Wir haben bei Berkeley Kommunikation den Vorteil, über die Schwesterfirma Arlington Research zu verfügen, die in der Lage ist, repräsentative sowie internationale oder lokale Studien in Deutschland durchzuführen. Viele Kunden von uns, wie Kaspersky Lab, Staples oder Iron Mountain haben auf diesen Service zurückgegriffen.  Wer einen kleinen Leitfaden erhalten möchte, wie man eine Studie aufsetzt, der wird hier fündig!

Titelbild: Photo by Carlos Muza on Unsplash