Nur ein Drittel der Psychologie Erkenntnisse kann zuverlässig - was nun?

Dieser Artikel erschien ursprünglich in The Conversation. Die Publikation beigetragen Artikel Live Science Expert Stimmen: Op-Ed & Einblicke.

Die Fähigkeit, eine Studie zu wiederholen und die gleichen Ergebnisse zweimal zu finden ist eine Voraussetzung für den Aufbau von wissenschaftlichen Erkenntnissen. Replikation ermöglicht uns, empirische Befunde sind zuverlässig und unser Verständnis von verfeinert, tritt eine Feststellung zu gewährleisten. Vielleicht überrascht es Sie, zu lernen, dann, dass Wissenschaftler nicht oft – viel weniger veröffentlichen – durchzuführen versucht Replikationen der bisherigen Studien.

Zeitschriften, lieber Roman, Spitzenforschung zu veröffentlichen. Und berufliches Fortkommen wird bestimmt durch neue Entdeckungen, Ansprüche, die bereits auf die Bücher nicht mühsam zu bestätigen. Wie einer unserer Kollegen vor kurzem ausdrückte, "laufen Wiederholungen eignet sich für andere Menschen, aber ich habe bessere Möglichkeiten, meine kostbare Zeit zu verbringen."

Sobald eine Papier in einem Peer-reviewed Zeitschrift erscheint, erhält er eine Art magische, unanfechtbare Autorität. Nachrichtenagenturen und manchmal sogar Wissenschaftler selbst, werden diese Ergebnisse ohne eine Spur von Skepsis zitieren. So bedingungslos vertrauen in neuen Studien ist wahrscheinlich unverdient oder zumindest verfrüht.

Eine kleine aber vocal Kontingent der Forscher – aufgreifen von der Physik bis hin zur Medizin, Ökonomie – unterhält, dass viele, vielleicht die meisten veröffentlichten Studien falsch sind. Aber wie schlimm ist dieses Problem genau? Und welche Eigenschaften machen eine Studie, die mehr oder weniger wahrscheinlich zu erweisen um wahr zu sein?

Wir sind zwei der 270 Forscher, die zusammen nur in der Fachzeitschrift Science die erste große Mühe versuchen, diese Fragen zu beantworten, indem er versucht, 100 zuvor veröffentlichten psychologischen Wissenschaft Ergebnisse reproduzieren veröffentlicht haben.

Versucht, Erkenntnisse der Psychologie wieder zu finden

Veröffentlichen zusammen als die offene Zusammenarbeit von Wissenschaft und koordiniert von Sozialpsychologe Brian Nosek vom Zentrum für offene Wissenschaft, Forschung Mannschaften von auf der ganzen Welt lief jeweils eine Replikation einer Studie veröffentlicht in drei Top Psychologie Zeitschriften – psychologische Wissenschaft; Journal of Personality and Social Psychology; und Journal der experimentellen Psychologie: lernen, Gedächtnis und Wahrnehmung. Um sicherzustellen, dass die Replikation so exakt wie möglich war, Forschungsteams Studienmaterialien aus der ursprünglichen Autoren gewonnen, und arbeitete eng mit diesen Autoren, wann immer sie konnten.

Fast alle der ursprünglichen veröffentlichten Studien (97 %) hatten statistisch signifikante Ergebnisse. Dies ist, wie man erwarten würde – während viele Experimente nicht entdecken Sie aussagekräftige Ergebnisse, Wissenschaftler sind in der Regel nur für diejenigen zu veröffentlichen, die zu tun.

Was wir fanden, ist, dass wenn diese 100 Studien von anderen Forschern ausgeführt wurden, jedoch nur 36 % statistischen Signifikanz erreicht. Diese Zahl ist erschreckend gering. Anders ausgedrückt, nur rund ein Drittel der Wiederholung, die Studien mit dem gleichen Ergebnis herauskam, die beim ersten Mal gefunden wurden. Dieser Satz ist besonders gering, wenn man bedenkt, dass nach der Veröffentlichung Ergebnisse sind in der Regel als Evangelium gehalten werden.

Die schlechte Nachricht nicht zu Ende. Auch wenn die neue Studie Beweise für die Existenz der ursprünglichen Feststellung gefunden, das Ausmaß der Wirkung war viel kleiner – halb so groß wie das Original, im Durchschnitt.

Eine Einschränkung: nur weil etwas nicht replizieren bedeutet nicht, es ist nicht wahr. Einige dieser Fehler könnte aufgrund von Glück, oder schlecht- oder ein unvollständiges Verständnis der Umstände erforderlich, um den Effekt (Wissenschaftler Anruf dieser "Moderatoren" oder "Randbedingungen") zu zeigen. Zum Beispiel könnte jemand Praxis eine Aufgabe wiederholt ihr Gedächtnis, sondern nur verbessern wenn sie nicht wissen, die Aufgabe von Anfang an gut. In gewisser Weise ist was diese Wiederholungen (und gescheiterten Replikationen) dienen dazu die inhärente Unsicherheit jeder einzelnen Studie – original oder neu zu markieren.

Robuster mehr reproduzierbare Ergebnisse

Gegeben, wie tief diese Zahlen sind, gibt es alles, was wir tun können, um vorherzusagen, die Studien, die repliziert werden und diejenigen, die nicht? Die Ergebnisse aus diesem Projekt Reproduzierbarkeit bieten einige Hinweise.

Es gibt zwei große Möglichkeiten, dass Forscher die Natur ihrer Ergebnisse quantifizieren. Die erste ist ein p-Wert, der die Wahrscheinlichkeit geht davon aus, dass das Ergebnis rein zufällig angekommen war und ein Fehlalarm ist. (Technisch gesehen ist der p-Wert die Chance, die das Ergebnis oder ein stärkeres Ergebnis, auch wenn es keinen wirklichen Einfluss gab stattgefunden hätte.) In der Regel ein statistischer Test zeigt, dass der p-Wert unter 5 % liegt, sind die Ergebnisse der Studie als "erheblich" – wahrscheinlich aufgrund der tatsächlichen Auswirkungen.

Eine weitere Möglichkeit, ein Ergebnis zu quantifizieren ist mit einer Effektgröße-nicht wie zuverlässig ist des Unterschieds, aber wie groß es ist. Nehmen wir an, dass Sie finden, dass Menschen mehr Geld in eine traurige Stimmung verbringen. Nun, wie viel mehr Geld machen sie verbringen? Dies ist die Effektgröße.

Wir fanden, dass je kleiner der ursprünglichen Studie p-Wert und die größere Größe seine Wirkung, desto wahrscheinlicher war es, zu replizieren. Erste statistische Evidenz war ein guter Marker für reproduzierbare Feststellung sei.

Studien, die als zur Durchführung schwieriger eingestuft wurden waren weniger wahrscheinlich zu replizieren, wie Befunde, die überraschend galten. Zum Beispiel täten wenn eine Studie zeigt, dass die Lesung IQs senkt, oder wenn es eine sehr dunkle und unbekannte Methode verwendet, wir gut daran um solcher Daten skeptisch zu sein. Wissenschaftler sind oft belohnt für die Bereitstellung von Ergebnissen, die Blenden und Erwartung zu trotzen, aber außergewöhnliche Ansprüche erfordern außergewöhnliche Beweise.

Obwohl unsere Replikation Roman in seinen Umfang und Transparenz Aufwandist – sind die Methoden und Daten für alle replizierten Studien online verfügbar – sie konsistent mit früheren Arbeiten aus anderen Bereichen sind. Krebs-Biologen haben zum Beispiel Replikation Preise so niedrig wie 11-25 % berichtet.

Wir haben ein Problem. Was ist die Lösung?

Einige Schlussfolgerungen scheinen hier gerechtfertigt.

Wir müssen aufhören, Behandlung von Einzelstudien als unanfechtbare Autoritäten der Wahrheit. Bis eine Entdeckung gründlich überprüft und wiederholt beobachtet wurde, sollten wir es mit dem Maß an Skepsis behandeln, die wissenschaftliche Denken erfordert. Immerhin ist die echte wissenschaftliche Denkweise kritisch, nicht leichtgläubig. Es ist ein Ort für bahnbrechende Erkenntnisse und modernste Theorien, aber es gibt auch Verdienst in den langsamen, systematische Überprüfung und Verfeinerung dieser Erkenntnisse und Theorien.

Natürlich wird eine skeptische Haltung uns nur so weit bringen. Außerdem müssen wir Anreize für reproduzierbare Wissenschaft durch belohnen diejenigen, die Arbeiten Verhalten Replikationen und die replizierbar durchführen. Zum Beispiel mindestens eine Top-Zeitschrift hat damit begonnen, spezielle "Abzeichen" Artikel geben, die ihre Daten und Materialien zur Verfügung zu stellen, und die Berkeley-Initiative für mehr Transparenz in den Sozialwissenschaften hat einen Preis für das üben transparenter Sozialwissenschaften gegründet.

Bessere Forschungspraktiken dürften auch höhere Replikation Preise sorgen. Es gibt bereits Hinweise, dass bestimmte konkrete Schritte – wie die Herstellung von Hypothesen deutlich vor der Datenanalyse, offen teilen Materialien und Daten und folgenden transparentes reporting Standards – verringert falsch positive Sätze in veröffentlichten Studien. Einige Förderorganisationen fordern bereits Hypothese Registrierung und gemeinsame Nutzung von Daten.

Zwar perfekte Reproduzierbarkeit in Veröffentlichungen ein unrealistisches Ziel ist, sind Replikation Tageskursen unannehmbar niedrig. Der erste Schritt, ist wie sie sagen, zuzugeben, dass Sie ein Problem haben. Was Wissenschaftler und die Öffentlichkeit nun wählen, um mit diesen Informationen tun bleibt abzuwarten, aber unsere kollektive Antwort wird der Verlauf der zukünftigen wissenschaftlichen Fortschritt führen.

Elizabeth Gilbert ist Doktorand in Psychologie an der University of Virginia und Nina Strohminger Postdoctoral Fellow an der School of Management am Yale Universität.

Dieser Artikel erschien ursprünglich auf das Gespräch. Lesen Sie die