Der statistische Fehler, der nur auf immer wieder

Die gleichen statistischen Fehler – nämlich, ignorieren die "Differenz Unterschiede" – sind in den renommiertesten Zeitschriften in den Neurowissenschaften erscheinen.

Wir alle wollen Quacksalber auslachen, wenn sie grundlegende Statistiken zu missbrauchen. Aber was passiert, wenn Akademiker, massenhaft Fehler, die ebenso töricht sind, bereitstellen? Diese Woche veröffentlichen Sander Nieuwenhuis und Kollegen einen mächtigen Torpedo in der Fachzeitschrift Nature Neuroscience.

Sie haben einen direkten, nackte statistische Fehler so weit verbreitet, wie, den es in etwa die Hälfte aller Befragten Veröffentlichungen aus der akademischen neurowissenschaftliche Forschungsliteratur erscheint, identifiziert.

Um das Ausmaß des Problems zu verstehen, müssen wir zuerst den Fehler zu verstehen. Das ist schwierig, und es dauert 400 Worte des Schmerzes. Am Ende werden Sie verstehen, einen wichtigen Aspekt der Statistik besser als halbe professionelle Akademiker, die derzeit auf dem Gebiet der Neurowissenschaften zu veröffentlichen.

Nehmen wir an, dass Sie auf Nervenzellen, arbeiten ihre Brand-Frequenz zu messen. Wenn Sie eine Chemikalie auf ihnen ablegen, scheinen sie langsamer Feuer. Du hast einige normale Mäuse und einige mutierte Mäuse. Sie wollen sehen, ob ihre Zellen durch die chemische unterschiedlich betroffen sind. So messen Sie die Feuerrate, vor und nach Anwendung der Chemikalie, zuerst in die mutierte Mäuse, dann in den normalen Mäusen.

Beim Ablegen der Chemikalie auf die mutierten Mäusen Nervenzellen sinkt ihre Feuerrate, um 30 % sagen. Mit der Anzahl der Mäuse, die Sie haben ist dieser Unterschied statistisch signifikant, und so wahrscheinlich nicht auf den Zufall zurückzuführen. Das ist eine nützliche Erkenntnis, die Sie vielleicht veröffentlichen können. Beim Ablegen der Chemikalie auf die normale Mäuse Nervenzellen gibt es ein bisschen eines Tropfens, aber nicht so viel-sagen wir mal 15 %, die statistischen Signifikanz erreichen nicht.

Aber hier der Haken ist. Man kann sagen, es ist eine statistisch signifikante Wirkung für Ihre chemischen Verringerung der Feuerrate in den mutierten Zellen. Und man kann sagen, es gibt keine solche statistisch signifikante Auswirkung in den normalen Zellen. Aber man kann nicht sagen, Mutant und normale Zellen reagieren auf die chemische anders: um zu sagen, dass Sie hätte für einen dritten statistische Test, speziell den "Unterschied Unterschiede" zu vergleichen, der Unterschied zwischen die chemisch induzierte Veränderung im feuern bewerten für die normalen Zellen gegen die chemisch induzierte Veränderung der mutierten Zellen.

Jetzt ist betrachtet man die Zahlen, die ich euch hier (für unsere geschminkten Experiment) gegeben haben es sehr wahrscheinlich, dass diese "Unterschied Unterschiede" wäre nicht statistisch signifikant, weil die Antworten auf die Chemikalie nur um 15 % voneinander abweichen, und wir haben bereits gesehen, dass ein Rückgang von 15 % auf eigene nicht genug statistischen Signifikanz zu erreichen.

Aber in diesem Fall nur Akademiker in Neurowissenschaften Papiere routinemäßig behaupten einen Unterschied in der Reaktion, in allen Bereichen, die man sich vorstellen kann, mit allen Arten von Reizen und Interventionen gefunden zu haben: Vergleich der jüngere und ältere Teilnehmer; bei Patienten gegen normalen Freiwilligen; zwischen verschiedenen Gehirnregionen; und so weiter.

Wie oft? Nieuwenhuis angeschaut 513 Papiere mehr als zwei Jahren in fünf renommierten neurowissenschaftlichen Fachzeitschriften publiziert. Die Hälfte der 157 Studien wo dieser Fehler gemacht haben könnte, war es. Erweiterten sie ihre Suche auf 120 zellulären und molekularen Artikel in Nature Neuroscience, 2009 und 2010: sie fanden 25 Studien, die diesen Irrtum zu begehen, und nicht ein einziges Dokument analysiert Unterschiede in der Tat Größen korrekt.

Diese Fehler treten in der angesehensten Fachzeitschriften für den Bereich der Neurowissenschaften. Wie können wir das erklären? Analyse der Daten korrekt, um eine "Unterschied Unterschiede" zu identifizieren ist ein wenig Eisschollen, großzügig so denken, wir vermuten, dass Forscher es sorgen, ist für ein Papier zu langatmig oder zu schwierig für die Leser. Alternativ könnten wir uns weniger großzügig entscheiden, ist es zu kompliziert für die Forscher selbst.

Aber die dunkelsten Gedanken von allen ist: einen "Unterschied Unterschiede" richtig zu analysieren ist viel weniger wahrscheinlich, um Ihnen ein statistisch signifikantes Ergebnis, und so ist es viel weniger wahrscheinlich, die Art von positivem Befund zu produzieren, musst du gut in deinem Lebenslauf aussehen, bekommen klatscht auf Konferenzen, und Wohlfühlen in Ihrem Bauch. Im Ernst: Ich hoffe, dass dies alle nur Inkompetenz ist.

•, Die dieser Artikel, am 13. September 2011 deutlich machen geändert wurde, dass die Nieuwenhuis studieren sah speziell auf Neurowissenschaften Papiere, nicht Psychologie Forschung.