Wie Computer Science brach – und was wir tun können, um es zu beheben

Praktisch jeder Forscher stützt sich auf Computern zu sammeln oder analysieren von Daten. Aber wenn Computer blickdichte schwarze Felder, die Daten zu manipulieren sind, ist es unmöglich, Studien – ein zentraler Wert für die Wissenschaft zu replizieren.

Reproduzierbarkeit ist einer der Eckpfeiler der Wissenschaft. Populär gemacht von britischen Wissenschaftler Robert Boyle in der 1660s, ist die Idee, dass eine Entdeckung reproduzierbar sein sollten, bevor Sie als Wissenschaft akzeptiert zu werden.

Im Wesentlichen sollten Sie möglicherweise zu den gleichen Ergebnissen habe ich, wenn Sie die Methode beschreibe ich folgen, wenn meine Entdeckung in einer wissenschaftlichen Publikation angekündigt. Beispielsweise wenn Forscher die Wirksamkeit eines neuen Medikaments zur Behandlung einer Krankheit reproduzieren können, ist das ein guten Zeichen, das es für alle betroffenen der Krankheit funktionieren könnte. Ist dies nicht der Fall, wir sind links, Fragen, welche Unfall oder Fehler das original günstigen Ergebnis, und würde das Medikament Nützlichkeit bezweifeln.

Für den Großteil der Geschichte der Wissenschaft berichten Forscher haben ihre Methoden in einer Weise, die unabhängige Reproduktion ihrer Ergebnisse aktiviert. Aber seit der Einführung der Personal Computer – und die Point-and-Click-Software-Programme, die entwickelt wurden um es benutzerfreundlicher – machen Reproduzierbarkeit der viel Forschung geworden ist fragwürdig, wenn nicht gar unmöglich. Zuviel des Forschungsprozesses ist jetzt durch den undurchsichtigen Einsatz von Computern gehüllt, die viele Forscher gekommen sind, abhängen. Dies macht es fast unmöglich für einen Aussenstehenden, ihre Ergebnisse neu zu erstellen.

Vor kurzem haben mehrere Gruppen ähnliche Lösungsvorschläge für dieses Problem. Zusammen würden sie wissenschaftliche Daten aus der Black Box von Dunkelziffer Computer Manipulationen brechen, so unabhängigen Leser wieder kritisch beurteilen und Ergebnisse zu reproduzieren können. Forscher, die Öffentlichkeit und Wissenschaft selbst würden profitieren.

Computer die Daten hadern, aber auch zu verschleiern

Statistiker Victoria Stodden hat den einzigartigen Ort PCs Halt in der Geschichte der Wissenschaft beschrieben. Sie sind nicht nur ein Instrument – wie ein Teleskop oder Mikroskop –, die neue Forschung ermöglicht. Der Computer ist in einer anderen Weise revolutionär; Es ist eine kleine Fabrik zur Herstellung von allerlei Neues "Bereiche" neue Muster in wissenschaftlichen Daten erkennen.

Es ist schwer, einen moderne Forscher zu finden, die funktioniert ohne Computer, sogar in Bereichen, die nicht intensiv quantitative. Ökologen verwenden Computer, um die Auswirkungen von Katastrophen auf Tierpopulationen zu simulieren. Biologen benutzen Computer, um große Mengen von DNA-Daten zu suchen. Astronomen verwenden Computer, um große Arrays von Teleskopen zu kontrollieren und dann die gesammelten Daten zu verarbeiten. Ozeanographen verwenden Computer Daten von Satelliten, Schiffe und Bojen, globale Klima vorherzusagen kombinieren. Sozialwissenschaftler verwenden Computer zu erkennen und Vorhersagen, dass die Auswirkungen der Politik oder analysieren Transkripte interview. Computer helfen Forschern in fast jeder Disziplin erkennen, was in ihren Daten interessant ist.

Computer sind auch persönliche Instrumente. Wir haben in der Regel ausschließliche Verwendung von unseren eigenen, und die Dateien und Ordner, die darin enthaltenen gelten in der Regel einen privaten Raum, vor der Öffentlichkeit verborgen. Datenaufbereitung, Analyse, Visualisierung der Ergebnisse – dies sind Aufgaben, die auf dem Computer privat gemacht. Nur ganz am Ende der Pipeline kommt eine öffentlich sichtbare Zeitschriftenaufsatz zusammenfassen aller privaten Aufgaben.

Das Problem ist, dass die meisten modernen Wissenschaft so kompliziert ist, und die meisten Artikel in wissenschaftlichen Zeitschriften so kurz, es unmöglich für den Artikel ist, um Einzelheiten zu vielen wichtigen Methoden und Beschlüsse der Forscher, wie er seine Daten auf seinem Computer analysiert. Wie, dann kann ein anderer Forscher beurteilen die Zuverlässigkeit der Ergebnisse oder reproduzieren die Analyse zu?

Wie viel Transparenz haben Wissenschaftler Schulden?

Stanford Statistiker Jonathan Buckheit und David Donoho beschrieben dieses Problem bereits 1995, als der PC noch eine ziemlich neue Idee war.

Ein Artikel über rechnergestützte Wissenschaften in einer wissenschaftlichen Publikation ist nicht die Wissenschaft selbst, sondern lediglich Werbung des Stipendiums. Die tatsächliche Höhe des Stipendiums ist die komplette Software-Entwicklungsumgebung und der vollständige Satz von Anweisungen, die die Zahlen generiert.

Sie stellen eine radikale Forderung. Es bedeutet diese private Dateien auf unseren PCs, und die private Analyseaufgaben, was, die wir tun, wie wir arbeiten, um für die Veröffentlichung, sollte zusammen mit der Zeitschriftenartikel veröffentlicht werden.

Dies wäre eine große Veränderung in der Art und Weise, wie Wissenschaftler arbeiten. Wir müssten von Anfang an für alles vorbereiten, was wir tun auf dem Computer schließlich verfügbar für andere sichtbar gemacht werden. Das ist für viele Forscher ein überwältigender Gedanke. Victoria Stodden hat gefunden, dass die größte Einwand gegen die gemeinsame Nutzung von Dateien ist, die es braucht, um sie durch das Schreiben von Dokumentation und bereinigen sie vorzubereiten. Die zweite größte Sorge ist das Risiko keine Gutschrift für die Dateien zu erhalten, wenn jemand anderes sie benutzt.

Eine neue Toolbox zur Verbesserung der Reproduzierbarkeit

Vor kurzem, haben verschiedene Gruppen von Wissenschaftlern über Empfehlungen für Werkzeuge und Methoden machen es einfacher, Dateien und Analysen am Computer nachzuverfolgen angenähert. Zu diesen Gruppen gehören Biologen, Ökologen, nukleare Ingenieure, Neurowissenschaftler, Ökonomen und Politologen. Manifest-ähnliche Papiere legen Sie ihre Empfehlungen. Wenn Forscher aus verschiedenen Bereichen auf eine gemeinsame Vorgehensweise zusammenlaufen, ist es ein Zeichen, dass ein wichtiger Wendepunkt in der Wissenschaft im Gange sein könnte.

Eine wichtige Empfehlung: minimieren und Point-and-Click-Verfahren bei der Datenanalyse so weit wie möglich zu ersetzen, mithilfe von Skripts, die Anweisungen für den Computer zur Durchführung enthalten. Das löst das Problem der Aufnahme ephemere Mausbewegungen, die einige Spuren hinterlassen, sind schwierig, mit anderen Menschen zu kommunizieren, und schwer zu automatisieren. Sie sind häufig bei Reinigung und Organisation Aufgaben mit einem Tabellenkalkulationsprogramm wie Microsoft Excel. Ein Skript enthält auf der anderen Seite eindeutige Anweisungen, die durch den Autor weit in die Zukunft (wenn die spezifischen Details vergessen haben) und von anderen Forschern gelesen werden können. Es kann auch innerhalb eines Zeitschriftenartikels enthalten sein, da sie große Dateien nicht. Und Skripts können leicht angepasst werden, um Forschungsaufgaben, spart Zeit und reduziert das Potential für menschliches Versagen zu automatisieren.

Wir sehen Beispiele davon in der Mikrobiologie, Ökologie, politische Wissenschaft und Archäologie. Statt Maus um Menüs und Schaltflächen, manuell bearbeiten von Zellen in einer Tabelle und ziehen Dateien zwischen mehreren verschiedenen Softwareprogrammen Ergebnisse erreichen diese Forscher schrieb Drehbücher. Ihre Skripte automatisiert den Übergang von Dateien, die Reinigung der Daten, die statistische Auswertung und die Erstellung von Grafiken, Abbildungen und Tabellen. Dies spart eine Menge Zeit, wenn die Analyse überprüfen und wiederholen es um verschiedene Optionen zu erforschen. Und mit Blick auf den Code in der Skript-Datei, die Teil der Veröffentlichung wird, jeder kann sehen die genauen Schritte, die zu den veröffentlichten Ergebnissen geführt.

Andere Empfehlungen beinhalten die Verwendung von gemeinsamen, nicht-proprietäre Dateiformate zum Speichern von Dateien (z. B. CSV oder Komma getrennt Variablen für Datentabellen) und einfache Rubriken für systematisch organisieren von Dateien in Ordnern machen es leicht, andere zu verstehen, wie die Informationen strukturiert ist. Sie empfehlen, freien Software, der für alle Computersysteme verfügbar ist (zB. Windows, Mac und Linux) für die Analyse und Visualisierung von Daten (z. B. R und Python). Für die Zusammenarbeit empfehlen sie ein kostenloses Programm namens Git, das hilft, um Änderungen zu verfolgen, wenn viele Menschen dasselbe Dokument bearbeiten.

Derzeit sind die Werkzeuge und Methoden der Avantgarde, und viele nachweislich und senior Forscher haben nur eine vage Bewusstsein von ihnen. Aber viele Studenten lernen sie jetzt. Viele Studenten sehen, persönliche Vorteile zu erhalten organisiert, mit offenen Formaten, freie Software und optimierte Zusammenarbeit, Schulungen und Tools von Freiwilligenorganisationen wie Software Zimmerei, Daten Zimmerei und rOpenSci, die Lücken in ihrer formalen Ausbildung suchen. Meine Universität erstellt vor kurzem eine eScience-Institut, wo wir helfen Forschern diese Empfehlungen anzunehmen. Unser Institut ist Teil einer größeren Bewegung, die ähnliche Institute in Berkeley und New York University enthält.

Als Schüler lernen, diese Fähigkeiten Absolvent und Fortschritt in einflussreichen Positionen sehen wir diese Standards der neuen Normalität in der Wissenschaft geworden. Wissenschaftliche Zeitschriften erfordert Code und Daten-Dateien, Publikationen zu begleiten. Förderorganisationen benötigen sie in öffentlich zugänglichen Online-Repositories gelegt werden.

Offene Formate und freie Software sind eine Win/win

Diese Änderung in der Weise Forscher Computer verwenden werden vorteilhaft für die öffentliche Auseinandersetzung mit Wissenschaft. Wie Forscher mehr teilen mehr ihrer Dateien und Methoden vertraut, haben Mitglieder der Öffentlichkeit viel besseren Zugang zu wissenschaftlicher Forschung. Beispielsweise ein High-School-Lehrer werden in der Lage, Studenten zeigen Rohdaten aus einer kürzlich veröffentlichten Entdeckung und gehen die Schüler durch die wichtigsten Teile der Analyse, weil alle diese Dateien mit der Journal-Artikel zur Verfügung.

Ähnlich, wie Forscher zunehmend freie Software verwenden, Mitglieder der Öffentlichkeit werden in der Lage, die gleiche Software verwenden, um remix und verlängern Ergebnisse in Fachzeitschriften veröffentlicht. Derzeit verwenden viele Forscher teure kommerzielle Software-Programme, deren Kosten sie für Personen außerhalb von Universitäten oder Großunternehmen unzugänglich macht.

Natürlich ist der PC nicht die alleinige Ursache für Probleme mit der Reproduzierbarkeit in der Wissenschaft. Armen experimentelles Design, ungeeignete statistische Methoden, einen hart umkämpften Forschungsumfeld und den hohen Wert auf Neuheit und Publikationen in renommierten Zeitschriften sind alle schuldig.

Was die Rolle des Computers so einzigartig macht, ist, dass wir eine Lösung für das Problem haben. Wir haben klare Empfehlungen für ausgereifte Tools und bewährte Methoden, die Computer-Science-Forschung entlehnt, die Reproduzierbarkeit der Forschung durch jede Art von Wissenschaftler auf einem Computer zu verbessern. Mit einer kleinen Investition von Zeit, um diese Tools zu lernen können wir helfen, diese Eckpfeiler der Wissenschaft wieder herzustellen.

Ben Marwick, Associate Professor für klassische Archäologie, Universität von Washington

Dieser Artikel erschien ursprünglich auf das Gespräch. Lesen Sie den original Artikel.

Bild von Telwink unter Creative Commons Lizenz.