Open Science Initiative

Die Fakultät für Psychologie ist Mitglied im Netzwerk der Open-Science-Initiativen. Sie gehört damit zur Spitze einer internationalen Bewegung, die sich darum bemüht, Qualitätsstandards psychologischer Forschung durch Standardisierung und Transparenz kontinuierlich zu verbessern.

Stellungnahme der Fakultät für Psychologie

Zur Gewährleistung von Erkenntnisfortschritt müssen die in jeder Wissenschaft eingesetzten Methoden, organisationalen Abläufe und Institutionen kontinuierlich überprüft, selbstkritisch hinterfragt und wenn notwendig optimiert werden. Die Psychologie stellt sich proaktiv dieser Herausforderung.

In verschiedenen aktuellen Studien wurden Fehlentwicklungen in unserem Fach und deren Ursachen aufgedeckt. Probleme wurden identifiziert u.a. bezüglich (a) der mangelnden Replizierbarkeit publizierter Ergebnisse, (b) der unvollständigen und selektiven Darstellung von Methoden, Analysen, Ergebnissen und Studien, (c) der unzulänglichen Dokumentation, Verfügbarkeit und Überprüfbarkeit von Studienmaterialien und Daten, (d) der post-hoc Generierung von Hypothesen und Erklärungen, (e) des unzureichenden Einsatzes von Power-Analysen, des Einsatzes zu kleiner Stichproben und der Praxis multiple zu Testen und Erhebungen beim Erreichen von Signifikanz zu beenden, (f) der Problematik, das publizierte Befunde zu selten unabhängig überprüft und repliziert werden und (g) nicht erfolgreiche Studien und Replikationsversuche anderer Studien üblicherweise nicht zugänglich gemacht werden und „in der Schublade“ verschwinden.

Zur Diagnose und Verbesserung der Situation hat sich, insbesondere initiiert durch jüngere Kolleginnen und Kollegen, eine internationale Open Science Bewegung entwickelt. Diese Bewegung versucht dazu beizutragen, den Fehlentwicklungen durch kollektive Initiativen und unter Nutzung neuer Medien entgegenzuwirken.

Die Fakultät für Psychologie der FernUniversität in Hagen wird ihrer Verantwortung als nach Anzahl der Studierenden größte Fakultät zur akademischen Ausbildung im Fach Psychologie gerecht und trägt, unter Nutzung der großen Studierendenzahl und der Kernkompetenzen im Bereich Neue Medien, durch die nachfolgend dargestellten Maßnahmen der Open Science Initiative der FernUniversität in Hagen aktiv zu dieser Bewegung bei.

Open Science Maßnahmen der Fakultät für Psychologie

  • Zur allgemeinen Diskussion und Koordination von Maßnahmen wird ein Open Science Komitee eingerichtet, welches Vorschläge zur Umsetzung von Open Science Maßnahmen an der FernUniversität erarbeitet, der Abteilungsleiterrunde oder dem Institutsrat vorstellt und deren Implementierung begleitet. Das Komitee besteht zunächst aus den an der Mitwirkung interessierten Abteilungsleitern und dessen Aktivitäten werden von einer Koordinatorin / einem Koordinator organisiert. Das Komitee soll perspektivisch um Vertreter anderer Statusgruppen erweitert werden.

    In einer konstituierenden Planungssitzung am 15.12.2015 wurden die im Folgenden beschriebenen ersten Vorschläge für konkrete Maßnahmen entwickelt. Über die Einrichtung des Komitees wurde in der ersten Sitzung des Institutsrats in 2016 informiert. Die Koordinatorin/der Koordinator des Komitees wird in einer Sitzung der Abteilungsleiter des Instituts gewählt.

    Die Koordinatorin/der Koordinator setzt sich in Verbindung mit entsprechenden Komitees an anderen Universitäten zur Gewährleistung der nationalen und internationalen Vernetzung und eines effizienten Erfahrungsaustauschs und kommuniziert Maßnahmen innerhalb und außerhalb der Universität. Sie oder er organisiert die Erstellung und Aktualisierung einer Webseite der Open Science Initiative der FernUniversität Hagen, auf der die im Folgenden erläuterten Informationen und Materialien veröffentlicht
    werden.

  • Alle in der Forschung tätigen Wissenschaftler werden angeregt, sich dazu zu verpflichten als Regelfall und wenn praktikabel:

    • Hypothesen von Studien zur Hypothesen-Testung zu prä-registrieren bzw. Studien explizit als explorativ zu kennzeichnen,
    • zum Zeitpunkt der Publikation Daten, Materialen und Analyseskripte online verfügbar zu machen,
    • Studien, Analysen und Ergebnisse vollständig zu berichten,
    • ausreichend große Stichproben a priori zu planen, vorzugsweise auf Basis von Power Analysen,
    • sich an der Replikation und Überprüfung publizierter Befunde – soweit die Rahmenbedingungen es zulassen – zu beteiligen und
    • auch die Ergebnisse nicht erfolgreicher Replikationen der Befunde anderer Personen aber auch eigener Befunde unter Nutzung von Online-Ressourcen verfügbar zu machen.

    Zur Gewährleistung eines einheitlichen Formats und einfachen Zugriffs, wird eine Standardisierung angestrebt. Das Komitee entwickelt dabei Empfehlungen für die einheitliche Nutzung von Online Ressourcen und Formaten. Diese Empfehlungen werden vom Komitee wenn notwendig aktualisiert und auf der neu einzurichtenden Open Science Webseite der FernUniversität Hagen veröffentlicht.

    Nach aktuellem Stand wird die Nutzung der Online Plattform des Open Science Frameworks (OSF; https://osf.io) für die Realisierung der Punkte (a) – (c) empfohlen. Zur Vereinfachung der Präregistrierung (Punkt (a); insbesondere für Abschlussarbeiten) wird die Plattform: https://aspredicted.org/ empfohlen, die es erlaubt in wenigen Minuten ein standardisiertes PDF Dokument zu erzeugen, welches an selber Stelle veröffentlicht aber auch in OSF hochgeladen werden kann. Für Punkt (d) wird die Nutzung der freien verfügbaren Software G*Power empfohlen http://www.gpower.hhu.de/. Für Punkt (f) wird die Nutzung der Plattform http://psychfiledrawer.org empfohlen.

    Jede/r wissenschaftlich Beschäftigte/r am Psychologischen Institut der FernUniversität Hagen hat die Möglichkeit sich freiwillig den oben erwähnten Prinzipien zu verpflichten. Dies wird realisiert durch Senden einer E-Mail (formlos; eine Vorlage wird später auf der Webseite zur Verfügung gestellt) an den Open Science Funktionsaccount: openscience . Eine Liste aller Personen, die sich selbst verpflichtet haben sowie allgemeine Materialien und Informationen werden durch das Open Science Komitee auf der Open Science Webseite der FernUniversität online verfügbar gemacht.

    Die Anzahl von Open Science Aktivitäten (Prä-Registrierungen, Daten, Materialien, Replikationen, Veröffentlichungen nicht erfolgreicher Replikationen) wird jährlich anhand eines kurzen Online-Fragebogens abgefragt und als fortlaufende Statistik in dieser Liste online veröffentlicht. Personen die der Open Science Initiative der FernUniversität Hagen beitreten, verpflichten sich diese Befragung jährlich zu bearbeiten.

  • Promotions-Betreuer, die sich der Open Science Initiative verpflichtet haben, halten ihre DoktorandInnen dazu an, die oben erwähnten Open Science Regeln einzuhalten. Die Bestnote „summa cum laude“ impliziert die strikte Einhaltung höchster methodologischer Standards und sollte für empirische Arbeiten nur vergeben werden, wenn diese Regeln eingehalten werden.

    Ausnahmen sind möglich und werden in einer whitelist zusammengefasst, die durch das Komitee bei Bedarf aktualisiert wird (verfügbar später auf der zu erstellenden Open Science Webseite). Bisher spezifizierte Ausnahmen betreffen:

    • Die Verpflichtung zur Veröffentlichung von Daten und Materialien entfällt, wenn diese durch die Rechteinhaber / Organisationen / Unternehmen, die diese zur Verfügung stellen oder deren Erhebung ermöglichen, der Veröffentlichung und Weitergabe nicht zustimmen. Selbiges gilt, wenn der Veröffentlichung rechtliche oder vertragliche Regelungen entgegenstehen.
    • Bei der Durchführung von Studien zu aktuellen Themen, die eine schnelle Reaktion erfordern, kann die Registrierung von Hypothesen auch nach der Erhebung – aber vor der Analyse der Daten – erfolgen. Alternativ ist eine Deklarierung als explorative Forschung natürlich immer möglich.

    Über die whitelist hinaus sind weitere Ausnahmen auf Basis von Sondergenehmigungen möglich, wenn diese vor Realisierung der Forschung beim Open Science Komitee per email beantragt und von diesem genehmigt werden.

    Die in der Arbeit relevanten Open Science Maßnahmen einschließlich Begründung von Ausnahmen auf Basis der whitelist oder durch Sondergenehmigungen werden in einem Anhang „Maßnahmen zur Gewährleistung von Open Science“ der Arbeit beigefügt.

    Für im Rahmen aktueller Promotionen bereits realisierte Forschung gilt diese Regelung nicht.

    Es sei an dieser Stelle auch noch einmal explizit darauf hingewiesen, dass auch die Durchführung explorativer Forschung bei der Realisierung von Qualifikationsarbeiten – insbesondere in der Frühphase – oft ausgesprochen wichtig ist (u.a. zur Generierung von Hypothesen und zur Erlangung eines ausreichenden Verständnisses der Thematik und Paradigmen). Explorative Forschung kann und soll weiterhin wie bisher im Forschungsprozess intensiv genutzt werden. Explorative Forschung sollte aber, entsprechend der oben erwähnten Kriterien, auch explizit als solche benannt werden.

    Für empirische Masterarbeiten und Bachelorarbeiten gilt die Regelung äquivalent für die Bestnote „sehr gut“ (1,0 und 1,3) ab SS 2016. Ausnahmen werden beim Erstbetreuer schriftlich beantragt, von diesem beschieden und Begründung und Bescheid ebenfalls im Anhang der Arbeiten veröffentlicht.

  • Um zu gewährleisten, dass Studierende diesen Anforderungen gerecht werden können, wird die Nutzung von Open Science Praktiken perspektivisch als integraler Bestandteil in die Methodenausbildung, das experimentelle Praktikum und Veranstaltungen zur Vorbereitung und Betreuung von Abschlussarbeiten eingebunden. Darüber hinaus werden Materialien und Links zur Verfügung gestellt, um die Nutzung zu erleichtern. Eine Vorlesung von Dr. Susann Fiedler zur allgemeinen Einführung in die Problematik und zur Darstellung der Ergebnisse des Reproducibility Projects ist auf der Institutswebseite bereits online verfügbar (https://www.fernuni-hagen.de/videostreaming/ksw/psychologie/20151215.shtml).

    Studierende der FernUniversität nähern sich der Thematik in ihrem Studium schrittweise an und leisten gleichzeitig einen Beitrag zur systematischen Überprüfung und Replikation publizierter Befunde. Speziell werden Studierenden bereits früh in der Methodenausbildung die wissenschaftstheoretischen Grundlagen (Module 1) und methodischen Kernkonzepte theoretisch vermittelt (Modul 2). Die Bedeutung systematischer Überprüfung, von Replikationen und schrittweiser Erweiterung von Wissen (u.a. anhand von Moderatoren) wird vermittelt.

    In einem ersten praktischen Schritt wird angestrebt, dass Studierende perspektivisch als Vorleistung in Modul 2 einen publizierten Datensatz analysieren und die Ergebnisse aus Zwecken der Dokumentation in der Lernumgebung Moodle hochladen (vgl. aktuelle Implementierung Modul 1).

    Unter Anleitung der Betreuerinnen im Experimentellen Praktikum, sollen die Open Science Praktiken dann erstmalig praktisch in der Forschung angewandt werden.

    Für Bachelorarbeiten wird – als zusätzliche Möglichkeit zu Literaturarbeiten und klassischen empirischen Arbeiten – die Durchführung von einfachen Replikations-Studien (ggf. auch in Kleingruppen) angeboten. Spezifische Anleitungen legen fest, dass eine vertiefte theoretische und methodische Auseinandersetzung mit der Thematik und somit eine ausreichend eigenständige wissenschaftliche Arbeit gewährleistet wird.

    Für Masterarbeiten gilt dies ebenfalls, allerdings wird die Realisierung einer komplexeren Replikationsstudie erwartet. Speziell muss eine ausführlichere Analyse und Diskussion der Originalstudie durchgeführt werden und zusätzlich zur puren Replikation der Einfluss einer theoretisch oder empirisch abgeleiteten Moderatorvariable untersucht werden. Die Möglichkeiten zum Einsatz von Replikationen in Bachelor- und Masterarbeiten werden zunächst in einem Pilotprojekt im WS2015/16 und SS2016 im Lehrgebiet Allgemeine Psychologie: Urteilen, Entscheiden, Handeln erprobt und die notwendigen Materialien für die Studierenden erstellt.

  • Bei Berufungen und Einstellungen von Mitarbeitern wird die Einhaltung von Open Science Praktiken in der Forschung als Kriterium aufgenommen, welches im Interview abgefragt und bei der Beurteilung berücksichtigt wird.

Dokumente der Open Science Initiative

Weitere Ressourcen, Informationen und Hinweise

Kontakt

Open Science Committee

E-Mail: openscience

Fakultät für Psychologie | 19.05.2022