Sagen ChatGPT und Co Studienergebnisse voraus?

„Mit unserem Projekt werfen wir einen Blick in die Forschung von morgen“, sagt Dr. Tobias Wingen von der FernUniversität in Hagen. Gemeinsam mit einem Team aus dem Lehrgebiet Behavioral Economics und Interkulturelle Psychologie (Prof. Dr. Angela Dorrough) möchte er herausfinden, ob KI-Modelle wie ChatGPT, Gemini, Perplexity und Co die Ergebnisse von wissenschaftlichen Studien voraussagen können. „Statt eine aufwändige Studie durchzuführen, könnte man dann einfach die KI fragen: ‚Hey, was denkst du, kommt bei meiner Studie raus?‘“, erklärt der Psychologe. „Wenn das funktionieren würde, hätte das bahnbrechende Implikationen für die Forschung.“

„Unser Ziel ist dabei natürlich nicht, dass menschliche Forschung durch KI-Vorhersagen ersetzt wird. Dazu ist KI derzeit auch sicher noch nicht in der Lage”, stellt Wingen klar. Wohl aber könnte KI helfen Ressourcen zu sparen, die an anderer Stelle einem verbesserten Forschungsdesign zugutekämen. „Wenn das Ergebnis meiner Forschungsfrage schon jetzt ganz einfach von einer KI vorausgesagt werden kann, sollte ich vielleicht eine andere Frage stellen“, pointiert Tobias Wingen. Auch könnte die KI helfen, Studien zielgerichteter zu planen. „Eine präzise Vorhersage würde uns zum Beispiel dabei helfen, im Vorfeld die nötige Versuchspersonenzahl zu bestimmen.“

Junges Forschungsfeld

Der gesamte Forschungszweig steckt momentan noch in den Anfängen. „Es gibt zwar schon vereinzelte Studien zum Thema“, ordnet Wingen ein. „Wir sehen uns das ganze aber jetzt mit dem Blick auf unser Fachgebiet Behavioral Economics an.“ Hier nämlich geht es nicht nur um die Vorhersage von wahrscheinlichen Sprechakten – eine Aufgabe, die generative Sprachmodelle recht sicher beherrschen – sondern um ökonomische Zusammenhänge, unter anderem auch den Umgang mit echtem Geld: „Kann die KI das dann immer noch so gut?“ Methodisch ist Wingen und seinen Teamkolleg:innen ein möglichst niederschwelliger Ansatz wichtig – abseits hochkomplizierter Vorhersagemethoden: „Wir wollen wissen, ob es klappt, gängige KI-Modelle relativ direkt zu fragen: ‚Was denkst du, was da rauskommt?‘“

Studierende machen mit

Zugänglichkeit liegt Wingen auch deshalb am Herzen, weil das Projekt die Studierenden der FernUniversität aktiv miteinbezieht: „Wir haben einen standardisierten Prompt entwickelt, mit dem unsere Studierenden selbst arbeiten können.“ Wer eine Abschlussarbeit auf dem Feld der Behavioral Economics schreibt, kann mitmachen und eigene Vergleichsdaten beisteuern. „Wir nutzen fünf verschiedene KI-Modelle: Gemini, ChatGPT, Perplexity, Claude und LeChat“, erklärt Tobias Wingen.

Den Sprachmodellen gegenübergestellt werden nicht nur die tatsächlichen Studienergebnisse, sondern auch die Voraussagen der menschlichen Studienautor:innen. „Wir brauchen für unser Vorhaben sehr viele Daten und freuen uns über alle Studierenden, die mitmachen“, unterstreicht der Projektleiter.

Fortlaufende Einblicke in Shiny-App

Um erste Ergebnisse des Projekts zu sehen, müssen sich Interessierte übrigens nicht lange gedulden: „Damit wir nicht mehrere Semester warten müssen, bis wir die finalen Ergebnisse endlich teilen können, gibt es schon jetzt eine interaktive Plattform, auf der man alles live mitverfolgen kann“, freut sich Tobias Wingen über die als Shiny-App mit R-Code aufgesetzte Seite. Grafiken mit bunten Markern machen hier die Verteilung der jeweiligen Vorhersagen anschaulich. „Spannend ist für uns natürlich auch, wenn die Prognosen von Mensch und Maschine auseinanderklaffen“, so der Psychologe. „Auch das sollten wir uns genau ansehen! Vielleicht liegt die Wahrheit ja auch irgendwo in der Mitte.“