ChatGPT

von Andreas Giesbert, Dr. Andreas Kempka und Alexander Sperl
zuletzt aktualisiert: 29. 3. 2023

ChatGPT ist ein Chatbot der Firma OpenAI, der seit der Veröffentlichung im vergangenen Jahr einiges an Aufmerksamkeit erlangt hat. Auf dieser Seite werden Informationen rund um ChatGPT gesammelt und ständig aktualisiert. Die Seite ist in verschiedene Sektionen zur Funktionsweise, didaktischen Aspekten, Auswirkungen auf Prüfungen usw. gegliedert. Wir geben außerdem unsere Einschätzungen, wie die Nutzung von ChatGPT aus diesen unterschiedlichen Perspektiven zu sehen ist.

1. Was ist ChatGPT?

Titelseite des PDF-Dokuments
Sie können diesen Beitrag in der Version vom 28.2.2023 auch als PDF herunterladen.

ChatGPT setzt sich einerseits aus „Chat“ für die Chatfunktion und andererseits aus GPT für „Generative Pre-Trained Transformer“ zusammen. ChatGPT ist ein Chatbot, der mit dem Ziel entwickelt wurde, menschliche Kommunikation zu simulieren. Es basiert (Stand: 28.2.2023) auf dem Sprachmodell GPT 3.5, das ebenso wie der Chatbot von der Firma OpenAI entwickelt wurde. ChatGPT erlebt momentan einen sehr großen Hype. Innerhalb von zwei Monaten registrierten sich 100 Millionen Benutzende auf der Plattform. Zum Vergleich: TikTok brauchte dafür 9 Monate, Instagram mehr als zwei Jahre.

Vereinfacht gesprochen handelt es sich bei ChatGPT um eine sehr komplexe Wahrscheinlichkeitsmaschine. Nutzende stellen über ein Eingabefeld Anfragen oder Aufforderungen, sogenannte Prompts. Bei der Ausgabe von Text entscheiden die Algorithmen von ChatGPT dann Wort für Wort, mit welcher Wahrscheinlichkeit das nächste Wort auftauchen wird. Diese Entscheidung basiert auf einer sehr großen Datengrundlage – GPT 3.5 arbeitet mit ca. 45 Terabyte Daten und 175 Millionen Parametern, die die Entscheidung beeinflussen. Die Ausgaben wurden dann noch einmal von Personen bewertet, das System wurde (und wird) also dahingehend trainiert, welche Aussagen brauchbar und erwünscht sind und welche nicht. OpenAI ist für die ethisch zweifelhafte Herangehensweise dabei kritisiert worden. Im Chat können alle Nutzenden die generierten Antworten selbst bewerten. Solche Eingaben und Bewertungen dienen als Grundlage für zukünftige Trainings, beeinflussen das Modell aber nicht unmittelbar.

Prof. Dr. Torsten Zesch (Leiter des Lehrgebiets Computational Linguistics und Leitungsmitglied bei CATALPA) erklärt in diesem Input vom 1.2.2023 die Funktionsweise von ChatGPT:

Am 14. März 2023 veröffentlichte OpenAI das Sprachmodell GPT 4, das multimodal ist. Das bedeutet, dass es mit unterschiedlichen Eingabeformen, neben Text auch Bilder, umgehen kann. In der ersten Vorstellung von OpenAI wurden z. B. handschriftliche Notizen interpretiert und die Ausgabe erzeugte den Code für eine funktionierende Webseite. Bildliche Darstellungen konnten auch auf andere Art und Weise verarbeitet werden.

2. Was ist so anders als bei bisherigen Chatbots?

Aufgrund der enormen Datengrundlage, den Entscheidungsparametern und des menschlichen Trainings ist die Ausgabe von ChatGPT qualitativ erstaunlich gut – auch wenn es häufig an der Oberfläche bleibt, ChatGPT durch beharrliches Nachfragen von richtigen Antworten abgebracht werden kann und wissenschaftliche Quellen einfach, wenn auch auf den ersten Blick plausibel, „erfunden“ werden. Dadurch haben sich in den vergangenen Wochen und Monaten die Stimmen gemehrt, die feststellen, dass von ChatGPT ausgegebene Texte häufig nicht mehr von menschlichen Texten unterschieden werden können.

Dabei sollten allerdings folgende Aspekte besonders beachtet werden:

  • ChatGPT ist keine Intelligenz, sondern berechnet mit einer sehr hohen Trefferquote, wie Texte zu einem bestimmten Thema aufgebaut sind. Das gilt für wissenschaftliche Text genauso wie für Gedichte, Rap-Songs oder Witze, also quer durch alle Genres. Wir neigen allerdings aufgrund der nicht mehr von menschlichen Antworten unterscheidbaren Ausgaben der Software Intelligenz zuzuschreiben. Vor allem, da sie auf Nachfrage ebenso plausible Antworten gibt. Der menschliche Faktor geht aber leicht verloren, wenn man sich die Texte bestimmter Genres genauer anschaut. Witze, die ChatGPT erzählt, sind eben nicht unbedingt witzig, weil es nur mit Wahrscheinlichkeiten operiert.
  • Die Wahrscheinlichkeit, falsch zusammengesetzte Antworten zu erhalten, sollte nicht außer Acht gelassen werden. Auch wenn die Trefferquote gut ist, entbindet das nicht von der Tatsache, dass die Antworten einem Faktencheck unterzogen werden müssen. Erst wenn man selbst die Expertise hat, eine Antwort einschätzen zu können, ist eine sinnvolle Nutzung von ChatGPT möglich.
  • Jede Eingabe bei ChatGPT kann potenziell für das Training des Chatbots genutzt werden. Das heißt zum Beispiel, dass die Eingabe einer Klausurfrage das System darin trainieren kann, die Klausurfrage besser beantworten zu können. Die kostenfreie Veröffentlichung des Tools hat genau den Zweck, dass sehr viele Nutzende das System „mal ausprobieren“ wollen und so kostenfrei beim Training unterstützen.
  • ChatGPT ist darauf trainiert, den Nutzenden zu gefallen. OpenAI hat natürlich kein Interesse daran, dass ChatGPT die Nutzenden vor den Kopf stößt. Dementsprechend scheinen die Trainings in diese Richtung gelaufen zu sein. Durch Nachfragen kann der Chatbot daher von richtigen Antworten abgebracht werden – was wiederum in das Training des Bots einfließt.

3. Didaktische Aspekte

KI-basierte Tools wie ChatGPT sind in der Welt und es ist zu erwarten, dass sie sich unwiderruflich etablieren und in immer mehr Produkte integriert werden. Insbesondere eine unmittelbare Integration in Textverarbeitungsprogramme ist erwartbar und wird die Anwendung zur Selbstverständlichkeit machen. Hochschulbildung kann sich einer solchen Entwicklung nicht entziehen und sollte auf diese Veränderung proaktiv reagieren.

3.1 Sensibilisierung

In der wissenschaftlichen Ausbildung kann es dabei nicht darum gehen, solche Tools bloß zur Bearbeitung von Fragen einzusetzen, sondern den Umgang mit ihnen kritisch zu hinterfragen. Die Antworten von ChatGPT sind nicht nur unzuverlässig, sondern zusätzlich vorselektiert. Dadurch wird die Kontrolle über die Lehrinhalte indirekt in die Hände von Tech-Firmen gelegt. Genau eine solche Sensibilisierung für fachspezifische Schwierigkeiten im Umgang mit diesen Tools kann eine wichtige Kompetenz ausmachen, die etwa an bekannte Ansätze wie Quellenkritik, Recherchefertigkeiten und kritisches Denken anschließen kann.  Nicht zuletzt sind Kenntnisse in der Nutzung und Beurteilung solcher Tools ein wichtiger Future Skill, der auch auf dem Arbeitsmarkt immer gefragter wird.

3.2 Persönliche Assistenz

Wird das Tool reflektiert eingesetzt, kann ChatGPT dabei helfen, Fragen auf eine alternative Weise dialogisch zu erschließen. Dabei sind eine Einschätzung der Plausibilität von Antworten und die weitere Recherche unbedingt notwendig. Ein Gespräch mit dem Bot kann helfen, einen groben Einblick zu bekommen oder Überlegungen „durchzuspielen“. ChatGPT kann dabei unterstützen, schwierige Passagen umzuformulieren, um so Hürden im Textverständnis abzubauen, und fremdsprachige Texte zu übersetzen. Darüber hinaus kann das Tool zur Ideengenerierung verwendet werden und sogar bei der Erarbeitung eines Lernplans helfen. Hier sind der Fantasie kaum Grenzen gesetzt, wenngleich die Nützlichkeit der Antworten sehr stark variieren wird.

3.3 Nutzen für Lehrende

Unter ähnlichen Einschränkungen wie bei der Nutzung für Studierende kann ChatGPT auch genutzt werden, um die Lehre zu unterstützen. Neben der Thematisierung des Tools in konkreten Zusammenhängen, kann z. B. auch die Lehre mit Hilfe von ChatGPT vorbereitet werden. So kann es etwa Beispiele zu Theorien entwickeln und auch nach der didaktischen Reduktion bei komplexen Inhalten befragt werden.

3.4 Unterstützung von Schreibprozessen

Als Sprachmodell ist ChatGPT besonders gut geeignet, um bei Schreibprozessen zu unterstützen. Bei der Vorbereitung kann das Tool zur Ideensammlung genutzt werden und aus diesen Gliederungen erstellen oder bestehende überarbeiten. Im aktiven Schreibprozess kann es erste Entwürfe Anhand von Stichpunkten oder Themen erstellen, die die „Angst vorm weißen Blatt“ mindern können. Des weiteren können KI-basierte Tools bei der Überarbeitung schwieriger Textstellen helfen und sogar Feedback zu Textstellen liefern. Unterstützen meint nicht ersetzen. Gut eingesetzt kann ChatGPT helfen, das eigene Schreibniveau zu verbessern, was aber nicht unbedingt weniger, sondern andere (Denk-)Arbeit bedeutet. Praxistipp: Um die Klarheit und Nachvollziehbarkeit eines eigenen Textabschnittes zu überprüfen, kann ChatGPT aufgefordert werden, betreffende Textpassagen zusammenzufassen. Das kann Hinweise darauf geben ob die zentralen Aspekte prägnant formuliert wurden und mögliche Missverständnisse aufzeigen.

4. Anwendungen in der Lehre der FernUniversität

Da es sich um ein junges Tool handelt, ist die Nutzung von ChatGPT explorativ. Grundsätzlich kann diese Situation offen thematisiert werden. Im Umgang mit dem Tool sind Lehrende ebenso Lernende wie die Studierenden.

4.1 Explorative Workshops

Die Neuigkeit und Komplexität von ChatGPT können ein Anlass für explorative Workshops sein. Gemeinsam die Möglichkeiten und Grenzen dieser Technologie in einem geschützten Workshopformat zu erschließen kann wertvolle Erkenntnisse ergeben. Je nach Studienphase können die Fragen gemeinsam im Workshop erarbeitet werden. Es hilft jedoch in jedem Fall einige Prompts und Fragestellungen vorzubereiten.

4.2 Hinweise zum Produktiveinsatz in der asynchronen Lehre

Als einfach erreichbares Tool bringt ChatGPT die perfekten Voraussetzungen mit, um asynchron eingesetzt werden zu können. So lassen sich etwa in Moodle Aufgaben bereitstellen. die individuell durchgeführt werden sollen und dennoch individuelles Feedback ergeben. Dabei sollten folgende Punkte berücksichtigt werden:

  • Rechtliches Wie bereits erwähnt, kann die Nutzung von ChatGPT unter regulären Bedingungen nicht verpflichtend gemacht werden. Studierenden, die sich gegen die Nutzung des Tools entscheiden, dürfen keine Lehrinhalte vorenthalten werden.
  • Ethische Aspekte Es gibt neben allen anderen Überlegungen auch ethische Einwände gegen den Einsatz von ChatGPT in der Lehre und Ideen dazu, genau diese Probleme zum Thema zu machen.
  • Unkontrollierbarkeit ChatGPT ist als KI-Sprachmodell nichtdeterministisch. Das heißt, dass die Antworten auf eine Frage immer anders ausfallen können und nie ganz zu kontrollieren sind. Es empfiehlt sich, Aufgaben daher mehrmals zu testen, um ein Gespür für mögliche Antworten und damit einhergehende Probleme einfangen zu können.
  • Genauigkeit Wie auch in der klassischen Lehre sind möglichst genaue Aufgabenstellungen hilfreich. Gerade für einen weitgehend ungesteuerten Lernprozess sollte daher der Zweck der Aufgabe transparent gemacht und nach Möglichkeit sogar konkrete Prompts (also Eingabebefehle) bereitgestellt werden. Einen guten Prompt zu entwickeln, der etwa auch Passagen eines Fachtextes enthalten kann, ist die Grundlage, um die Ausgabe des Tools zu steuern. Je genauer sie sind, desto eher können vergleichbare Ergebnisse erwartet werden.
  • Didaktische Reflexion Studierende dürfen sich niemals allein auf die Reaktion des Chatbots verlassen. Daher sollten weitere Kontroll- und Feedbackschleifen eingebaut werden, in denen sich etwa in Foren oder Präsenzsitzungen über den Output und Erfahrungen ausgetauscht wird. Insbesondere in Selbstlerneinheiten sollte eine angemessene Rahmung auf Hürden und Probleme hinweisen, die Grenzen des Tools benennen und ggf. eine Musterlösung mitgeben.

4.3 Sensibilisierungsaufgaben

Zur Sensibilisierung für das Tool bieten sich verschiedene Methoden an, die bereits in der Schulpraxis ausprobiert wurden, aber auch übertragen werden können.

  • Output als Quelle kritisieren Mit ChatGPT generierte Texte können, wie jeder andere Text auch, kritisch befragt werden. Dies kann sowohl die fachliche Richtigkeit, den Stil oder implizite Tendenzen betreffen. Solche Texte können entweder live generiert oder vorbereitet und als Datei präsentiert werden.
  • Leistungsfähigkeit vergleichen Eine in Schulen beliebte Aufgabe ist es, eine Schreibaufgabe sowohl an das Tool als auch die Lernenden zu geben. Die anonymisierten Texte werden dann vorgestellt und es wird abgestimmt ob der Text von Mensch oder Maschine stammt. Im akademischen Kontext kann dies um die Analyse von Erkennungsmerkmalen und Auseinandersetzung mit Stärken und Schwächen der Textfragmente ergänzt werden. Die Aufgabe lässt sich auch asynchron und in Gruppen aufgeteilt mit großen Teilnehmendenzahlen umsetzen.
  • Als (Selbst-)Reflexionstool von Schreibstilen Eigene Texte können von ChatGPT bewertet und „verbessert“ werden. Dieser Prozess kann genutzt werden, um stilistische Angewohnheiten zu erkennen und den eigenen Stil zu reflektieren. Wichtig ist hier, nicht den Eindruck zu erwecken, dass es nur einen richtigen Stil gibt und KI-Systeme automatisch Verbesserungen bieten. Vielmehr wird sich zeigen, dass die Tools gut darin sind, Redundanzen zu reduzieren oder Satzbauten klarer zu gestalten, jedoch häufig Nuancen verlieren. In diesem Rahmen können auch Analysekriterien erarbeitet werden, was einen guten Text ausmacht, und so eine Reflexion angestoßen werden. Diese Analysekriterien können in einem weiteren Schritt von ChatGPT angewendet werden, um entweder das Feedback zu verbessern oder selber passendere Texte zu schreiben. Übrigens: Für eine Stil Selbstreflexion nutzt deepl.com/write ein intuitiveres interface als ChatGPT.

4.4 Weitere Ideen und Inspirationen

Weitere Aspekte für die Auswirkung auf die Lehre wurde am 22.2.2023 in der Veranstaltung „ChatGPT und die Potentiale für die Lehre“ besprochen.

Bei einer Veranstaltung der Deutschen Gesellschaft für Hochschuldidaktik (DGHD) wurde von den 500 Teilnehmenden ein Conceptboard mit vielen Ideen zum Einsatz von ChatGPT in deer Lehre gefüllt. Prof. Dr. Christian Spannagel hatte zuvor einen interessanten Einstieg in das Thema vorgenommen.

Hier klicken, um den Inhalt von YouTube anzuzeigen.
Erfahre mehr in der Datenschutzerklärung von YouTube.

5. Prüfungen

5.1 Generelle Eignung von ChatGPT in Prüfungen

Ob ChatGPT für die Prüfung als unerlaubtes Hilfsmittel problematisch ist, hängt stark von der Art der Prüfung ab:

  • Hausarbeiten oder Abschlussarbeiten haben eine hohe Komplexität und erfordern viel Arbeit bei der KI-unterstützten Erstellung von Texten. Aufgrund der Tatsache, dass ChatGPT stets neuen Text erzeugt, ist hier Plagiarismus nur in wenigen Fällen direkt nachzuweisen.
  • Online-Klausuren können bei kurzen Fragen und Antworten durchaus mit ChatGPT gelöst werden. Die Eignung von ChatGPT hängt vom Aufgabentyp, Thema und der Taxonomiestufe ab.
  • Bei mündlichen Prüfungen werden Studierende automatisch beaufsichtigt. Die Fragedichte und die direkte Interaktion mit den Prüfenden macht den Einsatz von ChatGPT schwierig bis unmöglich.

Am Beispiel unterschiedlicher Fragen in Online-Klausuren lässt sich das Potenzial von ChatGPT als Lösungswerkzeug einschätzen:

  • Single- oder Multiple Choice-Fragen können relativ treffsicher beantwortet werden, wenn die Frage so gestellt ist, dass sie mit offen zugänglichen Quellen beantwortet werden kann. Der Aufwand für das Umformulieren der Frage in einen ChatGPT-Prompt ist minimal.

Unter bestimmten Umständen gelangt ChatGPT treffsicher zur richtigen Antwort bei

  • Fragen, die in ähnlicher Formulierung im offenen Internet beantwortet werden,
  • Fragen, die eine oberflächliche bzw. allgemeine Antwort zulassen oder
  • Wissensabfragen, bei denen die Textvorhersage einen naheliegenden Kontext finden kann, z. B. das Ausschreiben von Abkürzungen, das Definieren von Begriffen (Lernzieltaxonomiestufe „Wissen“).

ChatGPT hat im Umkehrschluss eher Probleme unter bestimmten Voraussetzungen zu guten Antworten zu kommen bei

  • Fragen, die einen bestimmten textuellen Hintergrund aus Fachtexten erfordern und die Texte nicht offen verfügbar sind,
  • Fragen, die spezielle Fachbegriffe oder ein spezielles methodisches Vorgehen zur Beantwortung benötigen, oder
  • Fragen, die mathematische Beweise erfordern, jedoch nicht direkt als Beispiel im Internet zu finden sind.

5.2 Beispiele zur Tauglichkeit in Prüfungen

ChatGPT kann treffsicher korrekte von falschen Antworten trennen, wenn es um allgemeine Charakterisierungen geht. Der Aufwand für die Erstellung des Prompts und die anschließende Verwertung in einer Prüfung ist minimal.

  • Lückentexte werden treffsicherer beantwortet, wenn eine begrenzte Anzahl von Antwortoptionen z. B. als Drop Down angeboten werden.
  • Bei genuinen Lückentexten ohne vorgegebene Antwortoption sind die gelieferten Antworten inhaltlich nicht immer korrekt. Die erzeugten Sätze sind jedoch plausibel. Sobald die Antworten spezifische Fachbegriffe erfordern, ist die Trefferquote geringer.
  • Bei Lückentexten, die eine vorhersagbare Antwort abfragen (z. B. Abkürzungen ausschreiben, gängige Definitionen vervollständigen), sind die Antworten häufiger korrekt und brauchbar.

  • Die KI vermag Entscheidungen auf der Grundlage von Rechtstexten korrekt zu treffen. Dies stellt jedoch nicht die Hauptherausforderung bei derartigen Fragen dar.
  • Die wichtigeren Begründungen sind kurz und oberflächlich.
  • Notwendigen Schritte, die Entscheidung anzubahnen, werden nur auf Anfrage und auch eher knapp ausgeführt. Für die Beantwortung sind damit methodische Kompetenzen erforderlich, um der KI die Vorgehensweise nahezulegen.

ChatGPT liefert eine vordergründig sinnvoll formulierte Antwort. Diese ist aber auf den zweiten Blick falsch, da sie Feinheiten der Frage nicht erfasst.

 

5.3 Empfehlungen

Ausgehend von der Leistungsfähigkeit der KI lassen sich Vorschläge formulieren, mit denen Prüfungen auf unterschiedlichen Ebenen gestaltet werden können. Diese Vorschläge müssen aber immer vor dem Hintergrund der (prüfungs-)rechtlichen Möglichkeiten betrachtet werden. Der Zweck der Prüfung – das Prüfen bestimmter Kompetenzen in einem bestimmten Rahmen – sollte durch die Maßnahmen nicht konterkariert werden.

5.3.1 Technisch

  • Einsatz von Videoaufsicht (Proctoring) mit konstanter Bildschirmfreigabe
    • Eine Videoaufsicht bietet keinen vollkommenen Schutz: Virtuelle Maschinen, Zweitgeräte, weitere Bildschirme, virtuelle Kameras etc. schränken die Aufsicht ein.
    • Für eine gelingende Aufsicht, die ChatGPT erkennt, ist mindestens eine kontinuierliche Bildschirmfreigabe erforderlich, die für mehrere Teilnehmende gleichzeitig erfolgt. Dies erfordert den Einsatz einer Proctoring-Software. Aus Sicht des Datenschutzes ist dies jedoch problematisch (siehe Handreichung der LDI zu Online-Prüfungen an Hochschulen).
  • Einfache Sperroptionen
    • Leider sind die Bordmittel der Sperroptionen in Moodle-Tests (JavaScript und Vollbild) wirkungslos darin, Seitenaufrufe jenseits des Tests zu sperren.
    • Die Zwischenablage kann per JavaScript oder CSS gesperrt oder verändert werden. Hierzu ist die Entwicklung eigener Lösungen (z.B. in Moodle) notwendig. Bei der Einschränkung der Nutzung der Zwischenablage sollte abgewogen werden, ob dies die Barrierefreiheit beeinträchtigt. Im Online Übungssystem ist eine Funktion eingebaut worden, mit der Lehrende auf Aufgabenebene entscheiden können, ob die Zwischenablage im Browser gesperrt werden soll.
    • Proctoring-Software (z.B. Proctorio, kostenpflichtig) bietet Sperroptionen gegen das Öffnen anderer Webseiten an. Derartige Lösungen helfen jedoch auch nur gegen einfache Täuschungsversuche und können ausgehebelt werden.
    • Wird der Zugang zu Prüfungen nur aus einem Assessment-VPN erlaubt, können darin bestimmte Webseiten wie ChatGPT gesperrt werden.
  • Safe Exam Browser (SEB) / Kiosk Modus
    • Die Einrichtung des SEB ist komplex (z.B. müssen Whitelists erlaubter Software je nach Betriebssystem und einzusetzender Software erstellt werden).
    • Aufgrund der Vielfalt der Geräte und möglicher Konfigurationen eher problematisch, herausfordernd und fehleranfällig.
    • Der SEB eignet sich eher für bereitgestellte, vorkonfigurierte Geräten am Campus, v.a. in Verbindung mit einem Assessment-WLAN.
  • Die meisten Sperroptionen können durch den Einsatz eines Zweitgeräts oder sogar einer Virtuellen Maschine umgangen werden.

5.3.2 Didaktisch

Prüfungsfragen können modifiziert werden, um sie gegenüber KI-Antworten weniger angreifbar zu gestalten. Der Zweck der Prüfung – die Prüfung einer bestimmten Kompetenz – sollte dabei jedoch stets gewahrt bleiben.

  • Randomisierung von Fragen / Fragepools
    Eine zufällige Reihenfolge von Klausurfragen bzw. eine Ziehung von (gleichwertigen) Fragen aus Fragenpools wirken zwar nicht direkt gegen eine KI-Unterstützung, erschweren jedoch die Kommunikation der Studierenden untereinander, falls Fragen heimlich kollaborativ gelöst werden.
  • enge zeitliche Taktung
    Aktionen in ChatGPT kosten Zeit:
    • die Eingabe des Prompts (Copy & Paste vs. tippen)
    • ggf. eine Umformulierung oder Umformatierung des Prompts
    • das Warten auf den Output
    • die Nachjustierung des Prompts etc.

    Erfordern die Fragen Anpassungen, wird der Einsatz der KI zeitökonomisch betrachtet nicht sinnvoll. Die Prüfung sollte so gestaltet werden, dass das triviale Übernehmen der Fragen keinen Erfolg verspricht. Dem muss aber auch entgegengehalten werden, dass eine enge zeitliche Taktung zusätzlichen Stress bei den zu Prüfenden hervorruft.

  • Fragen gegen triviale ChatGPT-Prompts optimieren
    Diese Maßnahmen zielen darauf ab, Fragen so zu gestalten, dass eine gute Antwort durch die KI unwahrscheinlich wird:
    • MC-Distraktoren fein nuanciert formulieren
      Die Distraktoren von Multiple Choice-Fragen sollten so formuliert werden, dass Signalwörter Studierenden eine verständliche Nuancierung verraten, die KI jedoch eher durch die Formulierung zu einer allgemeinen Antwort verleitet wird. Beispiel: Antworten, die nur unter bestimmten Umständen korrekt (d.h. in der aktuellen Formulierung falsch) sind.
    • Antwortspektrum spezialisieren
      Die Frage sollte ein Antwortspektrum implizieren, das ChatGPT nicht identifizieren kann,
      • indem eine bestimmte Fachsprache erfordert wird,
      • ein aus dem Kurskontext bekanntes methodisches Vorgehen nötig ist,
      • Hintergrundinfos aus Fachtexten erfordert werden, die nicht offen erhältlich sind,
      • neue Begriffe darin auftauchen,
      • oder aktuelle Geschehnisse nach 2021 beinhaltet werden.
    • Komplexere Lückentextfragen
      Lückentextfragen mit mehreren Optionen pro Lücke und mehreren Lücken im Text erhöhen die Komplexität und den Aufwand für den Prompt.
    • Detaillierte Antworten erfragen
      Anstelle allgemeiner Fragen Spezialisierungen und Detaillierungen anfordern
    • Fragen vorher Testen / optimieren (siehe unten)
    • Token Limit
      ChatGPT nimmt derzeit etwa 4000 Token (Wörter, Satzzeichen) für Frage und Antwort an. Durch die Textlänge der Fragen und erwarteten Antwort kann das Limit überschritten werden, sodass die Frage für ChatGPT umformuliert werden muss.
    • Bilder / Diagramme / Grafiken statt Texten
      ChatGPT versteht derzeit nur Textinput. Werden Bilder oder Tabellen, teilweise auch komplexere Formeln verwendet, wird keine sinnvolle Antwort erzeugt. Es sollte jedoch auf die Barrierefreiheit geachtet werden (Alternativtexte, Berücksichtigung der Zielgruppe).
    • Grafische Fragetypen
      Fragen, die visuell schnell dekodiert werden können, etwa Drag-and-drop von Begriffen auf Bilder/Diagramme müssen für ChatGPT übersetzt werden, was Zeit und Präzision erfordert. Auch hier gilt der Hinweis zur Barrierefreiheit.
  • Wahl von kreativen, kompetenzorientierten und kommunikativen Prüfungsformen

5.3.3 Organisatorisch

Die folgenden Empfehlungen und Überlegungen können im Hinblick auf die Organisation von Prüfungen gegeben werden:

  • Videobeaufsichtigung von Online-Prüfungen (inkl. Bildschirmfreigabe)
    An der FernUni wird dazu Zoom eingesetzt, Pruefster EURO befindet sich momentan in der Pilotierung.
  • Wechsel des Prüfungsformats in Präsenz
  • anschließende ergänzende oder ersatzweise mündliche Prüfung
  • klare Formulierung von Hilfsmitteleinschränkungen
  • Urheberrechtshinweise gegen das Kopieren von Klausurfragen
  • Einholung eines Einverständnisses zur Plagiatsprüfung eingereichter Antworten oder Texte
  • Einforderung einer Eigenständigkeitserklärung bei der Abgabe

5.4 Einbindung von ChatGPT in Prüfungsfragen

ChatGPT kann nicht nur als Täuschungswerkzeug bei Prüfungsfragen genutzt werden, sondern auch kreativ im Kontext von Prüfungsfragen genutzt werden. In Prüfungssituationen kann eine aktive Nutzung des Tools jedoch nicht vorausgesetzt werden, da weder das Anlegen eines Accounts verlangt werden kann, noch zuverlässige Erreichbarkeit gewährleistet ist.

5.4.1 Nutzung von ChatGPT-Ausgaben als Prüfungsfrage

Es ist beispielsweise denkbar, Studierenden eine oder mehrere Antworten von ChatGPT auf eine gestellte Frage anzubieten. Die Aufgabe könnte darin bestehen,

  • die KI-Antwort zu beurteilen,
  • dabei Kriterien für die eigene Beurteilung offenzulegen,
  • die erste Antwort mit der zweiten Antwort zu vergleichen,
  • die bessere Antwort zu bestimmen und dies zu begründen oder
  • die Unzulänglichkeiten der Antwort(en) offenlegen.

5.4.2 Nutzung von ChatGPT zur Optimierung von Prüfungsfragen

ChatGPT kann produktiv von Lehrenden genutzt werden, um den Prüfungsprozess in unterschiedlichen Phasen zu unterstützen. Die Unterstützung sollte jedoch eher als Impuls gedeutet werden. Eine anschließende Prüfung der Outputs hinsichtlich ihres Wahrheitsgehaltes ist unerlässlich.

Zweck Beispielprompt Output
Ideengebung zur Fragenerstellung Verhalte dich wie eine Professorin der Allgemeinen Psychologie. Stelle eine Klausurfrage zum Thema „Emotion“. Die Frage soll von Studierenden im ersten Semester des Studienganges Bachelor Psychologie kurz beantwortet werden, Fachbegriffe verwenden. Bitte beantworten Sie die folgende Frage in ein bis zwei Sätzen:
Beschreiben Sie den Unterschied zwischen primären und sekundären Emotionen und geben Sie jeweils ein Beispiel für jede Art von Emotion.
Kriterien bestimmen Verhalte dich wie ein Professor der Allgemeinen Psychologie. Nenne fünf Kriterien, die zur vollständigen Beantwortung der Frage nötig wären. Um die Frage vollständig zu beantworten, sollten die folgenden Kriterien berücksichtigt werden:
  • Definition und Beschreibung von primären Emotionen und sekundären Emotionen.
  • Erklärung der Unterschiede zwischen primären und sekundären Emotionen in Bezug auf ihre Entstehung, Dauer, Ausdruck und Auslöser.
[…]
Antwortspektren antizipieren, um die Frage zu schärfen Verhalte dich wie eine Bachelor-Studentin der Psychologie im ersten Semester. Biete vier Antworten auf die oben genannte Frage. Antwort:

Primäre Emotionen sind angeboren und universell, während sekundäre Emotionen sozial erlernt werden. Ein Beispiel für eine primäre Emotion wäre Angst, während Eifersucht eine sekundäre Emotion ist.

Primäre Emotionen treten schnell auf und sind spontan, während sekundäre Emotionen eine bewusste Interpretation der Situation erfordern. […]

Beurteilung der Fragen Verhalte dich wie eine Professorin der Allgemeinen Psychologie. Beurteile die erste Antwort der Studierenden auf ihre Richtigkeit. Verwende zur Beurteilung die zuvor genannten Kriterien. Die erste Antwort der Studierenden enthält einige korrekte Informationen, aber es gibt auch Raum für Verbesserungen, um alle fünf Kriterien zu erfüllen:
  • Die Definition und Beschreibung von primären und sekundären Emotionen ist korrekt.
  • Die Antwort enthält eine korrekte Aussage darüber, dass primäre Emotionen angeboren und universell sind, während sekundäre Emotionen sozial erlernt werden.
  • Die Antwort gibt korrekte Beispiele für primäre und sekundäre Emotionen.
  • Die Antwort erwähnt keine Informationen zur Rolle von primären und sekundären Emotionen in der Emotionsregulation und sozialen Interaktion.
  • Die Antwort enthält keine kritische Reflexion darüber, ob die Unterscheidung zwischen primären und sekundären Emotionen in der Emotionspsychologie sinnvoll und nützlich ist.

6. FAQ zu rechtlichen Fragen

Das wird momentan viel diskutiert und ist noch nicht abschließend geklärt. Fest steht, dass die Software selbst nicht als Person im rechtlichen Sinn gilt und daher auch keine Rechte besitzt. Ebenso können die Programmierer*innen der Software keine Rechte an der Ausgabe besitzen. Til Kreutzer von irights.info kommt in einer Einschätzung zu dem Schluss: „Je autonomer die KI bei solchen Schöpfungen arbeitet, desto unwahrscheinlicher ist ein urheberrechtlicher Schutz des Outputs.“

Genauere Informationen finden Sie im Artikel „Welche Regeln gelten für die Erzeugnisse Künstlicher Intelligenz?“ auf irights.info.

Nein, da für die Weiterverarbeitung der Texte eine Einwilligung oder eine sonstige Rechtsgrundlage benötigt wird.

Klärung durch den BDSB steht noch aus

Für Prüfungsleistungen ist geregelt, welche Hilfsmittel eingesetzt werden dürfen. Sind Tools wie ChatGPT nicht explizit zugelassen, ist erst einmal davon auszugehen, dass die Nutzung nicht erwünscht ist. Insbesondere in hilfsmittelbeschränkten Klausuren wird die Nutzung solcher Hilfsmittel ohne explizite Erlaubnis als Täuschung gewertet.

Halten Sie daher im Zweifelsfall Rücksprache mit ihren Prüfer*innen. In jedem Fall empfehlen wir eine möglichst transparente Nutzung solcher Tools, indem Sie etwa im Methodenteil darauf eingehen und/oder das Tool als Quelle angeben.

Das Projekt KI:edu.nrw hat ein Rechtsgutachten erstellt, das einige rechtliche Fragen im Umgang mit ChatGPT an der Hochschule beleuchtet: https://doi.org/10.13154/294-9734.

7. Standpunkte zu ChatGPT

Die Diskussion um Tools wie ChatGPT ist noch in vollem Gange und bewegt die Gemüter rund um den Globus. Die rasante und oft überraschende technische Entwicklung in dem Feld trägt sein Übriges dazu bei, dass klare Einschätzungen zu dem Thema schwierig sind. In der didaktischen Diskussion zeichnen sich einige Standpunkte als weitgehend konsensfähig ab.

8. Links zu weiteren Ressourcen

Das Hochschulforum Digitalisierung eine bietet eine gute Einstiegsseite: https://hochschulforumdigitalisierung.de/de/blog/chatgpt-im-hochschulkontext-kommentierte-linksammlung.

Das Hamburger Zentrum für universitäres Lehren und Lernen informiert in einer Broschüre umfangreich über ChatGPT: https://www.hul.uni-hamburg.de/selbstlernmaterialien/dokumente/hul-chatgpt-im-kontext-lehre-2023-01-20.pdf.

Das Zentrum ProLehre der Technischen Universität informiert in einer Handreichung über ChatGPT: https://www.prolehre.tum.de/fileadmin/w00btq/www/Angebote_Broschueren_Handreichungen/prolehre-handreichung-chatgpt-v2.2.pdf

Der KI-Campus, die vom BMBF geförderte Lernplattform für Künstliche Intelligenz hat einen Themenbereich zu „Chatbots und Sprachassistenten“: https://ki-campus.org/themen/chatbots

Professorin Gabi Reinmann fragt in ihrem Vortrag in der Reihe der DGHD zum Thema „Wozu sind wir hier? – Eine wertebasierte Reflexion und Diskussion zu ChatGPT in Forschung und Lehre“: https://youtu.be/oSjdx-hadYY.

Die TU Berlin hat ebenfalls eine Link-Sammlung zum Thema zusammengestellt: https://www.tu.berlin/bzhl/ressourcen-fuer-ihre-lehre/ressourcen-nach-themenbereichen/ki-in-der-hochschullehre

Beim „Ausbaldowercamp“ wurde eine kollaborative Linksammlung zum Lernen mit KI erstellt: https://www.taskcards.de/#/board/73a54636-e62f-4f7c-9a6b-84c0edc02ebb/view?token=419f482f-17f4-4ca1-ba05-55016c33c9ce

Das Projekt KI:edu.nrw hat ein Rechtsgutachten erstellt, das einige rechtliche Fragen im Umgang mit ChatGPT an der Hochschule beleuchtet: https://doi.org/10.13154/294-9734.

An der Uni Hohenheim ist ein Whitepaper mit dem Titel „Unlocking the Power of Generative AI Models and Systems such as
GPT-4 and ChatGPT for Higher Education – A Guide for Students and Lecturers“ erschienen, das Empfehlungen für Studierende und Lehrende enthält: https://digital.uni-hohenheim.de/fileadmin/einrichtungen/digital/Generative_AI_and_ChatGPT_in_Higher_Education.pdf

 


KommentarHaben Sie Fragen, Anmerkungen, Beispiele oder Diskussionsbeiträge? Hinterlassen Sie gerne einen Kommentar oder kontaktieren Sie uns direkt unter zli@fernuni-hagen.de. Wir möchten mit Ihnen im Austausch bleiben.



2 thoughts on “ChatGPT

  1. Das Video von Herrn Zesch wäre sicherlich interessant und man könnte von seinem Wissen und seiner Erklärungskompetenz profitieren, wenn nicht mindestens 3 x pro Satz ein „ähm“ vorkäme.

    Das ähm Zuhören bei einem ähm Video ist leider ähm dann ähm nicht möglich, wenn ähm ständig ähm „ähms“ vorkommen. Dadurch wird ähm die ähm Veranstaltung zur reinen ähm Folter.

    Also bitte ähm Sprachtraining machen, bevor ähm Videos ähm produziert werden.

    LG

    1. Vielen Dank für Ihr Interesse an unserer Handreichung und der Aufzeichnung der Live-Veranstaltung. Feedback ist allerdings dann gewinnbringender, wenn es wertschätzend und sachbezogen formuliert ist (Dainton 2016, S. 27ff) und wenn Feedback ein Dialog sein kann (Hattie & Zierer 2017, S. 100ff). Leider ist ersteres nicht der Fall und zweiteres wegen der Anonymität nicht möglich.


      Dainton, N. (2018). Feedback in der Hochschullehre. UTB.
      Hattie, J. & Zierer, K. (2017). 10 mindframes for visible learning: Teaching for success. Routledge.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert