Gewisse Prüfungsformate sind künftig anfällig für Betrug

Erkennung von Betrug wird immer schwieriger

Schriftliche Hausaufgaben und Prüfungen am Computer ohne entsprechende Aufsicht und/oder Gegenmassnahmen können künftig vermehrt mit Hilfe von Textgeneratoren gelöst werden. Entsprechende Beispiele sind bereits zahlreich auf dem Internet zu finden.

• Traditionelle Plagiatserkennungssoftware verliert massiv an Bedeutung
  Plagiatserkennungssoftware erkennt derzeit nur Textstellen, die praktisch wortwörtlich von einer anderen Quelle übernommen worden sind, jedoch nicht Texte, die mit einem Textgenerator erstellt worden sind. Stehen Textgeneratoren zur Verfügung, werden schlaue Studierende und Schüler:innen diese so einsetzen, dass Plagiatserkennungssoftware nicht mehr anschlagen wird. Damit verliert sie an Bedeutung.
• Automatisierte Erkennung von computergenerierten Texten wird immer schwieriger und unzuverlässiger
  Es gibt zwei Gründe, warum die automatisierte Erkennung von computergenerierten Texten immer schwieriger wird:
  • Textgeneratoren werden immer besser in der Imitation typisch menschlicher Schreibweise:
    Die Systeme zur Generierung von Texten und solche zur Erkennung entsprechend computergenerierter Texte werden sich gegenseitig hochschaukeln: Sobald ein zuverlässiges Erkennungssystem existiert, kann dies zum Training noch menschenähnlicherer Sprachgenerierung genutzt werden.
  • Legitime Nutzung von Textverarbeitung kann zu Falsch-Positivmeldungen führen:
    Die Nutzung von Rechtschreibekorrektur und Grammatikververbessungssystemen führt dazu, dass auch von Menschen geschriebene Texte maschinentypische Regelmässigkeiten enthalten können, was die Gefahr erhöht, menschengeschriebene Texte als computergeschrieben einzuschätzen.

Nachweis von Betrug ist sehr herausfordernd

Selbst wenn eine Erkennungssoftware einen Text als maschinengeschrieben taxiert, ist dies noch kein Beweis. Es dürfte schwerfallen, einen entsprechenden Betrug juristisch rekursfest nachzuweisen, da im Gegensatz zu einem Plagiatsfall kein Ursprungstext als Beweis präsentiert werden kann und Sprachgeneratoren selbst bei identischen Prompts unterschiedliche Antworten liefern.

Mögliche Gegenmassnahmen

• Individuelle Fragestellungen schützen nicht mehr vor möglichem Betrug
  Vor dem Aufkommen von Textgeneratoren hat es gereicht, statt allgemeiner sehr individuelle Fragestellungen zu formulieren ("Beschreibe den Feldzug von Napoleon aus der Sicht eines russischen Bauern") weil die Antwort auf exakt diese Fragestellung noch nicht auf dem Internet verfügbar war. Heutige Textgeneratoren liefern jedoch auch auf solche Fragestellungen Antworten.
• Mündliche Leistungsnachweise sind eine mögliche Massnahme gegen Betrug mit ChatGPT & Co.
  Lerngespräche oder sonstige mündliche Leistungs- oder Kompetenznachweise sind eine sichere Möglichkeit, das Vorspiegeln eigener Kompetenzen mit Softwaresystemen zu verhindern.
  (Quellen und Zitate siehe Biblionetz:a01517)
• Engere Betreuung von Schüler:innen und Studierenden hilft gegen den Betrug mit ChatGPT & Co.
  (Quellen und Zitate siehe Biblionetz:a01474)
• Prozessportfolios können helfen, die Entstehung von Werken zu dokumentieren
  Wenn Schüler:innen ihren Lernprozess dokumentieren und auch jemand Zeit hat, diese Dokumentation anzuschauen, so mindert dies das Risiko, dass grosse Teil der Aufgabe mit Sprachgeneratoren erledigt werden.
• Bezugnahme auf konkrete Fallbeispiele aus dem Unterricht hilft gegen Betrug mit ChatGPT & Co.
  Wenn bei der Leistungsüberprüfung auf konkrete Fallbeispiele aus dem Unterricht Bezug genommen werden kann, so kennen Sprachgeneratoren den Kontext zu wenig, um präzise Antworten zu geben. Dieses Vorgehen ist aber nicht in jedem Themengebiet möglich und erfordert bei jeder Prüfungsdurchführung andere Fallbeispiele.

Einschätzung der stufenspezifischen Bedeutung

Folge	Kindergarten	Primar	Sek I	Gymnasium	Berufsschule	PH
Gewisse Prüfungsformate sind künftig anfällig für Betrug

Unserer Einschätzung nach ist Betrug mit Textgeneratoren erst ab der Sekundarstufe I relevant, da die Schüler:innen entweder vorher keine entsprechenden Aufgaben und Prüfungen lösen müssen oder aber die unerlaubte Nutzung von Textgeneratoren rasch erkannt würde, da die Schüler:innen noch nicht gelernt haben, entsprechende Aktivitäten zu verschleiern.

Weiterführende Informationen

• Jöran Muuß-Merholz hat Mitte April 2023 die These "Individuelle Fragestellungen schützen nicht mehr vor möglichem Betrug" empirisch an Beispielen überprüft: Kann ChatGPT für Prüfungsformate auch individuelle Fragestellungen bewältigen?
• Susanne Bach, Doris Weßels (FAZ, 21.12.2022)
  Das Ende der Hausarbeit ($)
  Biblionetz:t29786
• Ian Bogost (The Atlantic, 16.05.2023)
  The First Year of AI College Ends in Ruin ($)
  Biblionetz:t30250
• Inara Scott (18.04.2023)
  Yes, We Are in a (ChatGPT) Crisis
  Biblionetz:t30252
• Owen Kichizo Terr (The Chronicle of Higher Education, 2023)
  I’m a Student. You Have No Idea How Much We’re Using ChatGPT
  Biblionetz:t30263

Kommentare