"Bald wird es Software geben, die Texte von Sprachgeneratoren erkennen kann."

• Worum geht es?
  Bald nach Erscheinen von ChatGPT sind verschiedene Programme angekündigt worden (insbesondere auch von traditionellen Anbieter:innen von Plagiatserkennungssoftware), die behaupten computergenerierte Texte unterscheiden zu können von solchen, die von Menschen geschrieben worden sind.
• Was ist dazu zu sagen?
  
  • Erkennung ist schwierig:
    Die Entwicklung von Programmen zur Erkennung von KI-generierten Texten (wie z.B. GPT-Zero) wird ein Wettrüsten zwischen KI-Textgenerierung und KI-Texterkennung auslösen, da KI-Textgenerierungsprogramme die verfügbaren Erkennungsprogramme als zusätzlichen Filter / Trainingsmöglichkeit nutzen werden (z.B. mit GAN-Netzwerk mit Erkennungsalgorithmus als Diskriminator). Es wird somit vermutlich langfristig nicht möglich sein, computergenerierte Texte zuverlässig automatisiert erkennen zu können.
  • Juristisch haltbarer Nachweis ist schwierig:
    In Prüfungssituationen ist der juristisch stichfeste Nachweis eines Betrugs durch Sprachgeneratoren selbst dann schwierig bis unmöglich, wenn ein Erkennungsprogramm einen Text als computergeneriert deklariert, denn im Gegensatz zu einem Plagiat gibt es kein Original, das sich als Beweis vorlegen lässt. Vermutlich sind Betrugsabsichten mit Sprachgeneratoren nur juristisch beweisbar, wenn jemand in flagranti bei der unerlaubten Nutzung entsprechender Tools erwischt wird.
  • Die Frage der automatisierten Erkennung ist nicht zielführend:
    Es werden nur die wenigsten Schüler:innen komplett computergenerierte Texte abliefern. Mischungen von computergenerierten und menschengemachten Texten sind aber deutlich schwieriger zu erkennen und können zudem sehr wohl das Ergebnis eigener geistiger Leistung sein. Der Versuch einer automatisierten Erkennung des Anteils computergenerierten Textes ist somit weder zuverlässig möglich noch zielführend.

Fun-Fact: Erkennungssoftware meint im April 2023, die amerikanische Verfassung sei computergeneriert

Im April 2023 meinte die Sprachgeneratoren-Erkennungssoftware ZeroGPT, die amerikanische Verfassung sei computergeneriert.

Quelle: https://twitter.com/DataChaz/status/1649058523672707073

Update Juli 2023: OpenAI zieht ihr Textgeneratorenerkennungprogramm zurück

Mangels Zuverlässigkeit zieht OpenAI, die Entwicklerfirma hinter ChatGPT, ihr KI-Texterkennungsprogramm zurück.

Update März 2024

Update Dezember 2025

• Philippe Wampfler behauptet, GMLS-Detektoren seien unterdessen zuverlässig (Biblionetz:t33102)
• Dominic Hassler widerspricht und beschreibt einfache Verschleierungsmöglichkeiten (Biblionetz:t33103)

Weiterführende Informationen

• Biblionetz:w03516 Literatur und Zitate zu GMLS-Detektoren
• Biblionetz:a01507 Literatur und Zitate zum Wettkampf automatisierte Sprachgenerierung versus ihrer Erkennung

Kommentare