heise+ | KI-Detektor im Praxistest: Warum auf Pangram 4.0 kein Verlass ist

Die Suche nach der Wahrheit in Texten

Die Frage, ob ein Text von einem Menschen verfasst oder durch eine Künstliche Intelligenz generiert wurde, gewinnt in vielen gesellschaftlichen Bereichen an Bedeutung. Ob in Redaktionen, an Universitäten oder sogar in kirchlichen Institutionen – der Bedarf an verlässlichen Werkzeugen zur Identifizierung maschinell erstellter Inhalte wächst stetig. Die Hoffnung liegt auf spezialisierten KI-Detektoren, die Autoren überführen sollen, die fremde Texte als eigene Arbeit ausgeben.

Das Versprechen von Pangram 4.0

Der US-Anbieter des Detektors Pangram hat pünktlich zu den neuen EU-Kennzeichnungspflichten für KI-Inhalte seine Software auf Version 4.0 aktualisiert. Das Unternehmen bewirbt die neue Version mit einer besonders hohen Genauigkeit. Laut Herstellerangaben liegt die Quote der sogenannten False Positives – also der Fälle, in denen ein menschlicher Text fälschlicherweise als KI-Produkt markiert wird – bei lediglich 0,0041 Prozent.

Die neue Version soll dabei nicht nur erkennen, ob ein Text vollständig von einer KI stammt, sondern auch, ob eine KI lediglich an der Überarbeitung eines menschlichen Entwurfs beteiligt war. Diese kleinteilige Analyse soll die Software zu einem präzisen Instrument machen.

Warum Fehlurteile schwerwiegende Folgen haben

Selbst wenn die statistische Fehlerrate gering erscheint, ist das Risiko eines Fehlurteils in der Praxis nicht zu unterschätzen. Angesichts von zehntausenden Texten bedeutet selbst eine minimale Fehlerquote, dass es zu unberechtigten Anschuldigungen kommen kann. Die Konsequenzen für Betroffene sind oft drastisch:

* **Akademische Laufbahn:** Eine als KI-generiert eingestufte Haus- oder Examensarbeit könnte als nicht bestanden gewertet werden.

* **Journalismus:** Die Aberkennung von Preisen oder der Verlust der beruflichen Reputation können die Folge sein.

* **Wissenschaft:** Der Ruf als seriöser Wissenschaftler steht auf dem Spiel, wenn die Urheberschaft in Zweifel gezogen wird.

Ergebnisse aus der Praxis

Nachdem bereits frühere Versionen der Software geprüft wurden, unterzog die Redaktion die Ende Juli veröffentlichte Version 4.0 einer detaillierten Untersuchung. Die Stichproben zeichnen ein kritisches Bild. Die Ergebnisse der Software erwiesen sich in den Tests als weder zuverlässig reproduzierbar noch als belastbare Beweise für eine tatsächliche KI-Nutzung.

Die versprochene Präzision bei der Unterscheidung zwischen vollständiger KI-Generierung und bloßer redaktioneller Unterstützung durch eine KI konnte im Test nicht bestätigt werden. Damit bleibt die Verlässlichkeit des Tools für den professionellen Einsatz fragwürdig.

Einordnung und Ausblick

Der Einsatz von Detektionssoftware steht in einem Spannungsfeld zwischen dem Wunsch nach Transparenz und der Gefahr ungerechtfertigter Sanktionen. Während die EU den AI Act vorantreibt, um Kennzeichnungspflichten für KI-Inhalte zu etablieren, zeigt das Beispiel Pangram 4.0, dass die technische Seite der Überprüfung noch nicht ausgereift ist.

Für Anwender und Institutionen bedeutet dies, dass KI-Detektoren derzeit keinesfalls als alleinige Entscheidungsgrundlage dienen sollten. Die Ergebnisse solcher Analysen bedürfen immer einer kritischen menschlichen Überprüfung, da die Software aktuell keine rechtssichere oder faktisch unanfechtbare Grundlage für schwerwiegende Entscheidungen bietet.