KI in der Justiz: Der peinliche Copy-Paste-Fehler hessischer Richter mit ChatGPT

Ein technischer Fauxpas mit Folgen

Der Einsatz von Künstlicher Intelligenz (KI) in der deutschen Justiz ist längst kein rein theoretisches Szenario mehr. Dass KI-Tools bei der Erstellung offizieller Dokumente unterstützend wirken, lässt sich in der Praxis oft nur vermuten. Ein aktueller Vorfall am Hessischen Verwaltungsgerichtshof hat diese Vermutung nun jedoch durch einen handfesten Beleg untermauert. In einem Beschluss vom 24. Juni 2026 (Aktenzeichen: 3 A 2624/25) fanden sich in den Quellenangaben mehrfach URLs, die den Zusatz „source=chatgpt.com“ enthielten. Dieser Flüchtigkeitsfehler beim Kopieren von Inhalten aus der KI-Anwendung in den finalen Gerichtstext machte die Nutzung des Sprachmodells für die Öffentlichkeit sichtbar.

Die Problematik der KI-gestützten Recherche

Der betreffende Beschluss befasst sich mit einer komplexen rechtlichen Fragestellung: Es geht um das Aufenthaltsrecht ukrainischer Staatsangehöriger in der EU, die zunächst in Georgien Zuflucht gesucht hatten, bevor sie nach Deutschland weiterreisten. Die Verwendung von KI als Ersatz für klassische Suchmaschinen wie Google birgt jedoch Risiken. Ein zentrales Problem ist das Phänomen der sogenannten „Halluzinationen“, bei denen KI-Systeme Informationen generieren oder Quellen angeben, die inhaltlich nicht korrekt sind oder nicht zum Kontext passen.

Im konkreten Fall des Hessischen Verwaltungsgerichtshofs führte ein von der KI bereitgestellter Link zu einem Dokument aus dem Jahr 2025, obwohl der Text sich auf ein Regierungsdekret vom Februar 2026 bezog. Zu diesem Zeitpunkt war das Dokument aus 2026 faktisch noch nicht existent, was die Quelle als Beleg für die getroffene Aussage unbrauchbar machte. Auch bei anderen Verlinkungen zeigte sich, dass die von der KI gelieferten Verweise zwar inhaltlich auf relevante Themengebiete hießen, jedoch nicht exakt die Fassungen der Rechtsvorschriften wiedergaben, auf die sich das Gericht stützte.

Rechtfertigung und richterliche Unabhängigkeit

Auf Anfrage betonte das Gericht, dass die KI nicht als alleinige Quelle gedient habe. Man habe weitere Rechercheinstrumente herangezogen, um die Rechtslage in Georgien umfassend zu klären. Das Gericht räumte zwar ein, dass der spezifische Verweis auf das Dekret vom Februar 2026 in der Fundstelle nicht belegt sei, betonte jedoch, dass die Tatsachenfeststellung im Ergebnis korrekt sei und durch andere, dem Gericht vorliegende Quellen gestützt werde. Die fehlerhaften Links seien zudem nicht als Entwertung der inhaltlichen Argumentation zu verstehen, da an anderer Stelle im Beschluss auf die korrekten Fassungen verwiesen werde.

Bezüglich der Frage, ob künftig auf eine sauberere Zitierweise geachtet wird, verwies das Gericht auf die richterliche Unabhängigkeit. Diese umfasse auch die Art und Weise, wie Entscheidungsgründe abgefasst und zitiert werden. Die Nutzung von KI-Tools zur Recherche wird dabei als zulässig erachtet, solange die spezifischen Anforderungen an die Datensicherheit gewahrt bleiben.

Sicherheitsaspekte und Datenschutz

Der Hessische Verwaltungsgerichtshof stellte klar, dass bei der Arbeit mit KI-Tools strikte Vorgaben gelten. Insbesondere der Schutz personenbezogener Daten sowie sensibler Informationen, wie etwa Dienst- oder Geschäftsgeheimnisse, steht im Fokus. Es ist untersagt, solche Daten in KI-Systeme einzuspeisen. Die Fehleranfälligkeit der Technologie erfordere zudem zwingend eine manuelle Gegenkontrolle durch die Juristen.

Der Vorfall unterstreicht die Herausforderungen, vor denen die Justiz bei der digitalen Transformation steht. Während KI den Zugang zu schwer auffindbaren Quellen erleichtern kann, bleibt die menschliche Überprüfung der Ergebnisse eine unverzichtbare Säule richterlicher Arbeit. Die Debatte darüber, wie transparent der Einsatz solcher Hilfsmittel in der Rechtsprechung sein sollte, dürfte durch diesen Vorfall weiter an Dynamik gewinnen.