Architektur-Schwachstelle bei GPT-5, Claude und Gemini aufgedeckt

Was geschehen ist – die Kernmeldung ausführlich

Ein internationales Forschungsteam hat eine gravierende Architektur-Schwachstelle in den Sicherheitssystemen führender KI-Modelle wie GPT-5, Claude und Gemini identifiziert. Die Experten entdeckten, dass die sogenannten Denkprotokolle, die KI-Systeme während ihrer internen Verarbeitung erstellen, nicht ausreichend gegen unbefugte Zugriffe geschützt sind. Diese internen Monologe, die als „Chain of Thought“ bezeichnet werden, sollen eigentlich vor dem Nutzer verborgen bleiben, um sensible Informationen oder gefährliches Wissen nicht preiszugeben. Die Forscher fanden heraus, dass diese Protokolle serverseitig verschlüsselt und als Datenpakete an den Client übertragen werden. Durch eine spezifische Schwachstelle in der Verschlüsselungsarchitektur ist es jedoch möglich, diese Daten im Klartext auszulesen. Der Clou dabei: Die Entschlüsselung erfolgt nicht etwa durch komplexe mathematische Angriffe, sondern durch die gezielte Nutzung kleinerer Modellvarianten desselben Herstellers. Diese kleineren Modelle fungieren dabei als unbewusste Entschlüsselungs-Orakel, da sie über weniger strikte Sicherheitsfilter verfügen als ihre großen Geschwistermodelle. Dies stellt ein erhebliches Sicherheitsrisiko dar, da die Verschlüsselung der Denkblöcke somit ihre Schutzfunktion verliert und sensible Informationen für Angreifer zugänglich macht.

Die Einzelheiten – Zahlen, Namen und Orte

An der Untersuchung waren Wissenschaftler von MATS Research, dem Max-Planck-Institut für Intelligente Systeme, dem Ellis-Institute Tübingen, der Universität Tübingen sowie dem Unternehmen Snyk beteiligt. Die Studie belegt, dass die Anbieter OpenAI, Anthropic und Google globale Verschlüsselungskeys innerhalb ihrer jeweiligen Modellfamilien verwenden. Dies bedeutet, dass ein verschlüsselter Denkblock nicht an einen spezifischen Nutzer, eine Sitzung oder ein einzelnes Modell gebunden ist. Die Forscher demonstrierten die Schwachstelle, indem sie den Denkblock eines Spitzenmodells wie Claude Opus oder GPT-5 in eine Anfrage an ein kleineres, weniger restriktives Modell wie Claude Haiku einspeisten. Das kleinere Modell las den Inhalt des Blocks einfach vor. Die praktische Relevanz wurde durch die Analyse von 315.320 verschlüsselten Denkblöcken aus öffentlichen Repositories und Logdateien untermauert. Dabei kamen 367 personenbezogene Identifikatoren, 182 Zugangsdaten, 62 API-Schlüssel, 33 Klartext-Passwörter und 30 private E-Mail-Adressen zum Vorschein. Die Daten zeigen, dass die internen Denkprozesse oft sensiblere Informationen enthalten als die letztlich ausgegebene Antwort des Systems.

Hintergrund – Die Entstehung des Problems

Moderne KI-Systeme arbeiten vor der Generierung einer Antwort einen internen Gedankengang ab, die sogenannte „Chain of Thought“. Da diese internen Überlegungen sensible Informationen enthalten könnten, werden sie von den Anbietern nicht im Klartext an den Client gesendet. Stattdessen werden sie serverseitig verschlüsselt und als sogenannte „encrypted reasoning blocks“ übertragen. Bei Folgefragen senden Anwendungen diese Blöcke zurück an den Server, um den Kontext der Konversation aufrechtzuerhalten. Die Entwickler gingen offenbar davon aus, dass diese Datenpakete für Außenstehende lediglich als unlesbarer Buchstabensalat erscheinen und somit sicher seien. Diese Annahme erwies sich jedoch als fataler Trugschluss. Die Architektur der Verschlüsselung wurde so gestaltet, dass sie für die gesamte Modellfamilie eines Herstellers kompatibel ist. Da die Sicherheitsbarrieren bei den kleineren, günstigeren Modellen deutlich schwächer ausgeprägt sind als bei den hochkomplexen Flaggschiff-Modellen, konnten die Forscher diese Diskrepanz ausnutzen. Die Entwickler, die ihre Denkblöcke unwissentlich in öffentlich zugänglichen Logdateien und Repositories hinterlegten, wiegten sich in trügerischer Sicherheit, da sie die verschlüsselten Daten für wertlos hielten.

Die Beteiligten – Wer ist betroffen und wer entscheidet

Die betroffenen Akteure sind die führenden KI-Unternehmen OpenAI, Anthropic und Google. Diese Firmen sind für die Implementierung der Sicherheitsmechanismen verantwortlich, die nun durch die Forscher in Frage gestellt wurden. Zu den beteiligten Forschungseinrichtungen zählen das Max-Planck-Institut für Intelligente Systeme, das Ellis-Institute Tübingen, die Universität Tübingen sowie die Organisation MATS Research und das Unternehmen Snyk. Die Forscher agierten als Sicherheitsanalysten, die die Schwachstellen aufdeckten und die Unternehmen vorab über ihre Ergebnisse informierten. Die Entwickler, die ihre Logdateien und Quelltexte öffentlich zugänglich machten, sind indirekt ebenfalls betroffen, da sie durch die Preisgabe der verschlüsselten Blöcke ungewollt zur Offenlegung sensibler Daten beigetragen haben. Die Anbieter stehen nun in der Pflicht, ihre Verschlüsselungsarchitekturen grundlegend zu überarbeiten, um die Bindung der Daten an spezifische Sitzungen oder Nutzer zu gewährleisten und die Schwachstelle durch die Nutzung kleinerer Modellvarianten zu schließen.

Einordnung – Was das bedeutet

Einzuordnen ist das Problem als ein grundlegendes Architektur-Versagen, das die bisherige Sicherheitsstrategie der KI-Anbieter in Frage stellt. Den Berichten zufolge reicht eine bloße Verschlüsselung der Daten nicht aus, wenn der Schlüssel nicht strikt an eine spezifische Sitzung gebunden ist. Die Tatsache, dass die Sicherheit eines Modells durch die Nutzung eines anderen Modells desselben Herstellers ausgehebelt werden kann, zeigt eine Schwachstelle in der vertikalen Integration der Modellfamilien auf. Es ist davon auszugehen, dass die Sicherheit von KI-Systemen bisher zu stark auf die Unlesbarkeit der Daten für den Endanwender vertraut hat, anstatt technische Hürden gegen eine systematische Entschlüsselung durch andere KI-Instanzen zu errichten. Die Tragweite der Erkenntnisse geht weit über das bloße Ausspähen von Daten hinaus. Die Forscher warnen, dass über präparierte Denkblöcke auch verdeckte Prompt Injections möglich sind, bei denen Schadcode in den KI-Kontext eingebettet wird. Zudem könnten Modellfähigkeiten unbefugt geklont werden, was die geistigen Eigentumsrechte der Unternehmen gefährdet.

Offene Fragen – Was der Quelltext nicht beantwortet

Der Quelltext lässt einige Fragen offen, die für eine vollständige Bewertung der Situation wichtig wären. Es bleibt beispielsweise unklar, wie genau die Unternehmen die Verschlüsselungskeys innerhalb ihrer Modellfamilien technisch verwalten und warum keine stärkere Segmentierung zwischen den verschiedenen Modellgrößen vorgenommen wurde. Auch wird nicht detailliert erläutert, welche spezifischen Gegenmaßnahmen die Anbieter bereits implementiert haben, nachdem sie von den Forschern informiert wurden. Es bleibt zudem offen, ob bereits bekannte Angriffe außerhalb des Forschungskontexts stattgefunden haben, bei denen diese Schwachstelle aktiv ausgenutzt wurde, um sensible Daten abzugreifen. Der Text nennt zwar die Anzahl der gefundenen Datenblöcke, gibt jedoch keine Auskunft darüber, wie viele dieser Blöcke tatsächlich von echten Nutzern stammen und wie viele auf Testumgebungen zurückzuführen sind. Auch die langfristigen Auswirkungen auf das Vertrauen in die Sicherheit von „Chain of Thought“-Prozessen werden nicht weiter diskutiert, ebenso wenig wie die Frage, ob eine vollständige Verschlüsselung der Denkprozesse überhaupt ohne massive Performance-Einbußen möglich ist.

Wie es weitergeht – Angekündigte Schritte

Die Forscher haben die betroffenen Unternehmen vorab über ihre Erkenntnisse informiert, was bereits zu ersten Gegenmaßnahmen seitens der Anbieter geführt hat. Dennoch bleibt die Situation kritisch, da die Architektur der Verschlüsselung grundlegend angepasst werden muss. Die zentrale Forderung der Experten lautet, dass Verschlüsselungen künftig strikt an eine spezifische Sitzung gebunden sein müssen, damit die bloße Unlesbarkeit für den Endanwender nicht mehr das einzige Sicherheitsmerkmal bleibt. Ob und wann die Anbieter ihre Systeme vollständig auf eine sitzungsgebundene Verschlüsselung umstellen, ist derzeit noch nicht absehbar. Die Veröffentlichung der Studie dient als Weckruf für die Branche, die Sicherheitsarchitekturen von KI-Modellen grundlegend zu überdenken. Weitere Schritte der Unternehmen könnten eine strengere Überwachung der API-Zugriffe und eine verbesserte Sensibilisierung der Entwickler für den Umgang mit Logdateien umfassen, um zu verhindern, dass verschlüsselte Denkblöcke in öffentlichen Repositories landen. Die Sicherheitsgemeinschaft wird die Entwicklung in diesem Bereich zweifellos genau beobachten, um festzustellen, ob die implementierten Schutzmaßnahmen ausreichen, um die identifizierte Schwachstelle dauerhaft zu schließen.