Verschlüsselung ausgehebelt: So einfach offenbaren KI-Modelle sensible Daten ihrer Nutzer

Was geschehen ist: Die Entdeckung einer Sicherheitslücke

Ein Team deutscher Forscher hat eine gravierende Sicherheitslücke in den weltweit führenden KI-Ökosystemen identifiziert. Betroffen sind die Modelle von Google, Anthropic und OpenAI. Die Experten konnten nachweisen, dass sogenannte Reasoning-Logs – also Protokolle, die bei komplexen Denkprozessen der Künstlichen Intelligenz entstehen – gezielt ausgelesen werden können. Dies ermöglicht es Angreifern, hochsensible Informationen wie Passwörter, API-Schlüssel und persönliche Zugangsdaten aus den Chat-Verläufen zu extrahieren. Das Problem liegt dabei nicht in einer klassischen Schwachstelle der Verschlüsselung, sondern in der Art und Weise, wie diese Modelle miteinander kommunizieren und Daten austauschen. Die Forscher verdeutlichen mit ihrem Paper „Stealing Reasoning Traces from Proprietary LLM APIs“, dass die vermeintliche Sicherheit durch Verschlüsselung in diesem Kontext trügerisch ist. Da die Reasoning-Logs bei jeder Interaktion zwischen dem Client und dem Server ausgetauscht werden, um den Kontext für die KI zu wahren, bieten sie eine Angriffsfläche, die bisher kaum beachtet wurde. Die Entdeckung wirft ein Schlaglicht auf die Risiken, die mit der zunehmenden Automatisierung und der Nutzung von KI-Agenten im Alltag einhergehen, da Nutzer oft unbewusst sensible Daten in ihre Anfragen einbetten, in der Annahme, die Kommunikation sei sicher verschlüsselt und geschützt.

Die Einzelheiten: Zahlen, Daten und Fakten

Die Untersuchung stützt sich auf eine umfangreiche Analyse von 6.708 öffentlich zugänglichen Repositories auf Plattformen wie GitHub und Hugging Face. Diese Repositories enthielten Daten, die von Modellen wie GPT, Claude oder Gemini generiert wurden. Im Rahmen ihrer Tests konnten die Forscher insgesamt 315.320 Reasoning-Logs erfolgreich entschlüsseln. Die Ausbeute an sensiblen Informationen war dabei signifikant: Die Experten fanden 62 API-Schlüssel, 33 Passwörter, 24 Zugriffs-Tokens sowie 30 persönliche E-Mail-Adressen. Darüber hinaus konnten Namen und Adressen der jeweiligen Projektbetreiber identifiziert werden. Ein entscheidender Punkt ist, dass viele dieser Daten ausschließlich in den Reasoning-Logs enthalten waren und nicht in den für den Nutzer sichtbaren Bereichen der Chat-Sitzungen. Die Forscher beschreiben den Prozess als einen Umweg über kompatible Modelle innerhalb desselben Ökosystems. Ein Reasoning-Log, das beispielsweise von einem Modell wie GPT-5.6 Sol erstellt wurde, kann in einer älteren Version desselben Anbieters genutzt werden, um den Kontext zu simulieren. Wenn bei einem solchen älteren oder modifizierten Modell die Sicherheitsvorkehrungen durch einen sogenannten Jailbreak entfernt wurden, dient es als Werkzeug, um die Verschlüsselung der Logs zu knacken. Sobald dieser Dekodierungsprozess einmal nachvollzogen wurde, lässt er sich auf eine Vielzahl weiterer Logs anwenden.

Hintergrund: Die Entstehung des Problems

Die Ursache für dieses Sicherheitsproblem liegt tief in der Architektur moderner Large Language Models (LLMs). Wenn Nutzer eine komplexe Anfrage stellen, die einen längeren Denkprozess erfordert, generiert die KI ein Reasoning-Log. Diese Zeichenfolge ist verschlüsselt und wird bei jeder neuen Anfrage an den Server übermittelt, damit die KI den notwendigen Kontext für die Fortführung des Gesprächs behält. Die Forscher fanden heraus, dass diese Logs zwar verschlüsselt sind, die Verschlüsselung jedoch nicht im traditionellen Sinne „gebrochen“ wurde. Stattdessen nutzen die Angreifer die Interoperabilität innerhalb der KI-Ökosysteme aus. Da die Modelle eines Herstellers untereinander kompatibel sind, können Reasoning-Logs zwischen verschiedenen Versionen geteilt werden. Ein schwächeres, möglicherweise modifiziertes Modell fungiert dabei ungewollt als „Hauptschlüssel“. Diese Schwachstelle ist ein Nebenprodukt der technologischen Entwicklung, bei der Effizienz und Kontextwahrung oft über die strikte Isolation von Daten gestellt wurden. Über lange Zeit hinweg wurde davon ausgegangen, dass die Verschlüsselung der Logs einen ausreichenden Schutz bietet. Die aktuelle Forschung zeigt nun, dass dieser Schutzmechanismus durch die bloße Verfügbarkeit älterer oder manipulierter Modellversionen umgangen werden kann, was die Sicherheit der gesamten Infrastruktur untergräbt.

Die Beteiligten: Wer ist betroffen und wer warnt?

Die betroffenen Unternehmen sind die drei größten Akteure im Bereich der Künstlichen Intelligenz: OpenAI, Google und Anthropic. Diese Konzerne stellen die KI-Modelle bereit, deren Reasoning-Logs nun als unsicher eingestuft wurden. Die Forscher, die diese Sicherheitslücke aufgedeckt haben, betonen die Dringlichkeit, mit der diese Informationen behandelt werden müssen. Unterstützung in der Bewertung der Ergebnisse kommt von Experten wie Voldemaras Kadys, dem Head of Security bei Cybernews. Er äußerte sich gegenüber „The IT Nerd“ und unterstrich die Bedeutung der Forschungsergebnisse. Kadys warnt eindringlich davor, Reasoning-Logs als harmlose technische Artefakte zu betrachten. Er betont, dass diese Logs von Unternehmen und Privatpersonen wie jede andere sensible Information behandelt werden sollten. Er stellt klar, dass die Hürde für eine Entschlüsselung in der Praxis deutlich niedriger liegt, als es die meisten Nutzer erwarten würden. Die Beteiligten auf Seiten der Forschung haben mit ihrer Arbeit das Ziel verfolgt, die Sicherheitsarchitektur der großen KI-Anbieter auf den Prüfstand zu stellen und auf die Gefahren hinzuweisen, die durch die Teilbarkeit von Kontext-Daten innerhalb eines Ökosystems entstehen.

Einordnung: Was bedeutet das für die Sicherheit?

Einzuordnen ist das so: Die Entdeckung verdeutlicht, dass die Sicherheit von KI-Systemen nicht allein durch Verschlüsselung gewährleistet werden kann. Den Berichten zufolge ist die größte Gefahr, dass Nutzer sich in falscher Sicherheit wiegen, wenn sie sensible Daten in Chat-Fenster eingeben. Die Tatsache, dass die Verschlüsselung durch ein anderes Modell desselben Herstellers „ausgehebelt“ werden kann, zeigt eine strukturelle Schwäche auf. Es ist nicht notwendig, komplexe kryptografische Algorithmen zu knacken; es reicht aus, die Logik des KI-Ökosystems gegen sich selbst zu verwenden. Diese Art der Sicherheitslücke ist besonders tückisch, da sie den Nutzer nicht direkt warnt. Die Daten werden im Hintergrund verarbeitet und gespeichert, ohne dass der Anwender davon erfährt. Die Forscher machen deutlich, dass die Hürde für Datendiebstahl durch diese Methode massiv gesenkt wurde. Es handelt sich hierbei nicht um einen Fehler in einer einzelnen Anwendung, sondern um ein systemisches Problem, das alle Modelle betrifft, die auf einer gemeinsamen Reasoning-Log-Architektur basieren. Dies stellt die bisherigen Sicherheitsversprechen der großen KI-Anbieter in ein neues, kritisches Licht und fordert eine grundlegende Überarbeitung der Datenverarbeitungsprozesse.

Offene Fragen und wie es weitergeht

Der Quelltext lässt einige Fragen offen, die für die weitere Entwicklung von entscheidender Bedeutung sind. So bleibt unklar, ob und wie die betroffenen Unternehmen (OpenAI, Google, Anthropic) bereits auf die Erkenntnisse der Forscher reagiert haben. Es wird nicht explizit erwähnt, ob es bereits Patches oder Sicherheitsupdates gibt, die den Austausch von Reasoning-Logs zwischen verschiedenen Modellversionen unterbinden. Ebenso fehlen Informationen darüber, ob die Forscher ihre Ergebnisse vor der Veröffentlichung direkt an die betroffenen Unternehmen gemeldet haben, um eine Schließung der Lücke zu ermöglichen. Auch bleibt offen, ob die entdeckten Daten bereits in der Vergangenheit von anderen Akteuren für kriminelle Zwecke missbraucht wurden oder ob die Forscher die ersten waren, die diese spezifische Methode zur Extraktion eingesetzt haben. Hinsichtlich der Zukunft ist zu erwarten, dass die Diskussion über die Sicherheit von KI-APIs an Fahrt gewinnt. Es steht zu befürchten, dass die Hürden für Angreifer durch die Veröffentlichung der Forschungsmethode sinken könnten, sofern die Anbieter nicht zeitnah technische Barrieren einbauen. Die ausstehenden Entscheidungen der Unternehmen zur Architektur ihrer Reasoning-Logs werden darüber entscheiden, wie sicher die Nutzung von KI-Agenten in Zukunft sein wird.