Overthinking bei Maschinen: Wie manipulierte Fragen KI-Modelle in die Knie zwingen

Wenn Maschinen sich festbeißen

Das Phänomen des Grübelns, bei dem Menschen in einer Endlosschleife aus Überlegungen ohne klare Lösung feststecken, ist längst nicht mehr auf den menschlichen Geist beschränkt. Aktuelle Untersuchungen zeigen, dass sogenannte Large Reasoning Models (LRM) – hochspezialisierte KI-Systeme wie GPT-o3, Deepseek R1 oder Qwen3 – ein ähnliches Verhalten aufweisen können. Diese Modelle sind darauf ausgelegt, komplexe Aufgaben in logische Teilschritte zu zerlegen, um präzise Ergebnisse in Bereichen wie Programmierung oder Mathematik zu liefern. Doch genau diese Fähigkeit zur transparenten Argumentationskette wird nun zur Schwachstelle.

Die Züchtung von Grübel-Prompts

Ein Forschungsteam der Zhejiang-Universität in Hangzhou hat eine Methode entwickelt, um dieses „Overthinking“ gezielt zu provozieren. Die Wissenschaftler nutzen dafür einen sogenannten hierarchischen genetischen Algorithmus (HGA). Dieser Algorithmus testet systematisch verschiedene Eingaben und bewertet deren Wirkung auf das KI-Modell. Durch gezielte Mutationen in den Prompts werden jene Eingaben identifiziert, die das Modell am stärksten in Denkschleifen verstricken.

Die Kriterien für die Auswahl der effektivsten „Grübel-Prompts“ sind dabei die Antwortlänge sowie das Auftreten spezifischer Schlüsselwörter wie „vielleicht“, „aber“ oder „warte“ innerhalb des internen Denkprozesses. In der Praxis bedeutet das: Die KI wird mit logisch inkonsistenten oder unvollständigen Informationen gefüttert, die sie dazu zwingen, immer wieder neue, redundante Argumentationsketten aufzubauen, anstatt den Prozess abzubrechen.

Auswirkungen auf die Systemstabilität

In Versuchen mit Modellen wie Gemini-2.5-Flash oder DeepSeek-R1 konnten die Forschenden zeigen, dass manipulierte Prompts die generierten Antwortlängen um das 26-fache im Vergleich zu Standardaufgaben steigern können. Dies hat zwei wesentliche Konsequenzen:

* **Ressourcenverbrauch:** Die Erzeugung übermäßig langer Antworten erfordert eine enorme Rechenleistung. Dies treibt den Stromverbrauch in die Höhe und erhöht die Betriebskosten für die Anbieter der KI-Dienste erheblich.

* **Sicherheitsrisiko:** Die Forscher warnen, dass dieses Verhalten als neuer Angriffsvektor dienen könnte. Ähnlich wie bei einem klassischen Distributed-Denial-of-Service-Angriff (DDoS) könnten böswillige Akteure durch eine Vielzahl solcher „Grübel-Prompts“ die Serverkapazitäten überlasten und die Dienstqualität für alle anderen Nutzer massiv verschlechtern.

Herausforderungen für die Zukunft

Besonders kritisch ist dabei, dass Angreifer solche Prompts zunächst an kleineren, günstigeren Modellen entwickeln und anschließend auf leistungsstärkere, kommerzielle Systeme übertragen können. Die Studie verdeutlicht, dass die aktuelle Architektur von Reasoning-Modellen, die auf Transparenz und schrittweiser Logik basiert, eine neue Form der Robustheit erfordert.

Die Forschenden plädieren daher für eine grundlegende Anpassung der Sicherheitsstrategien. Notwendig seien neue Verteidigungsmechanismen, die in der Lage sind, Denkschleifen in Echtzeit zu erkennen und zu unterbrechen, sowie eine höhere Fehlertoleranz der Modelle gegenüber logisch in sich widersprüchlichen Eingaben. Die Ergebnisse der Untersuchung, die auf der International Conference on Machine Learning vorgestellt wurden, unterstreichen den dringenden Bedarf an einer besseren Überwachung der internen Denkprozesse von KI-Systemen.