heise-Angebot: iX-Workshop: KI-Anwendungen angreifen, Schwachstellen finden und gezielt härten

Ein praxisnaher Ansatz zur Absicherung moderner KI-Systeme

Die rasante Verbreitung generativer Künstlicher Intelligenz bringt nicht nur technologische Fortschritte, sondern auch neue, komplexe Sicherheitsherausforderungen mit sich. Um Entwicklern und Sicherheitsverantwortlichen das notwendige Rüstzeug für den Schutz dieser Systeme zu vermitteln, hat das iX-Magazin einen spezialisierten Workshop angekündigt. Unter dem Titel „KI-Anwendungen sicher entwickeln: Hands-on gegen Prompt Injection, RAG-Angriffe und Agentenrisiken“ bietet das Programm eine tiefgehende Auseinandersetzung mit der Sicherheit von Large Language Models (LLMs) und darauf basierenden Architekturen. Das zentrale Element des Workshops ist ein bewusst verwundbar gestalteter Bank-Chatbot, an dem die Teilnehmer die Funktionsweise von Angriffen live nachvollziehen können. Ziel der Veranstaltung ist es, die Teilnehmenden zu befähigen, Schwachstellen in ihren eigenen Projekten frühzeitig zu identifizieren und durch gezielte Härtungsmaßnahmen abzusichern. Der Workshop findet online statt und erstreckt sich über drei Tage, wobei der Fokus konsequent auf der praktischen Anwendung und dem direkten Transfer von theoretischem Wissen in den Arbeitsalltag liegt.

Die methodische Aufarbeitung von Sicherheitslücken

Der Kurs ist als intensives Training konzipiert, bei dem etwa 70 Prozent der gesamten Zeit für praktische Übungen reserviert sind. Die Teilnehmenden agieren in einer vorbereiteten Browserumgebung, in der sie zunächst die Rolle des Angreifers einnehmen, um die Verwundbarkeiten des Bank-Chatbots zu explorieren. Zu den behandelten Angriffsszenarien gehören insbesondere Prompt Injection, bei denen Eingaben manipuliert werden, um das KI-Modell zu unerwünschten Handlungen zu bewegen. Ein weiterer Schwerpunkt liegt auf der Analyse von manipulierten Inhalten in RAG-Systemen (Retrieval-Augmented Generation) sowie der Untersuchung von Berechtigungen bei KI-Agenten. Nach der Angriffsphase folgt die Härtungsphase, in der Schutzmechanismen wie Input- und Output-Validierung, das Prinzip des Least Privilege, kontrollierte Tool-Aufrufe sowie der Einsatz von Guardrails und „Human-in-the-Loop“-Konzepten implementiert werden. Den Abschluss bildet eine Red-Team-/Blue-Team-Challenge, in der die Wirksamkeit der entwickelten Schutzmaßnahmen unter realen Bedingungen durch einen erneuten Angriff auf die gehärtete Lösung überprüft wird.

Der Kontext der KI-Sicherheit und die Entstehung des Bedarfs

Die Notwendigkeit für ein solches Training ergibt sich aus der veränderten Bedrohungslage durch generative KI. Traditionelle Sicherheitskonzepte greifen bei Systemen, die auf LLMs basieren, oft nur unzureichend. Die Integration von KI-Agenten, die eigenständig Aktionen ausführen können, sowie die Nutzung externer Datenquellen in RAG-Architekturen schaffen neue Angriffsflächen, die bereits in der Designphase einer Anwendung berücksichtigt werden müssen. Bisherige Erfahrungen aus der Praxis zeigen, dass zu weitreichende Berechtigungen oder unzureichend validierte Datenströme sensible Informationen gefährden oder das System für Manipulationen öffnen können. Der Workshop adressiert diese Lücke, indem er nicht nur isolierte Techniken vermittelt, sondern einen ganzheitlichen Ansatz verfolgt. Die Teilnehmenden lernen, wie sie ein Threat Model erstellen, das als Grundlage für eine robuste Sicherheitsstrategie dient. Damit reagiert das iX-Magazin auf den wachsenden Bedarf an qualifiziertem Fachwissen, um KI-Lösungen nicht nur funktional, sondern auch produktionsreif und sicher in Unternehmen zu implementieren.

Die Akteure und die Zielgruppe des Workshops

Der Workshop wird von Gregor Biswanger geleitet, einem ausgewiesenen Experten auf dem Gebiet der generativen KI. Biswanger ist als Microsoft MVP für Azure AI und Web-App-Development bekannt und arbeitet eng mit dem Microsoft-Produktteam für GitHub Copilot zusammen. Durch seine Tätigkeit als Berater für Unternehmen bei der Einführung moderner KI-Lösungen verfügt er über einen tiefen Einblick in reale Herausforderungen und Best Practices. Die Zielgruppe des Kurses ist breit gefächert und umfasst Softwareentwickler, Softwarearchitekten, AI Engineers sowie DevSecOps- und Security-Engineers. Auch technische Leads, die für die Entwicklung, Integration oder den Betrieb von LLMs, RAG-Systemen und KI-Agenten verantwortlich sind, bilden die Kernzielgruppe. Durch die Arbeit in kleinen Gruppen wird ein intensiver Austausch unter den Fachleuten gefördert, sodass die Teilnehmenden nicht nur vom Expertenwissen des Trainers, sondern auch von den Erfahrungen der anderen Branchenvertreter profitieren können.

Einordnung der Sicherheitsmaßnahmen in der IT-Landschaft

Einzuordnen ist das Angebot als Reaktion auf die zunehmende Komplexität der IT-Infrastruktur im Zuge der digitalen Transformation. Den Berichten zufolge reicht es heute nicht mehr aus, KI-Modelle lediglich zu implementieren; sie müssen in ein Sicherheitskonzept eingebettet werden, das die Besonderheiten probabilistischer Systeme berücksichtigt. Die im Workshop vermittelten Methoden, wie etwa die Kombination von Guardrails und strengen Tool-Aufruf-Regeln, stellen einen Standard dar, der für Unternehmen unerlässlich ist, um eine digitale Souveränität zu wahren. Die Bewertung der Sicherheit von KI-Anwendungen erfordert dabei ein Umdenken: Weg von statischen Sicherheitsregeln hin zu dynamischen Modellen, die auf das Verhalten der KI reagieren. Die Teilnahme an einem solchen Workshop bietet für Unternehmen die Chance, das Risiko von Datenabflüssen oder unerwünschten Systemmanipulationen signifikant zu senken, indem sie ihre Entwicklerteams auf den neuesten Stand der Sicherheitsforschung bringen.

Offene Fragen und verbleibende Herausforderungen

Obwohl der Workshop ein breites Spektrum an Sicherheitsaspekten abdeckt, bleiben einige Fragen im Kontext der KI-Sicherheit bestehen, die über den Rahmen eines dreitägigen Trainings hinausgehen. Der Quelltext macht beispielsweise keine Angaben dazu, wie sich die Sicherheitsmaßnahmen bei extrem großen, proprietären Modellen verhalten, deren interne Funktionsweise oft eine „Black Box“ bleibt. Auch die langfristige Wartbarkeit der implementierten Schutzmaßnahmen in einer sich schnell entwickelnden KI-Landschaft wird im Text nicht explizit thematisiert. Zudem bleibt offen, inwieweit die vermittelten Strategien auf spezifische, hochgradig regulierte Branchen übertragbar sind, die über den beispielhaften Bank-Chatbot hinausgehen. Die Frage, wie Unternehmen ihre Sicherheitsrichtlinien kontinuierlich an neue, bisher unbekannte Angriffsvektoren anpassen können, die erst nach dem Workshop-Zeitraum entstehen könnten, wird ebenfalls nicht detailliert beantwortet. Diese Punkte verdeutlichen, dass der Workshop zwar ein fundiertes Fundament legt, die fortlaufende Auseinandersetzung mit dem Thema jedoch eine dauerhafte Aufgabe für die IT-Sicherheitsabteilungen bleibt.

Kommende Termine und organisatorische Details

Für Interessierte findet der Online-Workshop im Zeitraum vom 26. bis zum 28. Oktober 2026 statt. Die täglichen Sitzungen sind jeweils für den Zeitraum von 09:00 bis 17:00 Uhr angesetzt. Eine Anmeldung ist erforderlich, wobei das iX-Magazin einen Frühbucher-Rabatt von 10 Prozent gewährt, sofern die Anmeldung bis zum 28. September 2026 erfolgt. Da die Teilnehmerzahl in den Gruppen begrenzt ist, um einen intensiven Austausch und eine individuelle Betreuung zu gewährleisten, ist eine frühzeitige Registrierung ratsam. Die Teilnehmenden erhalten nach Abschluss des Workshops nicht nur ein tieferes Verständnis für die Sicherheitsarchitektur von KI-Anwendungen, sondern auch konkrete Arbeitsmaterialien, darunter eine gehärtete Referenzlösung, ein eigenes Threat Model sowie wiederverwendbare Security-Testfälle und Checklisten, die direkt in die eigene berufliche Praxis integriert werden können.