Software Testing: KI als Tester – So funktioniert LLM-as-a-Judge

Was geschehen ist – die Kernmeldung

In der aktuellen Ausgabe seines Formats zur Softwarequalität hat der Berater und Podcast-Host Richard Seidl ein wegweisendes Gespräch mit Anupam Krishnamurthy geführt, dem Head of AI Testing bei der TestSolutions GmbH. Im Zentrum des Austauschs steht die fundamentale Herausforderung, dass klassische Ansätze der Testautomatisierung bei Systemen, die auf Künstlicher Intelligenz basieren, an ihre Grenzen stoßen. Der Grund hierfür liegt in der mangelnden Vorhersehbarkeit, also dem fehlenden Determinismus, der bei herkömmlicher Software die Basis für automatisierte Prüfprozesse bildet. Um dennoch eine hohe Qualität bei KI-gestützten Anwendungen sicherzustellen, stellt Krishnamurthy innovative Konzepte vor. Besonders hervorzuheben ist dabei der Ansatz des „LLM-as-a-Judge“. Hierbei wird ein Large Language Model (LLM) dazu eingesetzt, die Ergebnisse eines anderen KI-Modells zu bewerten. Dieser methodische Wandel erfordert ein grundlegendes Umdenken in der Softwareentwicklung, da die Definition einer „korrekten Antwort“ in einem probabilistischen Umfeld neu verhandelt werden muss. Das Gespräch beleuchtet dabei nicht nur abstrakte Theorien, sondern bietet konkrete Einblicke in die Zerlegung komplexer RAG-Systeme (Retrieval-Augmented Generation), bei denen die Fehlerquellen oft nicht in der Generierung, sondern in der vorgelagerten Informationsbeschaffung liegen.

Die Einzelheiten – Zahlen, Namen und Hintergründe

Anupam Krishnamurthy, der als Experte für KI-Testing fungiert, bringt eine ungewöhnliche berufliche Vita mit in die Diskussion. Ursprünglich als Maschinenbauingenieur in Indiens Raumfahrtprogramm tätig, wo er für die Montage von Satelliten verantwortlich war, wechselte er nach einem MBA und einer Zeit als Strategieberater in die Softwareentwicklung. Heute lebt der gebürtige Bangalorer in Berlin und leitet bei der TestSolutions GmbH die Bemühungen, das Testing-Segment an die Anforderungen der KI-Ära anzupassen. Er ist zudem Mitgründer der BeyondQuality-Community. Richard Seidl, der als Gastgeber fungiert, blickt auf eine Karriere als Berater, Speaker und Autor von acht Fachbüchern zurück und engagiert sich als Beirat der heise-Konferenz betterCode() Testing. Im Gespräch analysieren sie, dass die meisten Fehler in RAG-Systemen – also Systemen, die mittels Retrieval externe Datenquellen anzapfen, um die Antworten der KI zu fundieren – primär im Retrieval-Prozess entstehen. Krishnamurthy betont, dass die Qualität der Datenbeschaffung entscheidend ist, während die eigentliche Sprachgenerierung oft nur das Symptom für eine bereits fehlerhafte Informationsgrundlage darstellt. Die Diskussion verdeutlicht, dass klassische Konzepte wie das Isolieren von Komponenten weiterhin relevant bleiben, sofern sie kontextspezifisch auf die neuen Anforderungen der KI-Technologie zugeschnitten werden.

Hintergrund – Die Evolution des Software-Testings

Die Notwendigkeit für neue Testmethoden ergibt sich aus dem fundamentalen Wandel der Softwarearchitektur. Während traditionelle Software auf festen Regeln und deterministischen Abläufen basiert, arbeiten KI-Systeme mit Wahrscheinlichkeiten. Ein Test, der bei klassischer Software immer das gleiche Ergebnis liefern muss, stößt bei einem LLM auf die Herausforderung der Variabilität. Krishnamurthy weist darauf hin, dass das vertraute Fundament der Testautomatisierung bei KI-Modellen nicht mehr trägt. Historisch gesehen war das Testen von Software auf die Verifikation von Code-Pfaden und logischen Bedingungen fokussiert. Mit der Einführung von KI-Modellen, die auf riesigen Datenmengen trainiert wurden, verschiebt sich der Fokus hin zur Validierung von Inhalten und Kontexten. Die Entwicklung hin zu RAG-Systemen, die eine Brücke zwischen statischen Datenbanken und dynamischer Sprachgenerierung schlagen, hat das Problem der Qualitätssicherung weiter verkompliziert. Die bisherige Praxis, einfach nur den Output zu prüfen, greift zu kurz, da sie die Ursache für eine fehlerhafte Antwort – sei es eine falsche Quellenwahl oder ein unzureichendes Verständnis des Suchkontexts – nicht isolieren kann. Die aktuelle Diskussion bei Richard Seidl ist somit ein notwendiges Aufarbeiten dieser technologischen Transformation.

Die Beteiligten – Akteure und Institutionen

Im Zentrum dieses fachlichen Diskurses stehen zwei zentrale Akteure: Richard Seidl und Anupam Krishnamurthy. Richard Seidl tritt als Moderator und Impulsgeber auf, der durch seine langjährige Erfahrung als Berater und Podcast-Host die Brücke zwischen komplexen technischen Fragestellungen und der praktischen Anwendung in agilen Projekten schlägt. Er versteht Softwareentwicklung ganzheitlich und bezieht neben Tools auch die menschliche Komponente und den Kontext in seine Betrachtungen ein. Anupam Krishnamurthy vertritt die Perspektive der TestSolutions GmbH. Seine Rolle als Head of AI Testing unterstreicht den strategischen Stellenwert, den das Unternehmen der Qualitätssicherung von KI-Systemen beimisst. Als Mitgründer der BeyondQuality-Community ist er zudem in einem Netzwerk aktiv, das den Austausch über moderne Testmethoden fördert. Beide Akteure eint das Ziel, die Qualitätssicherung in einer Zeit zu professionalisieren, in der KI-gestützte Softwareentwicklung zum Standard wird. Ihre Expertise fließt in das Format „Softwarequalität im Gespräch“ ein, das sich gezielt an Fachleute richtet, die sich mit Testautomatisierung, Testdaten und der Dynamik in agilen Teams auseinandersetzen.

Einordnung – Was das bedeutet

Einzuordnen ist das Gespräch als ein wichtiger Beitrag zur Professionalisierung der KI-Entwicklung. Den Berichten zufolge markiert der Ansatz des „LLM-as-a-Judge“ einen Paradigmenwechsel: Anstatt menschliche Tester jede Antwort manuell prüfen zu lassen – was bei der schieren Menge an generierten Inhalten unmöglich wäre –, übernimmt ein spezialisiertes KI-Modell die Rolle des Richters. Dies bedeutet eine enorme Skalierbarkeit für Testprozesse. Dennoch ist Vorsicht geboten, da auch der „Richter“ selbst fehleranfällig sein kann. Die Diskussion macht deutlich, dass die Qualität der KI-Software direkt mit der Fähigkeit korreliert, das System in seine Einzelteile zu zerlegen. Ein System, das nicht modular betrachtet wird, ist in der Praxis kaum testbar. Die Bewertung von Krishnamurthy, dass die meisten Probleme im Retrieval liegen, ist dabei als eine klare Aufforderung zu verstehen, den Fokus der Qualitätssicherung von der reinen Sprachausgabe weg hin zur Dateninfrastruktur und den Suchalgorithmen zu verlagern. Es ist ein Plädoyer für ein systematischeres Vorgehen, das trotz der Komplexität der KI-Technologie nicht auf bewährte Prinzipien der Softwaretechnik verzichtet, sondern diese lediglich anpasst.

Offene Fragen – Was der Quelltext nicht beantwortet

Obwohl das Gespräch tief in die Methodik des KI-Testings eintaucht, bleiben einige Aspekte unbeantwortet. Der Quelltext geht nicht konkret auf die Kosten-Nutzen-Rechnung beim Einsatz eines „LLM-as-a-Judge“ ein. Es wird nicht erläutert, welche Rechenressourcen für ein solches zweistufiges Testverfahren notwendig sind und ob dies für kleinere Unternehmen wirtschaftlich darstellbar ist. Zudem bleibt offen, wie genau die „Eich-Kriterien“ für das als Richter fungierende LLM definiert werden müssen, um eine objektive Bewertung zu gewährleisten. Der Text nennt keine spezifischen Tools oder Frameworks, die für die Umsetzung dieser Strategie empfohlen werden. Ebenso wird nicht geklärt, wie mit den ethischen oder regulatorischen Anforderungen umgegangen werden soll, wenn ein KI-System ein anderes bewertet. Die Frage, ob es bereits Best Practices für die Vermeidung von Bias innerhalb des „Richter-Modells“ gibt, wird im Rahmen des Gesprächs nicht weiter vertieft. Auch die langfristige Stabilität solcher Test-Architekturen gegenüber Updates der zugrunde liegenden KI-Modelle bleibt als offener Punkt bestehen.

Wie es weitergeht – Ausblick und Termine

Die Auseinandersetzung mit der Softwarequalität in KI-gestützten Projekten ist ein fortlaufender Prozess, der sich in den kommenden Monaten weiter intensivieren dürfte. Richard Seidl führt sein Podcast-Format konsequent fort, um aktuelle Entwicklungen in der Testautomatisierung und agilen Qualitätssicherung zu begleiten. Die im Gespräch thematisierten Konzepte, insbesondere die Zerlegung von RAG-Systemen und der Einsatz von LLM-as-a-Judge, werden voraussichtlich als zentrale Themen auf Fachkonferenzen wie der betterCode() Testing weiter diskutiert werden. Anupam Krishnamurthy wird seine Arbeit im Bereich des KI-Testings bei der TestSolutions GmbH fortsetzen, wobei davon auszugehen ist, dass die dort gewonnenen Erkenntnisse in zukünftige Episoden oder Publikationen der BeyondQuality-Community einfließen. Für Entwickler und Tester bedeutet dies, dass sie sich auf eine Phase einstellen müssen, in der die Grenzen zwischen Softwareentwicklung und Datenwissenschaft weiter verschwimmen. Die kommenden Monate werden zeigen, welche dieser theoretischen Ansätze sich in der breiten industriellen Praxis als robust erweisen und welche Standards sich für das Testen von KI-Systemen etablieren werden.