KI-Korrekturhilfe für die Schule: Lerne schreiben wie ein Chatbot

Was geschehen ist – die Kernmeldung

Im Kontext des „DigitalPakts 2.0“, für den Bund und Länder in den kommenden fünf Jahren rund fünf Milliarden Euro bereitstellen, rückt der Einsatz generativer Künstlicher Intelligenz im Schulwesen verstärkt in den Fokus. Während die Politik die Digitalisierung vorantreibt, drängen zahlreiche Bildungs-Start-ups auf den Markt, die versprechen, Lehrkräfte durch KI-gestützte Feedback- und Korrektursysteme von ihrer hohen Arbeitslast zu entlasten. Zu den prominenten Vertretern dieser neuen Technologie gehören die Programme FelloFish und Edaira. Doch der Einsatz dieser Systeme ist hochumstritten. Der Kognitionswissenschaftler und Philosoph Sean Quägwer von der Universität Osnabrück hat diese Tools gemeinsam mit seinem Kollegen Rainer Mühlhoff einer wissenschaftlichen Prüfung unterzogen. Das Ergebnis der Untersuchung ist ernüchternd: Beide Programme fallen in den Tests durch. Die Forscher kommen zu dem Schluss, dass die auf Sprachmodellen basierenden Korrekturhilfen keine verlässlichen Lösungen für den Schulalltag bieten. Vielmehr simulieren sie lediglich eine Problemlösung, während sie in der Praxis an grundlegenden Anforderungen an Konsistenz, Objektivität und inhaltlicher Qualität scheitern. Die Studie unterstreicht damit die Ergebnisse früherer Untersuchungen, etwa zum Tool von fobizz aus dem Jahr 2024, und warnt vor den Konsequenzen für die Bildungsgerechtigkeit.

Die Einzelheiten der Untersuchung

Die wissenschaftliche Analyse von Sean Quägwer und Rainer Mühlhoff, die in der Forschungsgruppe „Ethik und kritische Theorien der KI“ am Institut für Kognitionswissenschaft der Universität Osnabrück tätig sind, konzentrierte sich auf die Funktionsweise von FelloFish und Edaira. Bei FelloFish handelt es sich um ein Tool, das direkt mit Schülerinnen und Schülern interagiert. Diese laden ihre Texte in ein digitales Interface hoch, erhalten automatisiertes Feedback und können ihre Arbeit im Anschluss überarbeiten, um eine bessere Bewertung zu erzielen. Edaira hingegen richtet sich primär an Lehrkräfte, denen das Programm Vorschläge zur Benotung von Klassenarbeiten unterbreitet. Die Forscher untersuchten die Tools mittels systematischer Testreihen. Dabei gaben sie identische Texte mehrfach in die Programme ein, um die Reproduzierbarkeit der Ergebnisse zu prüfen. Die Resultate zeigten massive Schwankungen: Bei unveränderten Bewertungskriterien variierten die Noten bei identischen Eingaben teilweise um mehr als eine ganze Schulnote. Auch bei der inhaltlichen Prüfung zeigten sich eklatante Mängel. So bewertete Edaira einen sogenannten Metatext – eine Aneinanderreihung inhaltsleerer Sätze über die Einleitung eines Aufsatzes – besser als qualitativ hochwertige Schülertexte. Selbst Texte in Fremdsprachen oder Binärcode wurden von FelloFish verarbeitet und benotet, anstatt sie als inhaltlich unzureichend abzulehnen.

Hintergrund und bisheriger Verlauf

Die Debatte um den Einsatz von KI in der Schule ist eng mit der finanziellen Förderung durch den „DigitalPakt 2.0“ verknüpft. Die Idee hinter der Implementierung generativer KI ist die Entlastung des Lehrpersonals, das unter einer hohen Arbeitsbelastung leidet. Die Hoffnung der Entwickler und einiger politischer Entscheidungsträger ist, dass KI-Systeme pädagogische Kernaufgaben unterstützen oder gar übernehmen können. Bereits im Jahr 2024 gab es erste kritische Studien, unter anderem zu dem Korrektur-Tool von fobizz, die bereits auf die strukturellen Probleme dieser Technologie hinwiesen. Die nun vorliegende Untersuchung von Quägwer und Mühlhoff baut auf diesen Erkenntnissen auf und erweitert die Analyse um zwei weitere prominente Marktteilnehmer. Die Forscher betonen, dass sie das Bedürfnis nach Entlastung im Lehrberuf durchaus anerkennen, jedoch den gewählten technologischen Weg als ineffektiv und gefährlich einstufen. Dass die Tools bei der Prüfung von Schülerleistungen derart inkonsistent agieren, ist laut Quägwer kein Zufall, sondern liegt in der Natur der zugrunde liegenden Large Language Models (LLMs), die auf Wahrscheinlichkeiten basieren und nicht deterministisch arbeiten.

Die Beteiligten und ihre Rollen

Im Zentrum der wissenschaftlichen Aufarbeitung stehen Sean Quägwer und Rainer Mühlhoff. Quägwer ist Kognitionswissenschaftler, ausgebildeter Philosoph und wissenschaftlicher Mitarbeiter in der Forschungsgruppe „Ethik und kritische Theorien der KI“ an der Universität Osnabrück, welche von Mühlhoff geleitet wird. Die beiden Forscher fungieren als kritische Beobachter der technologischen Entwicklung im Bildungssektor. Auf der anderen Seite stehen die Entwickler der Bildungs-Start-ups, namentlich FelloFish und Edaira, die ihre Produkte als Lösung für den Lehrermangel und die hohe Arbeitslast in Schulen vermarkten. Ebenfalls erwähnt wird das Unternehmen fobizz, dessen Korrektur-Tool bereits 2024 Gegenstand kritischer Untersuchungen war. Die betroffene Gruppe sind Lehrkräfte, die nach Entlastung suchen, sowie Schülerinnen und Schüler, deren akademische Laufbahnen und Lebensverläufe von den automatisierten Bewertungen abhängen könnten. Die Institutionen, die den Rahmen für diese Entwicklung setzen, sind der Bund und die Länder, die durch den „DigitalPakt 2.0“ die finanziellen Mittel für die Implementierung solcher Technologien bereitstellen.

Einordnung der Ergebnisse

Die wissenschaftliche Einordnung der Ergebnisse durch Quägwer ist eindeutig: Die von den Start-ups versprochene Objektivität ist eine Illusion. Einzuordnen ist das so, dass die zugrunde liegende Technologie der Sprachmodelle für den hochsensiblen Bereich der Leistungsbewertung schlicht ungeeignet ist. Quägwer weist das Argument, auch menschliche Lehrkräfte würden inkonsistent bewerten, als „Strohmann-Argument“ zurück. Seinen Ausführungen zufolge dürfe die Einführung einer neuen Technologie nicht den Status quo lediglich replizieren, sondern müsse eine qualitative Verbesserung darstellen. Da dies bei den untersuchten KI-Tools nicht der Fall ist, bewertet er den Einsatz als problematisch. Besonders kritisch sieht er den Umstand, dass die Automatisierung eine Erwartungshaltung an Objektivität schürt, die das System technisch gar nicht erfüllen kann. Da Lehrkräfte im stressigen Schulalltag kaum Zeit haben, jede KI-Bewertung zehnfach auf ihre Konsistenz zu prüfen, besteht die Gefahr, dass willkürliche Noten als objektive Fakten in die Leistungsbeurteilung einfließen. Dies ist aus Sicht der Forscher ein strukturelles Defizit, das durch technisches „Prompt-Engineering“ nur in sehr engen Grenzen abgemildert werden kann.

Offene Fragen und Lücken

Der vorliegende Bericht lässt einige Fragen offen, die für die weitere Debatte von Bedeutung wären. Zunächst bleibt unklar, wie die spezifischen „Prompts“ konfiguriert sind, die hinter den KI-Agenten von FelloFish und Edaira stehen. Da diese Informationen proprietär sind, konnten die Forscher nur die Outputs analysieren, nicht aber die internen Anweisungen, die das Verhalten der KI steuern. Zudem beantwortet der Quelltext nicht, inwieweit die Start-ups ihre Entwicklungsprozesse anpassen oder auf die Kritik reagieren werden. Es bleibt offen, welche konkreten Qualitätsstandards bei der Entwicklung dieser Bildungs-Tools angewandt wurden, da die Forscher vermuten, dass Standardprozesse aus der KI-Forschung, wie etwa strukturiertes Adversarial Testing, vernachlässigt wurden. Auch bleibt die Frage, wie die Politik auf diese wissenschaftlichen Warnungen reagiert und ob die Finanzierung durch den „DigitalPakt 2.0“ an strengere Qualitätskriterien für KI-Anwendungen geknüpft werden könnte. Schließlich wird nicht geklärt, wie viele Schulen die Tools bereits im Regelbetrieb einsetzen und ob es bereits dokumentierte Fälle gibt, in denen Schüler durch fehlerhafte KI-Bewertungen benachteiligt wurden.

Wie es weitergeht

Für die Zukunft bleibt abzuwarten, ob die wissenschaftliche Kritik von Quägwer und Mühlhoff zu einem Umdenken bei den Bildungsbehörden führt. Die Forscher haben deutlich gemacht, dass sie den aktuellen Kurs der Start-ups für nicht tragbar halten, da von den Bewertungen Lebensverläufe abhängen. Da die Entwicklung von KI-Modellen rasant voranschreitet, ist damit zu rechnen, dass weitere Tools auf den Markt kommen werden, die ähnliche Versprechen abgeben. Die wissenschaftliche Gemeinschaft wird hierbei weiterhin eine kritische Rolle einnehmen müssen, um die Qualitätssicherung einzufordern, die laut Quägwer in der aktuellen Start-up-Kultur oft zu kurz kommt. Ob es zu einer Regulierung kommt, die den Einsatz solcher Tools in Schulen strenger reglementiert oder gar verbietet, solange keine konsistenten Ergebnisse nachgewiesen sind, bleibt eine politische Entscheidung. Die Debatte um die Sinnhaftigkeit von KI-Korrekturhilfen ist durch die vorliegende Studie jedenfalls um eine wesentliche, evidenzbasierte Komponente reicher geworden, die den Druck auf die Anbieter erhöht, ihre Systeme transparenter und verlässlicher zu gestalten.