Was geschehen ist – die Kernmeldung
Im britischen National Health Service (NHS) sorgt der Einsatz von KI-gestützten Dokumentationssystemen für erhebliche Besorgnis. Diese Softwarelösungen wurden konzipiert, um medizinisches Personal während der Sprechstunde von bürokratischen Aufgaben zu entlasten. Die KI-Assistenten hören bei Arzt-Patienten-Gesprächen mit und erstellen in Echtzeit Zusammenfassungen und Arztbriefe. Doch statt der erhofften Arbeitserleichterung berichten Patienten nun vermehrt von gravierenden Fehlern in diesen automatisierten Protokollen. Die Systeme verwechseln Medikamentennamen, erfinden Diagnosen oder lassen essenzielle Informationen aus dem Behandlungsverlauf weg. Besonders alarmierend ist dabei, dass diese Unstimmigkeiten in zahlreichen Fällen nicht durch die behandelnden Mediziner, sondern durch die Patienten selbst entdeckt wurden. Die Patientenvertretung Healthwatch England hat angesichts dieser Häufung von Fehlleistungen bereits offiziell Alarm geschlagen. Die Problematik ist dabei keineswegs auf Großbritannien beschränkt, denn auch in Deutschland gewinnen solche Systeme, etwa von Anbietern wie Doctolib, zunehmend an Bedeutung und werden bereits in ersten klinischen Testphasen eingesetzt.
Die Einzelheiten der Fehlleistungen
Die Berichte über die fehlerhaften KI-Transkripte zeichnen ein besorgniserregendes Bild der aktuellen Technologie. Ein konkretes Beispiel, das durch den Guardian bekannt wurde, betrifft eine Patientin, der in der automatischen Zusammenfassung fälschlicherweise die Diagnose „Demyelinisierung“ zugeschrieben wurde. Es handelt sich dabei um eine schwerwiegende Nervenschädigung, die in der klinischen Praxis mit Multipler Sklerose in Verbindung gebracht werden kann. Der tatsächliche MRT-Befund der Patientin lautete jedoch explizit „keine Demyelinisierung“. Nur durch die aufmerksame Nachfrage der Patientin konnte dieser folgenschwere Fehler korrigiert werden. In einem weiteren dokumentierten Fall kam es zu einer gefährlichen Verwechslung bei der Medikation: Die KI interpretierte ein vom Hausarzt verschriebenes Arzneimittel falsch und ersetzte es durch ein Präparat mit ähnlichem Namen. Auch hier blieb der Fehler dem Arzt zunächst verborgen und wurde erst durch den Patienten bemerkt. Diese Ungenauigkeiten sind nicht nur ärgerlich, sondern haben reale Konsequenzen. Die in den Systemen hinterlegten Daten beeinflussen maßgeblich, welche Medikamente Patienten in der Apotheke erhalten oder ob sie in Zukunft beispielsweise eine Berufsunfähigkeitsversicherung abschließen können.
Hintergrund und bisheriger Verlauf
Die Einführung von KI-Schreibassistenten im Gesundheitswesen sollte ursprünglich eine Antwort auf die wachsende bürokratische Belastung von Ärzten sein. Das Ziel war es, die Zeit, die Mediziner für die Dokumentation aufwenden müssen, drastisch zu reduzieren, damit mehr Zeit für die direkte Patientenversorgung bleibt. Die Systeme wurden implementiert, um während des Gesprächs mitzuschreiben und das Gehörte strukturiert zusammenzufassen. Doch die technologische Umsetzung stößt auf unerwartete Hürden. Dr. Charlotte Blease von der Universität Uppsala hat das Phänomen im Rahmen einer Umfrage unter 1003 britischen Hausärzten wissenschaftlich untersucht. Die Ergebnisse verdeutlichen, dass die Fehleranfälligkeit bei komplexen Gesprächssituationen deutlich steigt. Besonders wenn mehrere Personen gleichzeitig an einem Gespräch teilnehmen, Patienten eine komplizierte Krankengeschichte aufweisen oder die Kommunikation nicht in der Muttersprache Englisch erfolgt, häufen sich die fehlerhaften Transkripte. Trotz dieser Mängel zeigt die Umfrage auch eine ambivalente Haltung der Ärzteschaft: Über die Hälfte der befragten Mediziner bewertete die KI-Notizen als genauer im Vergleich zu ihrer eigenen, manuellen Dokumentation.
Die Beteiligten im Prozess
An der Debatte sind verschiedene Akteure beteiligt. Auf der Seite der Patientenvertretung agiert Healthwatch England, die die Problematik öffentlich gemacht haben. Wissenschaftlich begleitet wird das Thema durch Dr. Charlotte Blease von der Universität Uppsala, deren Umfrage unter 1003 britischen Hausärzten als Grundlage für die aktuelle Einschätzung dient. Auf technologischer Seite stehen Anbieter wie Doctolib, die solche Systeme für Praxen bereitstellen, sowie Microsoft mit dem Produkt „Dragon Copilot“. In Deutschland ist die Berliner Charité als Institution involviert, die im Mai 2025 eine sechsmonatige Testphase mit Microsofts Lösung startete. Auch die britische Zeitung The Guardian fungiert als wichtiges Sprachrohr, das die Berichte der Patienten und die Studienergebnisse publik gemacht hat. Die Ärzteschaft selbst ist gespalten: Während ein Teil der Mediziner die KI als präziser als die eigene Dokumentation wahrnimmt, berichten 32 Prozent der Nutzer von häufigen Fehlern und 14 Prozent sogar von Fehlern mit schwerwiegenden medizinischen Folgen.
Einordnung der Situation
Einzuordnen ist die aktuelle Situation als ein Spannungsfeld zwischen dem Wunsch nach technologischer Effizienz und der notwendigen medizinischen Präzision. Den Berichten zufolge ist die KI-Dokumentation derzeit noch nicht fehlerfrei genug, um eine manuelle Kontrolle durch den Arzt vollständig zu ersetzen. Dass Patienten Fehler in ihren eigenen Unterlagen entdecken, deutet auf eine kritische Lücke in der Qualitätssicherung hin. Es ist jedoch zu beachten, dass auch menschliche Ärzte bei der Dokumentation Fehler begehen. Die Studie von Dr. Blease liefert hierzu keine eindeutige Antwort darauf, ob die KI tatsächlich schlechter abschneidet als der Mensch, doch die Art der Fehler – etwa bei der Diagnose oder Medikation – ist aufgrund der potenziellen gesundheitlichen Folgen besonders kritisch. Die Debatte wird zudem durch Pläne von Unternehmen wie Doctolib angeheizt, in Frankreich KI-Modelle mit Gesundheitsdaten zu trainieren, wobei hier ein Opt-out-Verfahren statt einer expliziten Einwilligung vorgesehen ist. Ob ein solches Modell auf Deutschland übertragbar ist, bleibt ein hochgradig umstrittener Punkt in der gesundheitspolitischen Diskussion.
Offene Fragen und Lücken
Der vorliegende Sachverhalt lässt einige wesentliche Fragen unbeantwortet. Zunächst bleibt unklar, wie hoch die tatsächliche Fehlerquote im Vergleich zur manuellen Dokumentation durch Ärzte ist, da die Studie von Dr. Blease hierzu keine vergleichenden Daten liefert. Es ist nicht bekannt, welche spezifischen Sicherheitsmechanismen die Hersteller wie Microsoft oder Doctolib implementieren, um die beschriebenen Verwechslungen bei Medikamenten oder Diagnosen künftig zu verhindern. Ebenso offen ist die Frage nach der rechtlichen Haftung: Wer trägt die Verantwortung, wenn ein durch die KI falsch dokumentierter Arztbrief zu einem gesundheitlichen Schaden beim Patienten führt? Auch die Frage, wie Patienten effektiv sicherstellen können, dass ihre KI-erstellten Unterlagen korrekt sind, ohne selbst medizinische Experten sein zu müssen, bleibt unbeantwortet. Zudem ist nicht geklärt, wie die geplanten Trainingsmodelle mit Gesundheitsdaten in Frankreich konkret gestaltet werden und welche Auswirkungen eine mögliche Übertragung dieser Praxis auf das deutsche Gesundheitssystem und den dortigen Datenschutz hätte.
Wie es weitergeht
Die Entwicklung im Bereich der KI-gestützten Arztdokumentation bleibt dynamisch. In Deutschland läuft an der Charité in Berlin noch bis in den Herbst 2025 hinein die sechsmonatige Testphase mit dem System „Dragon Copilot“ von Microsoft. Die Ergebnisse dieses Feldversuchs dürften maßgeblich beeinflussen, wie die Akzeptanz und der Einsatz solcher Systeme an deutschen Kliniken weiter vorangetrieben werden. Gleichzeitig steht die Debatte um den Umgang mit sensiblen Gesundheitsdaten im Fokus, insbesondere im Hinblick auf die Pläne von Doctolib, KI-Modelle in Frankreich mit Patientendaten zu trainieren. Hier ist mit weiteren Auseinandersetzungen über die Zulässigkeit von Opt-out-Verfahren im Vergleich zu einer aktiven Einwilligung zu rechnen. Die Patientenvertretungen werden voraussichtlich weiterhin ein wachsames Auge auf die Fehlerhäufigkeit haben, während die Hersteller unter Druck stehen, die Zuverlässigkeit ihrer Sprachverarbeitungsmodelle signifikant zu verbessern, um das Vertrauen von Ärzten und Patienten langfristig zu sichern.