GPT‑5 Halluzinationen: Warum KI in kritischen Klinikfällen versagt

Der jüngste X‑Thread von Rohan Paul verweist auf eine Nature‑Publikation und brachte die Formulierung in Umlauf, GPT‑5 zeige in mehr als der Hälfte komplexer klinischer Aufgaben problematische Antworten. Die Formulierung hat Gewicht — doch bei der Überprüfung zeigt sich: Die angebliche Zahl stammt aus einer öffentlichen Interpretation, die Primärquelle war bei der Recherche paywalled und konnte nicht uneingeschränkt eingesehen werden. Parallel dazu liegen aber unabhängige Preprints, Pressemitteilungen und Hersteller‑Analysen (2025) vor, die ein ähnliches Muster beschreiben: fluent formulierte, aber fehlerhafte Antworten, die Sicherheitswarnungen aushöhlen können. In diesem Artikel ordnen wir die Aussagen ein, erklären technische Ursachen und beschreiben konkrete Schutzmaßnahmen für den Klinikalltag.

Der Kern der aktuellen Debatte ist einfach: Ein vielbeachteter X‑Post von Rohan Paul verlinkte auf eine Nature‑Studie und fasste die Ergebnisse pointiert zusammen — unter anderem mit der Aussage, GPT‑5 halluziniere in über 50 % komplexer klinischer Fälle. Bei genauerem Blick ist die Lage nuancierter. Die von Paul verlinkte Nature‑DOI war zum Zeitpunkt der Recherche paywalled und konnte nicht vollständig eingesehen werden; das bedeutet: die Formulierung im Tweet ist eine öffentliche Interpretation, nicht zwingend ein wörtliches Zitat der Studie. Parallelberichte und Preprints aus 2025 zeigen jedoch experimentelle Befunde, die in die gleiche Richtung deuten: in kontrollierten Stress‑Vignetten erzeugen große Sprachmodelle häufig falsche, selbstbewusst vorgetragene Aussagen.

Mehrere unabhängige Analysen arbeiteten mit „Stress‑Vignetten“ — das sind künstlich gespickte klinische Fälle, in denen irreführende Details oder erfundene Fachbegriffe eingebettet werden. In solchen Tests schwanken die berichteten Halluzinationsraten je nach Benchmark, Modellversion und Auswertungsregel stark; veröffentlichte Spannen aus 2025 liegen in der Literatur und Pressemitteilungen etwa zwischen 50 % und 80 %. Wichtig: Diese Bandbreite entsteht durch methodische Unterschiede. Manche Studien messen, ob das Modell etwas fälschlich „erfindet“, andere zählen nur klar erfundene Fakten. Vergleichbare Benchmarks fehlen bislang.

“Öffentliche Kommentare und Primärliteratur müssen getrennt betrachtet werden: Ein Tweet fasst, die Studie differenziert.”

Für Leserinnen und Leser: Der Tweet löste eine wichtige Debatte über Risiken aus, aber er ersetzt nicht die Lektüre der Primärquelle. Offen bleibt, wie viel von der genannten Zahl direkt aus der Nature‑Analyse stammt und wie viel Interpretation ist. Unabhängige Preprints und Hersteller‑Analysen stützen jedoch die Kernbeobachtung: Selbst modernere Modelle liefern fluente, aber gelegentlich falsche klinische Antworten.

Es klingt paradox: Ein System, das Texte so sicher formuliert wie ein erfahrener Klinikjournalist, kann trotzdem faktisch falsch liegen. Technisch lassen sich drei miteinander verwobene Gründe benennen. Erstens: Training und Evaluationsziele. Viele Modelle sind darauf optimiert, flüssige, plausible Antworten zu produzieren — nicht unbedingt darauf, Unsicherheit zu kommunizieren oder sich zurückzuhalten. Wird Raten belohnt, neigen Modelle zur Antwort, auch wenn sie die Faktenlage nicht kennen.

Zweitens: Kalibrierung. Die interne “Selbstsicherheit” eines Modells ist oft schlecht mit tatsächlicher Korrektheit korreliert. Ein Modell kann mit hoher Wahrscheinlichkeit ein falsches Detail behaupten — das führt zu dem Phänomen, das Forscher als “confident misinformation” beschreiben. OpenAI und andere haben in technischen Berichten diskutiert, dass diese Diskrepanz zwischen Konfidenz und Wahrheit ein Kernproblem ist.

Drittens: Kontext‑ und Retrieval‑Limitierungen. Ohne Zugriff auf aktuelle, geprüfte Quellen neigen Modelle dazu, plausibel klingende Hypothesen zu generieren. Retrieval‑Augmented Approaches (RAG) können helfen, aber sie sind nur so gut wie die zugrundeliegenden Datenbanken und Suchstrategien: fehlerhafte oder veraltete Quellen führen zu „grounded“ Fehlannahmen.

“Fluency ist kein Ersatz für Verifikation. Modelle imitieren Wissen – sie besitzen es nicht.”

Zu den wissenschaftlichen Lösungsansätzen zählt die Einführung von Unsicherheitsmetriken (semantic entropy detection), bessere Kalibrierung und Bewertungsregeln, die Abstinenz belohnen. Semantic entropy detection beschreibt Verfahren, die interne Unsicherheitsschätzungen des Modells messen und Antworten mit hoher Entropie markieren oder zurückhalten. Solche Mechanismen würden klinische Antworten weniger glatt, aber zuverlässiger machen — ein trade‑off, den Entwickler, Regulierung und medizinische Praxis aushandeln müssen.

Wichtig ist: Diese Diagnose basiert auf einem Mix aus Herstelleranalysen, Preprints und Fachartikeln aus 2025. Keine einzelne Erklärung reicht allein; es ist ein Systemproblem — Trainingsziel, Kalibrierung und Datenzugang spielen zusammen.

Wenn KI‑Assistenten in Kliniken eingesetzt werden, wirken Fehler lokal und global zugleich. Auf Patient:innenebene können falsche Empfehlungen von verschobenen Diagnosen bis zu falschen Medikationshinweisen reichen. Systemisch ergeben sich weitere Probleme: Gesundheitsdienste weltweit übernehmen zunehmend KI‑Tools für Triage, Dokumentation und Entscheidungsunterstützung. Eine hohe Anzahl “confident” Falschmeldungen kann Vertrauen unterminieren — und in Ländern mit knappen Ressourcen die letzten Puffer entfernen.

Aus internationaler Perspektive zeigen US‑amerikanische und europäische Forschungsarbeiten 2025 ähnliche Sorgen, auch wenn die Prioritäten variieren. In den USA betonen Forscher oft schnelle praktische Tests und Hersteller‑Audits; in Europa stehen Regulierung, Nachvollziehbarkeit und Haftungsfragen stärker im Vordergrund. Für beide Regionen gilt: Ohne transparente Benchmarks und unabhängige Evaluation bleibt die Risikoabschätzung unscharf.

Ein weiteres Thema ist Biosecurity. Die gleiche Fähigkeit, plausible Texte zu erzeugen, kann in falsche Hände gelangen. Unkontrollierte Halluzinationen sind weniger relevant für böswillige Akteure als gezielte Fehlinformationen, doch die Verbindung ist nicht trivial: Modelle, die unsicher oder falsch antworten, können Irreführung normalisieren und Fehlinformationen leichter verbreiten. Entsprechende Warnungen tauchen in Policy‑Briefings und Fachartikeln auf: Risikoanalyse muss technische Fehler mit sozio‑politischer Verwundbarkeit verbinden.

Internationaler Konsens ist schwer, aber möglich: gemeinsame Benchmarks, verpflichtende Offenlegung von Evaluationsdaten und standardisierte Audits würden grenzüberschreitende Risiken mindern. Ohne solche Mechanismen droht eine Fragmentierung: Länder, die KI schneller einführen, laufen Gefahr, Fehler schneller in klinische Prozesse zu integrieren — mit ungleich verteilten Konsequenzen.

Die gute Nachricht: Es gibt pragmatische, sofort einsetzbare Schritte, die Kliniken und Entwickler ergreifen können. Retrieval‑Augmented Generation (RAG) koppelt die Textgenerierung an explizite Quellenabfrage. In Tests reduziert RAG die Zahl unbelegter Aussagen, sofern die Quellen gepflegt sind. Ergänzend zeigen Experimente, dass kurze Safety‑Prompts oder „Abstinenz‑Regeln“ Fehler deutlich reduzieren können — wobei Effekte modellabhängig und nicht universell sind.

Auf Evaluationsebene ist ein Paradigmenwechsel nötig: Benchmarks dürfen nicht nur Genauigkeit messen, sondern auch die Bereitschaft zur Abstinenz und die Kalibrierung der Unsicherheit. Semantic entropy detection und Unsicherheitsmetriken können Antworten so klassifizieren, dass kritische Aussagen automatisch zur Verifizierung ausgeleitet werden. Solche Metriken sollten Teil eines standardisierten Prüfprozesses werden, bevor Systeme klinische Empfehlungen ausgeben.

Politisch und organisatorisch sind Audits durch unabhängige medizinische Expert:innen, verpflichtende Offenlegung von Testdaten und klar gekennzeichnete Einsatzbereiche essenziell. Medizinische Systeme müssen Audit‑Logs, Versionierung und Notfallabschaltmechanismen bieten. Hersteller und Kliniken sollten gemeinsame Fehlerreporting‑Kanäle etablieren — nur so entsteht eine lernende Sicherheitskultur.

Schließlich braucht es regulative Mindeststandards: Transparente Benchmarks, verpflichtende Replikationsdaten und klare Haftungsregeln. Nur mit Testprotokollen, die Abstinenz belohnen und fluency‑bias sanktionieren, lässt sich die Lücke zwischen sprachlicher Eleganz und inhaltlicher Verlässlichkeit dauerhaft schließen.

Die Diskussion um GPT‑5 Halluzinationen zeigt zwei Dinge: Erstens ist die Sorge berechtigt — fluide Antworten bedeuten nicht zwangsläufig wahre Antworten. Zweitens fehlt noch die einheitliche Messlatte, die Kliniken und Regulatoren brauchen. Kurzfristig helfen RAG, Safety‑Prompts und Unsicherheitsmetriken; langfristig braucht es Transparenz, unabhängige Audits und angepasste Evaluationsziele. Die zentrale Frage bleibt: Lassen wir fluide Antworten über Leben entscheiden, oder setzen wir konsequente Prüfungen durch?