Große Sprachmodelle (LLMs) liefern bei komplexen klinischen Fragestellungen häufig überzeugend klingende, aber unvollständige, fehlerhafte oder irrelevante Antworten. Das zeigt eine neue peer-reviewte Studie, die in der März-Ausgabe von PLOS Digital Health erschienen ist.
Das Forschungsteam des Soroka University Medical Center in Be’er Sheva (Israel) in Zusammenarbeit mit MedINT verglich führende KI-Modelle mit menschlichen Experten bei der Analyse realer, komplexer klinischer Dilemmata. Während KI bei einfachen Fällen oft korrekt berät, versagt sie bei steigender Komplexität. In einem Beispiel mit einer schwangeren Patientin und einer seltenen Gerinnungsstörung vor einem Kaiserschnitt konnte die KI relevante Literatur nicht korrekt zusammenführen und interpretierte Laborwerte fehlerhaft. Die Antworten wirkten autoritär, bezogen sich aber auf unpassende Quellen oder erfanden Zitate.
Die Untersuchung ergab einen deutlichen Unterschied zwischen wahrgenommener und tatsächlicher Qualität: Die Zufriedenheit der Ärzte mit den KI-Antworten korrelierte nicht mit faktischer Richtigkeit oder klinischer Angemessenheit. Die Autoren betonen, dass Selbstsicherheit der KI kein Indikator für Korrektheit ist. Gerade bei kleinen, aber entscheidenden Details kann ein Fehlgriff die gesamte Empfehlung in die falsche Richtung lenken.
Die Ergebnisse unterstreichen die Notwendigkeit transparenter KI-Systeme mit nachvollziehbaren Quellen und menschlicher Überprüfung. MedINT setzt auf diesen Ansatz: Die Plattform integriert KI mit validierbaren, quellennahen Werkzeugen, die Ärzte in Echtzeit Quellen prüfen und patientenspezifische Faktoren berücksichtigen lassen. Ziel ist es, klinisches Urteilsvermögen zu stärken statt es zu ersetzen.
Die Studie mit dem Titel „Real World Human–LLM Interactions – Prospective Blinded versus Unblinded Expert Physician Assessments of LLM Responses to Complex Medical Dilemmas“ ist in PLOS Digital Health (März 2026) erschienen.
