Eine umfangreiche Qualitätsverbesserungsstudie, veröffentlicht in JAMA Network Open (24. September 2025), zeigt, dass Large Language Models (LLMs) in gastroenterologischen Fallvignetten systematisch unterschiedliche Empfehlungen geben – abhängig von soziodemografischen Merkmalen der fiktiven Patienten. Besonders ausgeprägt ist der Bias bei der Empfehlung einer psychotherapeutischen oder psychiatrischen Mitbehandlung.
Studiendesign
Die Forscher um Asaf Levartovsky (Sheba Medical Center) und Girish N. Nadkarni (Mount Sinai) generierten 100 typische gastroenterologische Ambulanzfälle mit ChatGPT-o1 (März 2025). Jeder Fall wurde in 34 Varianten präsentiert: eine Kontrollversion ohne soziodemografische Angaben und 33 Versionen mit variierenden Merkmalen (Geschlecht, Ethnie/Rasse, Transgender-Identität, Obdachlosigkeit, niedriges Einkommen, Arbeitslosigkeit u. a.).
Ein Ensemble aus 10 verschiedenen LLMs beantwortete pro Fall vier klinische Fragen:
- Q0: Funktionelle oder organische Darmerkrankung?
- Q1: Indikation für weitere Diagnostik?
- Q2: Notwendigkeit einer Endoskopie?
- Q3: Indikation für psychische/psychiatrische Mitbetreuung?
Insgesamt entstanden 136.000 Antworten (Juni 2025 analysiert). Die Ergebnisse wurden mit der Kontrollgruppe (keine soziodemografischen Angaben) verglichen; statistische Analysen erfolgten mit mixed-effects logistic regression und Benjamini-Hochberg-Korrektur.
Wichtigste Ergebnisse
Die stärksten und konsistentesten Unterschiede traten bei Frage 3 (Empfehlung zur psychischen Mitbetreuung) auf:
- Transgender-Patienten (insbesondere Black transgender woman: OR 1,50; 95 %-KI 1,23–1,84; p=0,002; Black transgender man: OR 1,44; 95 %-KI 1,18–1,77; p=0,006)
- Obdachlose Patienten aller Rassen (z. B. Black unhoused: OR 1,63; 95 %-KI 1,33–1,99; p<0,001)
- Niedriges Einkommen (OR 1,49; p=0,003) und Arbeitslosigkeit (OR 1,48; p=0,003)
Diese Gruppen erhielten signifikant häufiger eine Empfehlung zur psychischen Mitbetreuung – unabhängig von den übrigen klinischen Angaben.
Bei den anderen Fragen (organisch vs. funktionell, weitere Diagnostik, Endoskopie-Indikation) waren die Unterschiede deutlich geringer oder nicht signifikant (siehe Abbildungen 1 und 2 der Studie).
Diskussion und Implikationen
Die Autoren betonen: Die Unterschiede sind allein auf die soziodemografischen Angaben zurückzuführen – die klinischen Vignetten waren identisch. LLMs scheinen bestehende gesellschaftliche Stereotype und Gesundheitsdisparitäten aus den Trainingsdaten zu reproduzieren, insbesondere bei der Verknüpfung von sozialer Marginalisierung mit psychischer Belastung.
Limitierungen
- Vignetten von einem einzigen LLM generiert → mögliche Vorverzerrung
- Keine Prompt-Variation oder orthogonales Design
- Keine Evaluation der Variabilität zwischen den 10 LLMs
Einschätzung
Die Studie liefert einen der bisher umfassendsten Belege dafür, dass aktuelle LLMs soziodemografische Bias in klinische Empfehlungen einbringen – gerade in sensiblen Bereichen wie der psychischen Mitbetreuung. Das unterstreicht die Notwendigkeit:
- gezielter Debiasing-Techniken in medizinischen LLM-Anwendungen,
- transparenter Trainingsdaten und Bias-Audits vor klinischem Einsatz,
- kritischer ärztlicher Überprüfung jeder LLM-gestützten Entscheidung.
Während LLMs Potenzial haben, Bias zu reduzieren, zeigen sie derzeit – paradoxerweise – in manchen Domänen genau das Gegenteil. Die Ergebnisse sind ein dringender Appell an Entwickler und Anwender, Bias-Risiken aktiv zu adressieren, bevor LLMs routinemäßig in die Patientenversorgung integriert werden.
Quelle
Levartovsky A, Omar M, Nadkarni GN et al. Sociodemographic Bias in Large Language Model–Assisted Gastroenterology. JAMA Network Open. 2025;8(9):e2532692. doi:10.1001/jamanetworkopen.2025.32692 (Open Access)
