Skeptizismus gegenüber KI in der Sozialverwaltung: Studie fordert Einbeziehung vulnerabler Gruppen
Ein internationales Forschungsteam des Max-Planck-Instituts für Bildungsforschung und der Toulouse School of Economics warnt vor den Risiken des KI-Einsatzes bei der Bewilligung von Sozialleistungen. Die in Nature Communications veröffentlichte Studie zeigt, dass Betroffene wie Arbeitslose oder Bedürftige automatisierten Entscheidungen misstrauen, da sie Vorurteile verstärken und Fehler zu harten Konsequenzen führen können. Um Akzeptanz zu schaffen, müssen Perspektiven vulnerabler Gruppen in der Entwicklung solcher Systeme berücksichtigt werden. Der Fall des KI-Programms Smart Check in Amsterdam illustriert die Probleme: Das System prüfte Sozialhilfe-Anträge auf Betrug, indem es Daten zu Adressen, Einkommen und Familien analysierte, um Risikowerte zu berechnen. Hohe Werte leiteten Anträge an Sachbearbeiter weiter, trafen jedoch unverhältnismäßig oft Migranten, Frauen oder Eltern. Kritik von Verbänden und Juristen führte zur Aussetzung des Programms; eine Evaluation bestätigte Mängel wie fehlende Nachvollziehbarkeit und Widerspruchsmöglichkeiten. In drei Umfragen mit über 3.200 Teilnehmern aus den USA…
