Un equipo internacional de investigación del Instituto Max Planck de Investigación Educativa y la Toulouse School of Economics advierte sobre los riesgos del uso de la IA en la concesión de prestaciones sociales. El estudio, publicado en Nature Communications, muestra que los afectados, como desempleados o personas necesitadas, desconfían de las decisiones automatizadas, ya que pueden reforzar prejuicios y los errores pueden tener consecuencias graves. Para lograr la aceptación, se deben tener en cuenta las perspectivas de los grupos vulnerables en el desarrollo de tales sistemas.
El caso del programa de IA Smart Check en Ámsterdam ilustra los problemas: el sistema comprobaba las solicitudes de ayudas sociales en busca de fraude analizando datos de direcciones, ingresos y familias para calcular valores de riesgo. Los valores altos remitían las solicitudes a los trabajadores sociales, pero afectaban desproporcionadamente a migrantes, mujeres o padres. Las críticas de asociaciones y juristas llevaron a la suspensión del programa; una evaluación confirmó deficiencias como la falta de transparencia y de posibilidades de recurso.
En tres encuestas con más de 3.200 participantes de EE. UU. y el Reino Unido, los investigadores analizaron las actitudes hacia la IA en las prestaciones sociales. Los participantes eligieron entre decisiones humanas lentas y opciones de IA más rápidas con una mayor tasa de error en las denegaciones. Mientras que muchos ciudadanos aceptan pequeñas imprecisiones por la velocidad, los beneficiarios rechazan la IA de forma más contundente incluso con un 5 a 30 por ciento de riesgo de decisiones erróneas.
Los no beneficiarios sobreestiman sistemáticamente la confianza de los afectados en la IA, incluso con incentivos económicos para valoraciones realistas. Los grupos vulnerables entienden la opinión mayoritaria mejor que al revés. Se tuvieron en cuenta factores demográficos como la edad, el sexo y los ingresos; la muestra estadounidense era representativa, la británica estaba equilibrada entre los perceptores de Universal Credit y otros.
Un derecho de recurso hipotético solo aumenta ligeramente la confianza y no cambia el rechazo por parte de los beneficiarios. La aceptación depende de la confianza en las instituciones: cuanto mayor es la resistencia a la IA, menor es la confianza en el gobierno. En el Reino Unido, muchos prefieren la tramitación humana, incluso con la misma eficiencia.
El estudio hace un llamamiento al desarrollo participativo de la IA, que involucre a los afectados en lugar de priorizar únicamente la eficiencia. De lo contrario, se corre el riesgo de tomar decisiones erróneas y de una disminución de la confianza en la administración y la tecnología. Una colaboración en curso con Statistics Denmark está recopilando ahora datos de grupos vulnerables daneses.
De un vistazo:
- Encuestas: Más de 3.200 participantes sobre IA en prestaciones sociales en EE. UU. y Reino Unido.
- Diferencias: Los beneficiarios son más escépticos que los no beneficiarios; estos últimos sobreestiman la confianza a pesar de los incentivos.
- Medidas: El derecho de oposición tiene un efecto limitado.
- Recomendación: Procesos participativos para sistemas de IA, para evitar la pérdida de confianza.
Artículo original:
Preferencias heterogéneas y conocimientos asimétricos sobre el uso de la IA entre solicitantes de ayudas y no solicitantes | Nature Communications
Los comentarios están cerrados.