Uma equipa internacional de investigação do Instituto Max Planck para o Desenvolvimento Humano e da Toulouse School of Economics alerta para os riscos da utilização da IA na concessão de prestações sociais. O estudo, publicado na Nature Communications, revela que os afetados, como desempregados ou necessitados, desconfiam de decisões automatizadas, pois estas podem reforçar preconceitos e levar a consequências graves em caso de erro. Para criar aceitação, é necessário considerar as perspetivas dos grupos vulneráveis no desenvolvimento de tais sistemas.
O caso do programa de IA Smart Check em Amesterdão ilustra os problemas: o sistema analisava pedidos de subsídio social para detetar fraudes, analisando dados sobre moradas, rendimentos e famílias para calcular índices de risco. Valores elevados encaminhavam os pedidos para assistentes sociais, mas afetavam desproporcionalmente migrantes, mulheres ou pais. Críticas de associações e juristas levaram à suspensão do programa; uma avaliação confirmou falhas como a falta de rastreabilidade e de possibilidades de recurso.
Em três inquéritos com mais de 3.200 participantes dos EUA e do Reino Unido, os investigadores analisaram as atitudes em relação à IA nas prestações sociais. Os participantes escolheram entre decisões humanas lentas e opções de IA mais rápidas com uma maior taxa de erro nas recusas. Embora muitos cidadãos aceitem pequenas imprecisões em troca de rapidez, os beneficiários rejeitam mais a IA – mesmo com 5 a 30 por cento de risco de decisões erradas.
Os não-beneficiários sobrestimam sistematicamente a confiança dos afetados na IA, mesmo com incentivos financeiros para avaliações realistas. Os grupos vulneráveis compreendem a opinião da maioria melhor do que o contrário. Fatores demográficos como idade, género e rendimento foram considerados; a amostra dos EUA era representativa, a do Reino Unido equilibrada entre beneficiários do Universal Credit e outros.
Um direito de recurso hipotético aumenta ligeiramente a confiança e não altera a rejeição por parte dos beneficiários. A aceitação depende da confiança nas instituições: quanto maior a resistência à IA, menor a confiança no governo. No Reino Unido, muitos preferem o processamento humano, mesmo com a mesma eficiência.
O estudo apela a um desenvolvimento participativo da IA, que envolva os afetados, em vez de priorizar apenas a eficiência. Caso contrário, arriscam-se decisões erradas e uma diminuição da confiança na administração e na tecnologia. Uma colaboração em curso com a Statistics Denmark está agora a recolher dados sobre grupos vulneráveis dinamarqueses.
Em resumo:
- Inquéritos: Mais de 3.200 participantes sobre IA nas prestações sociais nos EUA e no Reino Unido.
- Diferenças: Beneficiários mais céticos do que não-beneficiários; estes últimos sobrestimam a confiança apesar dos incentivos.
- Medidas: O direito de oposição tem um efeito limitado.
- Recomendação: Processos participativos para sistemas de IA, a fim de evitar a perda de confiança.
Os comentários estão fechados.