一个由马克斯·普朗克教育研究所和图卢兹经济学院组成的国际研究团队警告说，在批准社会福利时使用人工智能存在风险。发表在《自然·通讯》上的一项研究表明，失业者或有需要者等受影响人群不信任自动化决策，因为自动化决策会加剧偏见，而且错误可能导致严重后果。为了获得接受，必须在开发此类系统中考虑弱势群体的观点。
阿姆斯特丹的人工智能项目“智能检查”的案例说明了存在的问题：该系统通过分析地址、收入和家庭数据来计算风险值，以检查社会福利申请是否存在欺诈。高风险值会将申请转交给案件处理人员，但却不成比例地影响到移民、女性或父母。来自协会和律师的批评导致该项目被暂停；一项评估证实了缺乏可追溯性和申诉机会等缺陷。
在对美国和英国的 3,200 多名参与者进行的三项调查中，研究人员调查了他们对人工智能在社会福利方面的态度。参与者在缓慢的人工决策和人工智能选项之间进行选择，后者在拒绝方面的错误率更高。虽然许多公民为了速度可以接受一些小的不准确之处，但福利接受者更强烈地拒绝人工智能——即使在 5% 到 30% 的错误决策风险下。
非受益者系统性地高估了受影响者对人工智能的信任，即使有经济激励措施来进行现实评估。弱势群体比其他人更能理解多数人的意见。年龄、性别和收入等人口统计因素被考虑在内；美国的样本具有代表性，英国的样本在通用信用受益者和其他人之间取得了平衡。
假设的申诉权仅略微增加了信任度，并未改变受益者的拒绝态度。接受度取决于对机构的信任度：对人工智能的抵制越强，对政府的信任度就越低。在英国，许多人倾向于人工处理，即使在效率相同的情况下也是如此。
该研究呼吁进行包容受影响者的参与式人工智能开发，而不是仅仅优先考虑效率。否则，将面临错误的决策以及对行政管理和技术的信任度下降的风险。目前与丹麦统计局的合作正在统计丹麦的弱势群体。
一览：
- 调查： 3,200 多名参与者就美国和英国的人工智能在社会福利方面的应用情况进行了调查。
- 差异： 受益者比非受益者更持怀疑态度；后者尽管有激励措施，但仍高估了信任度。
- 措施：反对权的作用有限。
- 建议：人工智能系统的参与式流程，以避免信任丧失。
原文：
社会福利申领者和非申领者在人工智能使用方面的异质偏好和不对称见解 | Nature Communications
评论已关闭。