图片源于：https://www.amnesty.org/en/latest/news/2024/10/france-discriminatory-algorithm-used-by-the-social-security-agency-must-be-stopped/
大赦国际今天表示，法国当局必须立即停止法国社会保障机构国家家庭津贴基金（CNAF）使用的歧视性风险评分算法，该算法用于检测福利支付的多支付和错误。
10月15日，大赦国际与包括数字权利组织La Quadrature du Net（LQDN）在内的十四个合作伙伴向法国最高行政法院——国务会议提交了一项投诉，要求停止CNAF使用的风险评分算法系统。
大赦国际秘书长阿涅斯·卡拉马德（Agnès Callamard）表示：“从一开始，CNAF使用的风险评分系统就是对边缘化个体（如残障人士、主要是女性的单亲家庭、以及生活在贫困中的人群）持有怀疑态度。这一系统与人权标准直接相悖，违反了平等和非歧视的权利以及隐私权。”
在2023年，La Quadrature du Net（LQDN）获得了该算法源代码的多个版本，从而揭示了该系统的歧视性本质。
自2010年以来，CNAF一直使用风险评分算法来识别可能在领取福利时犯有欺诈行为的人，尤其是多支付的现象。该算法为所有领取家庭和住房福利的受益人分配一个介于零到一之间的风险分数。分数越接近一，表明被标记为调查的可能性就越高。
法国有3200万人生活在领取CNAF福利的家庭中。他们的敏感个人数据以及其家庭的信息定期被处理，并被分配了一个风险分数。
提高风险分数的标准包括歧视弱势家庭的参数，例如低收入、失业、生活在贫困社区中、将大量收入用于租金以及在残疾的情况下工作等。因风险分数较高而被标记的个人详细信息被编成名单，进一步由反欺诈调查员进行调查。
阿涅斯·卡拉马德（Agnès Callamard）还表示：“虽然当局吹捧算法技术在社会保护系统中的推广为提高效率和检测欺诈与错误的一种方式，但在实践中，这些系统却将人们生活的复杂现实扁平化。它们充当了广泛的数据挖掘工具，给边缘化群体带来了污名，并侵犯了他们的隐私。”
大赦国际并未调查因CNAF系统而被标记的特定案例。然而，我们在荷兰和塞尔维亚的调查显示，公共部门使用人工智能驱动的系统和自动化技术使大众监控得以实现：收集的数据量的确超过了系统所声称的目标。此外，大赦国际还揭示，许多这些系统在执行它们所声称的目的（如识别福利或错误）方面相当低效。
尽管当局宣称在社会保障系统中推广算法技术以提升效率和检测欺诈，但实际上，这些系统扁平化了人们的生活现实。它们作为广泛的数据挖掘工具，给边缘化群体带来了污名，侵入了他们的隐私。
发言人指出，福利系统中错误或欺诈规模的夸大已被用于为此类技术系统的发展提供合理依据，导致特定群体（尤其是移民和难民）面临歧视、种族主义或性别歧视的针对。
在过去的一年里，法国在国际上积极宣传自己成为人工智能（AI）技术的新中心，并在2025年2月举行了一次峰会。与此同时，法国还在法律上合法化了大规模监控技术，并持续破坏欧盟的人工智能法案谈判。
阿涅斯·卡拉马德（Agnès Callamard）表示：“法国依靠一个风险评分算法系统来评估社会福利，这一系统突显、维持并巩固了官僚制度的偏见和歧视。相反，法国应确保首先遵守其人权义务，尤其是非歧视权利。政府必须在致力于成为全球人工智能中心的同时，解决当前和存在的与人工智能相关的危害。”
根据新通过的欧洲人工智能法规（AI Act），用于确定获取基本公共服务和福利的AI系统被认为对人的权利、健康和安全构成高风险。因此，这些系统必须符合严格的技术、透明度和治理规则，包括对部署者进行人权风险评估和确保缓解措施的义务。
与此同时，某些系统，例如用于社会评分的系统，被认为存在不可接受的风险水平，因此必须被禁止。
阿涅斯·卡拉马德（Agnès Callamard）表示：“不幸的是，欧盟立法者在AI法案中对社会评分的明确定义模糊不清。欧洲委员会必须确保其即将发布的指南对此类社会评分禁令提供清晰和可执行的解释，特别是如何适用于歧视性的欺诈检测和风险评分系统。”
目前，还不清楚CNAF使用的系统是否符合社会评分系统的标准，因为AI法案中有关此类系统的定义过于模糊。
阿涅斯·卡拉马德（Agnès Callamard）最后指出：“不幸的是，欧盟立法者在AI法案中对社会评分的明确定义模糊不清。欧洲委员会必须确保其即将发布的指南对此类社会评分禁令提供清晰和可执行的解释，特别是如何适用于歧视性的欺诈检测和风险评分系统。无论如何，所有证据表明CNAF使用的系统都是歧视性的。务必要求当局停止使用该系统，并审查固有的有害偏见，特别是针对寻求社会福利的边缘化社区。”
背景
欧洲委员会将在AI法案生效之前发布有关如何解释禁令的指导，说明哪些系统将被视为社会评分系统。2024年8月，AI法案生效。大赦国际已经作为一个由欧洲数字权利网络（EDRi）领导的公民社会联盟的一部分，呼吁保护和促进人权的欧盟人工智能法规。2024年3月，放大舍国际发布的书面简报指出，包括人工智能、自动化和算法决策等数字技术正在恶化全球社会保障系统中的不平等现象。
