扫描二维码 关注我们
法庭中的人工智能偏见
一、人工智能在刑事司法中的作用
司法系统目前正在经历一场由技术推动的变革，这种演变体现在三个关键方面。首先，技术作为一种支持系统，为司法系统中的人员提供信息、协助和指导。其次，技术可以取代传统上由人类执行的任务。最后，在更高级的层面上，技术可能会彻底改变法官的运作方式，通过颠覆性技术带来不同形式的正义。后两种方式引发了人们的担忧，因为技术对法官的角色和功能，特别是他们的裁决职责产生了影响。
当前，人工智能在执法和司法领域多有应用。它能识别文本模式、整理数据，在复杂案件中优势明显，部分法院认可其比手动文档研究更高效准确。执法中，面部识别技术可预防犯罪、定位通缉人员。
人工智能还能处理数据撰写司法判决，生成逻辑文本。律所和法院系统数字化产生大量数据，利于训练司法用人工智能模型，帮助工作人员整理、搜索和总结法律文本。
预测分析是人工智能在法律程序中的一项重要功能，因为一些人工智能声称能够预测法院判决。这种能力通常被称为“预测性司法”，指使用机器学习算法，通过参考判例法先例对特定法律纠纷进行概率分析。“预测”这个词更能准确描述这些算法，因为它们不是既定事实，法庭诉讼本身就具有不可预测性。
二、刑事司法中的风险评估和预测
风险评估工具历经变革，从第一代基于决策者经验的工具，发展到第二代依赖静态风险因素的工具，再到第三代兼顾静态和动态因素进行风险与需求评估，如今第四代能提供个性化方案，第五代也即将探索融入机器学习技术，旨在实时预测再犯，采用更复杂分析方法，更深入地理解其中涉及的复杂性。
通过统计分析预测犯罪再犯的研究已近百年，涉及刑事司法、心理学和法学等多个领域。精算风险评估模型经广泛研究产生，在各司法辖区广泛应用，协助法官做出保释、量刑和缓刑等决策，降低成本、缩短决策时间，但该系统存在缺陷。
一方面，风险评估基于概率预测再犯可能性，无法精准预测个人行为。另一方面，存在偏见问题。刑事司法中的人类偏见长期以来一直令人担忧。尽管许多人认为人工智能可以减少偏见，但实际情况并非如此简单。
三、司法系统中人类决策者的偏见
增加自动化决策、从自由裁量转向明确标准看似能提升效率，还能简化和明确法律，但却引发公平性和任意性担忧。因为这可能减少个性化司法和自由裁量权，降低法律灵活性，导致不公平或任意决策。实际上，法官并非完全理性决策，理性决策模型无法解释全部决策过程，忽略了影响案件结果的非教义性因素，所以自由裁量权在司法决策中不可或缺。而基于逻辑原则运行的计算机程序难以适应自由裁量权，人工智能系统的僵化与自由裁量决策的微妙性存在冲突。
影响人类判断的偏见有两类。“社会偏见”指人们基于他人社会群体本能形成意见或快速判断，比如因口音或种族背景产生偏见。“认知偏见”是思维过程中的系统性倾向，可能致错，人们倾向证实自身信念，忽略矛盾信息。美国一项针对239名联邦和州法官（含100名代表所有巡回法院的联邦地区法官）的实证研究发现，法官对亚裔美国人和犹太社区有负面隐性刻板印象，对白人和基督徒有正面隐性刻板印象。这表明，联邦地区法院法官对犹太裔被告量刑往往比相同情况的基督教徒被告略长。
四、司法系统中人工智能系统的案例
使用人工智能预测犯罪行为的主要困难在于其预测基础。人工智能预测假设犯“相似”罪行个体有足够共性，能用过去再犯率预测未来，但这假设过于简化犯罪因素。人类行为受多种因素影响，且犯罪具有动态多面性，仅靠历史数据预测易导致偏见结果，加剧社会差距。
人工智能发挥作用依赖高质量数据，不准确或不完整数据会导致有法律缺陷的决策。除了数据准确完整，自然语言处理和文本识别很关键，法律信息还应具备机器可处理性，添加清晰定义和结构化术语能提升人工智能能力。
人工智能解释结果的能力也很重要，虽技术上能提供类似人类的解释，但有时人类解释更清晰。此外，过度依赖技术存在风险，人们可能盲目信任自动化决策系统，忽视系统错误。
（一）人工智能偏见
偏见严重阻碍人工智能在法庭的有效应用。刑事司法风险评估算法虽可能提升量刑准确性、减少人为错误，但也可能加深偏见，挑战司法公平原则。诸多案例显示，风险评估存在系统性种族偏见，如黑人囚犯常被误评高风险，黑人被告被误标为潜在暴力再犯者的风险是白人被告的两倍，有再犯史的白人被误归为低风险的频率比黑人高63.2% 。
人工智能在刑事司法系统的应用充满矛盾，虽有提高量刑准确性、减少人为偏见的潜力，但风险评估算法的系统性偏见与之相悖。这种偏见造成的差异，尤其是对不同种族个体在风险等级错误分类上的不公平影响，凸显改革紧迫性。它损害司法公平与完整性，违背司法基本原则。
（二）人工智能偏见的成因
1. 代码偏见
代码偏指计算机系统中持续的系统性不准确，产生不公平结果，源于开发者与种族、性别、民族、社会经济地位或其他因素有关的无意或隐性偏见。开发人员常以自身为模板想象典型用户，与“假定普通用户”不同的个体易受负面影响。此外，在司法领域，法律概念转化为代码增加了复杂性。程序员和IT专业人员缺乏法律背景，却要将在法定推定和自由裁量判断的模糊框架内运作的复杂且多变的法律转化为代码，这进一步导致了代码偏见。另外，由于法律经常修订、案件可能被推翻以及会制定复杂的过渡性条款，这些代码需要不断更新。
2. 数据偏见
人工智能的有效性依赖高质量数据，有缺陷的数据会导致有偏见的结果，这一概念通俗地称为“垃圾进，垃圾出”。“替代性制裁的惩教罪犯管理剖析（Correctional Offender Management Profiling for Alternative Sanctions）”就是例证。它是美国部分州法官用于评估被告再犯风险的工具，影响拘留、量刑或减刑等相关决策。但因依赖历史数据，COMPAS高估非裔美国被告再犯率，低估白人被告。此外，数据集中缺乏代表性也会加剧偏见。机器学习算法受样本大小影响，少数族裔在犯罪数据中占比过高，会使人工智能模型错误预测其再犯率。同时，犯罪数据中男性罪犯占比高，会导致人工智能对女性的量刑建议不准确，影响对女性被告再犯风险预测的准确性。
（三）挑战人工智能偏见
识别和纠正人工智能中的偏见困难重重，原因有训练数据的固有偏见、算法复杂、开发者的隐性偏见或意识不足，还有偏见的动态性、人工智能的不透明性以及资源限制。克服这些挑战，需要跨学科合作、开发团队多元化、标准化的偏见检测和纠正工具，还要兼顾法律和伦理。
1.动态算法
人工智能算法分静态和动态。静态算法确定使用后不再变化，这一特性使制造商能够了解算法，在面临正当程序诉求时，有可能对其进行分析。虽然制造商可能会以商业秘密为由限制访问，但这只是法律层面的障碍，并非技术难题。动态算法依据新数据快速演进，如量刑前风险评估系统会持续监测全国新闻报道和逮捕记录调整算法。但这导致即便是系统制造商，也无法获取动态算法的确切状态。在计算出分数数周或数月后，当有人要求获取相关信息时，算法用于计算该分数的信息可能已不复存在。
2.缺乏透明度和可解释性
预测性人工智能的偏见问题因信息缺失而更严重，“法律黑箱”和“技术黑箱”凸显了算法难以理解、信息不透明和不可解释的问题。法律黑箱受合同保护，关键信息被保密，其偏见和歧视行为难发现和纠正，很多重要算法作为商业秘密更阻碍公众讨论，也让用户无法了解系统有效性指标，所以应制裁不披露信息的开发者。技术黑箱的算法过程不透明或难以理解。处理技术黑箱问题更为复杂，因为法律合规并不取决于人的意愿。包括开发者在内的整个社会，都不清楚这些人工智能系统是如何得出结果的。白箱模型（即可解释模型）能让开发者和用户通过识别模式、检测歧视性倾向，来审视决策过程。相反，缺乏可解释性会造成黑箱局面，使偏见难以被察觉，进而无法得到解决。解释结果对于维护民主权利和法律框架至关重要，而缺乏透明度在司法决策中问题尤为严重。
3.奖励机制不完善
奖励学习是机器学习关联行动、状态与奖励的过程，是强化学习的基础，用于指导人工智能判断行动利弊。例如，在生成式人工智能中，这些信号衡量系统实现预定义目标的有效性。它们为每个生成的输出赋予一个奖励分数，分数越高表明与预期目标的契合度越高。
奖励学习是机器学习将特定行动或状态与奖励联系起来的过程。奖励学习是强化学习的基础，强化学习是一种机器学习类型，其中智能体通过与环境交互来学习决策，以最大化累积奖励。奖励作为一种指标，指导人工智能智能体在特定情境下判断哪些行动有利、哪些不利。然而，正是这种奖励学习机制也可能成为偏见的来源。奖励学习和强化学习在当代人工智能系统中都起着关键作用，因为人工智能通过它们学习正确的行为。在人工智能系统的学习过程中，奖励函数实际上衡量了其行动和决策所获得的正面或负面强化程度，这与人类心理学中的术语类似。随后，学习算法会调整人工智能的参数和行为，以最大化总体奖励。因此，塑造人工智能行为通常归结为设计具有激励性的奖励函数。
不过，行为主义学习方法可能会被操纵。当为人工智能系统设定的奖励系统不完善时，可能会导致意外的副作用或行为，通常称为“奖励破解”。如果奖励系统未能准确反映设计者的真实目标、价值观或意图，人工智能可能会利用漏洞或寻找捷径来获取高分，但这些高分与预期结果并不相符
五、减轻人工智能偏见
有一些缓解技术可用于克服偏见，从而有助于创建可靠的人工智能。
（一）多样化数据集训练。用反映多样人群的数据集训练人工智能十分关键，单一数据集易致模型产生群体偏见，使结果失衡。
（二）平衡不同群体的代表性。对数据集中的少数群体进行过采样，可以帮助实现更均衡的分布，模型在预测时就不太可能因群体刻板印象和偏见而产生偏差。
（三）排除敏感变量。例如，在刑事司法系统的保释或审前风险评估听证中使用预测性人工智能时，其目标是评估被告在审判前获得保释后犯罪或不出庭的风险，不应纳入种族、性别或社会经济地位等变量，而应专注于与被告再犯风险或不出庭风险直接相关的因素。非敏感变量可能包括过去的犯罪记录、就业状况、社区参与度或以前的保释违规情况。然而，挑战在于其中一些因素可能也属于敏感变量范畴。例如，被告居住的特定社区可能与他们的特定种族或宗教群体密切相关。
（四）纳入人工监督。人类参与人工智能系统设计、部署和监测，有助于识别和纠正偏见。持续测试、便于调整的系统设计、持续审计都很重要，相关人员需了解人工智能功能和道德准则，机构和法院程序中要实施道德原则。同时，人工智能审计要求保留风险评估信息，记录事件，以应对正当程序挑战，算法的易变性决定了记录其状态确保可审计性的重要性。
（五）评估模型在不同自群体中的表现。在法院保释决策场景中，人工智能按人口统计群体分类数据，比较不同子群体结果，如对比不同种族被告的再犯率和不出庭率，可发现潜在偏见，还能通过统计报告展示评估表现和考虑变量。
六、《人工智能法案》规定的法律制度
2012年，《人工智能法案》（“AIA”）出台，旨在应对人工智能应用可能带来的风险，尤其是那些影响欧洲民众健康、安全和基本权利的风险。这一立法举措建立了一个创新的监管框架，适用于欧盟所有27个成员国，成为全球首部全面的人工智能法规。
（一）执法场景中预测性人工智能的分类
欧盟委员会最初提案将用于执法或司法行政的人工智能系统，在《人工智能法案》中归类为高风险系统，被认为会对自然人权益构成重大伤害风险，该分类在欧盟理事会审批时保留。但欧洲议会批准版本扩大了禁止的人工智能类别，涵盖评估个人或群体风险、预测犯罪或再犯可能性的系统，包括通过画像预测潜在违法的系统。
截至2024年3月13日，《人工智能法案》第5条延续相关禁令，“投放市场、为特定目的投入使用或使用人工智能系统对自然人进行风险评估，以评估或预测自然人犯罪的可能性，且仅基于对自然人的画像或评估其个性特征和特点；但本禁令不适用于用于支持基于与犯罪活动直接相关的客观可验证事实，对个人参与犯罪活动进行人工评估的人工智能系统。”
预测性人工智能系统若属禁令例外情况，则被归为高风险人工智能系统。《人工智能法案》附件三列出了高风险人工智能系统清单，符合清单且未明确无重大伤害风险的系统即属此类。高风险人工智能系统有诸多要求，如使用优质数据集训练、有人工监督、保存记录、提供信息等，不同利益相关者需遵守相应法规并使用CE合规标志表明合规。
（二）《人工智能法案》中的偏见缓解措施
《人工智能法案》规定，高风险人工智能系统部署前要进行合规性评估，以确保符合偏见缓解标准，只有有效处理潜在偏见的系统才能进入市场，这旨在推动人工智能的道德使用，重点减少偏见。
具体要求包括：严格的数据治理，使用高质量无偏见数据，从源头降低算法编入偏见的风险；建立风险管理系统，早期识别和缓解潜在偏见。同时，要求详细技术文档和记录保存，增强透明度与问责制，利于识别和纠正偏见。人工监督也是关键部分，由能进行情境理解和道德判断的人员监测评估，结合其他技术，发现并纠正偏见。此外，该法案注重系统的准确性、稳健性和网络安全，防范外部操纵引入或放大偏见。还强调系统操作的透明度、可追溯性和可解释性，保障利益相关者理解决策过程，便于识别和纠正偏见，支持可重复性和理解，使整个决策过程可审查，他人能模拟重现并评估准确性。
七、结语
在刑事司法场景中，用于风险评估和再犯预测的人工智能预测模型，其偏见是无法消除的。问题的关键并非预测行为本身，而是人工智能预测所依赖的底层过程。这些过程将过去视为预测未来的依据，和人类决策一样存在相同类型的偏见。由于用于预测的历史数据受人类偏见影响，有偏见的预测结果难以避免。鉴于人工智能决策在很大程度上依赖人类决策，人工智能预测同样会带有偏见，这是合理的推断。
人工智能对人的影响令人担忧。它影响的范围更广、速度更快，无论是积极还是消极方面，这种影响力都不容小觑。过去是单个个体受有偏见的人类决策影响，如今成千上万的人可能受人工智能影响，而人工智能并不会像人类一样产生悔意或承担后果。不过，问题根源不在人工智能本身，而在于其依赖有偏见数据的预测方法。
从深层次来看，预测的本质存在问题。所有预测都是基于回顾过去对未来进行推测，在种族分层的社会中，任何预测方法都会把过去的不平等延续到未来。长期存在于刑事司法中的主观预测是这样，如今的算法工具也是如此。
参考文献：
Raposo, Vera Lucia, "The Digital To Kill a Mockingbird: Artificial Intelligence Biases in Courts." California Western International Law Journal, vol. 54, no. 2, Spring 2024, pp. 459-488.
内容 | 陈叶媛
审校 | 吴 昊
排版 | 姚哲瀚
