译文题目：Accountable Artificial Intelligence: Holding Algorithms to Account
译文作者：Madalina Busuioc
译文来源：Public Administration Review
提要：人工智能(AI)算法以微妙但根本的方式控制着我们的生活方式并改变着我们的社会。利用大数据技术的高效、低成本或“中立”解决方案的改革承诺促使公共机构在提供公共服务时采用算法系统。由于人工智能算法已经渗透到我们公共生活的高风险场景——从招聘和教育决策到政府使用执法权力（警务）或限制自由的决定（保释和判刑）——这必然会引发重要的问责问题：人工智能算法系统带来了哪些问责挑战，我们如何在算法决策中保障问责？借鉴明确的公共管理视角，并考虑到迄今为止该领域出现的当前挑战，我们以概念为指导的方式批判性地反思和规划这些系统对公共问责的影响及其局限性。
一、引言许多学者已经指出，美国法院在保释和量刑决定中广泛使用的一种预测累犯率的专有算法存在对黑人被告的偏见；用于文本分析的自然语言处理 (NLP)算法可能会显示出反复出现的性别偏见，例如，将“医生”一词与“父亲”联系起来，将“护士”与“母亲”联系起来；面部识别算法一直被发现对少数族裔的错误率高得多，在警务工作中使用时可能会导致错误逮捕和对已经被边缘化的群体的歧视；用于预测大学考试成绩的大学录取算法最近显示出严重缺陷，对来自贫困家庭的高成就学生产生了不同的负面影响。这些只是私营部门和公共部门使用的人工智能算法系统中越来越多的偏见案例中的几个。虽然基于人工智能(AI)的算法系统无疑与巨大的技术创新相关，并预示着“增强发现过程”，但上述例子强调了监督人工智能算法决策的重要性。随着算法系统在公共部门变得越来越普遍，它们引发了人们对有意义的监督和问责制的重要担忧，以及需要识别和诊断与这些系统相关的问责制缺陷的可能性——首先也是最重要的——在哪里。这正是本文试图解决的主题。我们首先简要讨论人工智能算法及其一个关键子集——机器学习(ML)算法的兴起，以及它们在为公共部门决策提供信息（和改变）方面的普遍性，然后对问责制进行概念性讨论。接下来，我们将应用这一概念框架系统地诊断和分析与人工智能在公共部门决策中的使用相关的不同问责挑战的根源，并为可能的缓解措施提供初步线索。我们按照问责过程的三个阶段进行分析：信息、解释和（可能的）后果。本文从公共管理的角度探讨了这一主题，但借鉴了更广泛的多学科文献，包括相关的计算机科学文献，介绍了对账户持有至关重要的核心方面（特别是人工智能算法的解释和可解释性）的现状，以便充分将我们的讨论置于确保问责制的技术现实和挑战之中。二、人工智能算法的兴起和反补贴检查的必要性
人工智能算法以更微妙但更根本的方式管理着我们的生活方式，并正在改变我们的社会。数据、计算和机器模式识别能力的不断增强带来了巨大的技术进步——依赖于一系列被称为“深度学习”或“神经网络”的方法——这导致人工智能算法在构建技术和人类互动方面无处不在。这项技术存在于一系列日常应用中：从手机上的文本预测器或语音翻译，到Netflix上向我们推荐电影的算法。但它并不局限于这些常见的“低风险”应用。算法还控制着我们的互联网搜索引擎的运行——它们检索并确定搜索信息的优先级，因此最终决定用户可以使用哪些信息——以及社交媒体的运行。高频交易算法运行着我们的电子市场；算法为自动化的个人信用决策和关键健康决策提供信息，并控制半自动驾驶。它们接下来还将编码关乎生死的道德决策。
重要的是，此类算法不仅越来越成为推动该领域创新的私人参与者的职权范围，而且还受到政府和公共（监管）机构的广泛依赖（纽约大学人工智能现在研究所；利用大数据潜力的高效、低成本或“中立”解决方案的承诺，促使公共机构在提供公共服务时采用算法系统，这对公共管理产生了根本性的影响：数字技术对公共部门的影响已被公认为变革性的，人工智能将大大加速和深化这一进程，从根本上不仅影响公共服务的结构方式，而且重要的是，还影响我们的公共服务价值观、行政自由裁量权和专业判断的行使，并在此过程中影响公共官僚机构的本质。
公共部门决策中高风险应用的典型例子已经比比皆是：警察部门越来越依赖算法工具来预测犯罪并为警务决策提供信息。此类系统在美国尤其常见，但其他司法管辖区的警察部门也部署了类似的预测技术，例如荷兰警方使用的犯罪预测系统或英国至少14支警察部队正在使用或预计将使用的各种预测警务技术。学区也在使用算法对教师进行评估，并为学校改革和个人解雇决策提供信息；消防部门也在使用算法预测火灾发生地点并确定检查优先级；刑事司法领域以及其他一系列领域，包括医疗保健、移民或公共福利。
它们的使用一直存在争议。有大量证据表明，高风险的失败案例比比皆是：“有人被错误拒绝假释，糟糕的保释决定导致危险的罪犯被释放，基于机器学习的污染模型表明高度污染的空气可以安全呼吸，在刑事司法、医药、能源可靠性、金融和其他领域，有限的宝贵资源普遍被滥用”。尤其令人不安的是，人工智能算法已被揭示会重现隐藏在其训练数据中的历史偏见。例如，最近在美国进行的一项研究表明，几个司法管辖区的警察部门使用的预测系统很可能建立在歧视性和非法的历史警察实践之上。历史数据集中编码的“脏数据”（由于警方系统性地少报或记录特定类型的犯罪、对某些地区或少数群体的系统性过度警务而造成）必然会“破坏”并同样偏向依赖这些数据点作为训练数据的预测系统（同上）。
与此相关的是，人们还发现人工智能算法会陷入难以发现、摆脱或自我纠正的负反馈循环。例如，如果算法错误地将某个区域预测为“犯罪率高”，那么随之而来的警力增强将导致该地区逮捕更多人，而这些逮捕将成为算法的新训练数据，重新确认和强化其先前的预测。如果初始预测存在偏差，例如由于训练数据中的人为偏差（例如，历史上警力过剩的社区），这种情况就会变得尤其成问题：算法的预测会成为“自我实现的预言”。同时，由于此类系统众所周知的黑箱操作以及固有的复杂性，算法偏差和失灵已被证明难以诊断和挑战。
这可能会导致“治疗”比“疾病”更糟糕：历史歧视和人类偏见通过自动化得到传播，同时变得更难发现和挑战，同样的偏见现在被重新包装在算法黑匣子中，表面上看起来是中立的和数学客观的。因此，要求提高人工智能算法透明度和公共监管机制的呼声急剧上升——例如面部识别（例如，由顶尖计算机科学家提出；参见78位人工智能研究人员签名的公开信，甚至呼吁暂停使用该技术（例如，英国下议院科学技术委员会），以及最近行业主导的暂停其在警务方面的使用（亚马逊、微软）和市场退出（IBM）。
这并不意味着，也不应该被解读为对人工智能算法及其使用的控诉。在最佳情况下，算法有望带来巨大的技术潜力和效率提升。此外，许多算法的使用将为常规的“低风险”操作提供信息，这些操作的运行（或故障）不会引起太多担忧。但与此同时，必须承认，人工智能算法将具有——并且正在具有——非常现实和突破性的社会和个人层面的影响。正是“算法力量”的崛起，“权威越来越多地以算法的方式表达”，带来了对这种力量的相应监督需求。由于人工智能算法已经渗透到我们生活的关键公共方面，这必然会引发重要的问责问题：人工智能算法系统带来了哪些问责挑战，它们的运行产生了哪些具体缺陷，以及我们如何才能保障公共部门算法决策的问责制？
鉴于该领域迄今为止面临的挑战，我们以明确的公共管理视角，以概念为指导的方式批判性地反思这些系统对公共问责的影响。我们迫切需要这样的视角：虽然算法越来越多地从根本上帮助调解个人与公共机构之间的关系，虽然问责制正在成为算法讨论的核心话题和实践的关键关注点，但在很大程度上，这些新兴辩论缺乏公共管理领域急需的投入。
三、问责制：一个概念框架
“问责指的是对其他人负责，有义务解释和证明作为和不作为的正当性”。据说，权力的行使（即交出权力的能力）要求问责。然而，即使在更传统的背景下，问责可能包含的内容也并不总是一目了然的。正因为如此，近年来，公共管理学者们越来越多地努力对公共问责做出“狭义”或“最低限度”的定义，以促进其在实践中的研究。按照这种理解，问责被定义为“行为者与论坛之间的关系，其中行为者有义务解释和证明其行为，论坛可以提出问题并作出判断，而行为者可能面临后果”。尽管是在更传统的问责背景（如政治与官僚关系）下阐述的，但这种概念似乎直接适用于算法决策并且与之相关。
实质上，一个有意义的问责程序由三个阶段组成：信息、解释或论证，以及（可能产生的）后果。这些“有效问责的要求”是针对外部权威机构实施的。换句话说，行为者（无论是官僚机构、私人供应商还是公共部门机构）必须承担正式或非正式的义务，向问责论坛负责。问责是关系性的，各种关系都可以用这种方式概念化：例如，在官僚背景下，一个机构要向其上级部委、议会、公民、法院或媒体等各种论坛负责。在人工智能的背景下，这样的论坛可以类似地包括传统的机构论坛，如法院、议会委员会、监察员等，但也包括专门设立的论坛，如人工智能伦理、标准化和审计机构，用于监控人工智能系统的设计和运行。
根据现有的理解，任何问责程序要有效运作，首先需要信息——本质上就是代理人行为或绩效的透明度。这有助于缓解“信息不对称”，深入了解行为者的决定和行动（或不作为）。透明度虽然必要，但其本身并不是问责的充分条件。问责与“应答能力”密切相关，其中一个关键要素是解释或辩解。例如，在政治背景下，议会委员会可以与其管辖范围内的组织行为者举行听证会，提出问题并寻求对所观察到的失误的解释。同样，公共组织也会发表公开声明或发布报告，向广大公众证明具体行动的合理性。
信息和解释要求是问责论坛评估和判断所采取的决定或行动是否恰当的基础。为了实施有意义的问责制（并在发现失误的范围内），应该有可能追究责任。负面判断可能导致实施制裁，并需要行为者采取补救措施（或整改措施）来解决失误并为受到不利影响的人提供补偿。
但这并不是说问责标准和准则总是一目了然的。公共问责的实践涉及相互冲突的目标、主张和规范标准以及外部期望之间的复杂权衡。在“未知领域”，例如尚未稳定的政体或围绕新技术等其他非常规情况，标准将尤其不稳定。与已确定的领域不同，在已确定的领域中“问责的归属受社会认可的规则、惯例、程序、原则和期望的指导”，在未知领域“行为体必须通过对被视为可接受的和政治上可能的事物的经验，了解自己在更大的政治秩序中的位置”。这也正是为什么质询和解释对问责如此重要。要加深对“什么是可接受的”的理解，需要明确紧张和权衡，并进行质询、辩论和论证。
我们以上述Bovens的概念化为起点，对公共部门人工智能算法决策的问责制和新出现的挑战进行分析。这使我们能够将概念归结为一组可识别的特征，并广泛地规划和定位问责制过程不同阶段出现的缺陷的来源。我们的重点是系统性的——我们不打算放大特定的微观层面（参与者-人工智能）关系，而是着手从鸟瞰的角度了解三个阶段出现的挑战。特别是考虑到上面关于非常规情况的讨论，我们首先尝试诊断问责制系统在此领域应用时将要出现的系统性挑战。接下来，我们将深入研究这些问题，但在此之前，为了我们的论点清晰起见，我们首先要解决一些定义方面的问题。
五、人工智能、算法决策和权力：关注新出现的问责差距人工智能算法本质上是一组按顺序执行以达到特定结果的规则（无论是计算规则还是其他规则）。我们研究的核心算法的独特之处在于，这些算法可以自行学习控制其行为的规则。它们通过对大量训练数据（所谓的训练集）进行训练，发现数据中隐藏的模式，将特定的数据输入与输出配对，有效地学习输入输出关系或“映射”。它们使用这些训练数据来确定和修改模型——有助于结果的各种“特征”及其相应的权重（系数），然后使用学习到的输入输出映射对尚未见过的数据进行预测。它们如此普遍（和流行）的原因在于，可以用这些输入输出术语来构建一系列问题：从图像识别及其无数应用（例如视频监控、DNA 测序或肿瘤映射）到风险评估模型（信贷或犯罪）或推荐系统（新闻、购物和社交媒体）。公共和私人决策越来越多地依赖此类算法。算法决策是指使用算法作为人工分析的辅助或替代，以做出或通知（并提高决策或行动的质量）。算法决策原则上可以是完全自动化的，也可以是混合的，即需要人类决策者或审核者参与。虽然这两种类型都可以在公共部门出现，但公共部门中最常见的是算法倾向于为人类决策提供信息，而不是在没有人工干预的情况下做出最终的完全自动化的决策。事实上，在某些司法管辖区，例如欧盟，人们有权（尽管有例外）不受仅基于自动化决策的决策的约束（即欧盟通用数据保护条例，GDPR）。正是由于这个原因（实证意义），我们的研究明确侧重于混合决策，即人工智能算法为公共部门的人类决策提供信息。这是目前人工智能算法在公共部门使用的相关且紧迫的背景，尤其是从问责制的角度来看，因为在非常规高风险场景中依赖于人工智能算法。因此，当我们在问责意义上谈论参与者时，我们仍然在这种背景下，就像在传统背景下一样，谈论的是人类参与者。由于算法尚未实现感知或意识——尽管媒体大肆报道，但在所谓的“通用人工智能”（AGI）或“人类水平的人工智能”方面几乎没有取得明显进展——公共部门算法的使用和运行的责任必然在于人类参与者：人工智能系统提供者和公共部门采用者和用户，他们要对他们创建、分别购买和部署的算法系统的运行和影响负责。当我们谈论混合算法决策时，重要的是要注意，我们必然会谈论两个层次：人工智能算法输出、建议或决策（以及得出这些结果的算法过程）以及算法输出与人类决策者之间的后续交互。因此，混合系统的算法问责制涉及并需要检查两个相互关联的阶段：初始算法结果及其得出方式（即人工智能模型设计、设置和操作的透明度和合理性，这些必然决定算法结果）以及这些算法建议在人类决策和/或行动中发挥的作用。后者对于在此背景下进行有意义的监督也尤为重要，不应低估。正如我们将在下文中看到的，在两者的交汇处可能会出现意想不到的新偏见来源。换句话说，要使基于算法输入和评估做出的决策和行动（例如，根据算法生成的“热图”将警力资源引导到特定区域的决策）接受有意义的质询、解释和论证，需要解开算法过程和人机交互的谜团。下面，我们将依次讨论这方面出现的系统性挑战，并围绕问责制的三个要求展开讨论。信息是“问责的命脉”，对机器学习算法系统的监督首先变得尤为具有挑战性，因为它们具有巨大的信息和专业知识不对称性。从信息角度来看，一个特别成问题的特征是许多此类系统固有的不透明性。给定特定的输入，我们知道算法的最终输出，即做出的“分类”（例如“高风险”或“低风险”）、做出的决策（例如“拒绝信贷”）或预测的具体结果（例如风险评估分数）。然而，算法如何得出特定的预测结果（它认为输入数据的哪些子部分对于预测结果很重要）通常并不透明。当然，并非所有AI算法模型都需要不透明。虽然“黑箱”算法带来了复杂的不透明性和可解释性挑战，但更简单的可解释ML算法却不会，但一般也被认为功能较弱。不透明性是“深度学习”算法的一大特点，它是机器学习算法的一个关键子集，也是“人工智能革命的主要驱动力”。神经网络由多个隐藏（或中间）的人工神经元层组成，这些神经元将输入与输出关联起来，通常被称为“黑匣子”，即“向用户隐藏其内部逻辑的系统”。系统的不透明性还归因于这样一个事实：由于模型的相关“特征”（有助于预测的参数）是由系统本身通过筛选大量数据确定的，因此它们可以逃避人类的解释，包括其设计者的解释。其有效性的关键恰恰在于其不透明性的根源：机器解析的特征可能无法被人类思维识别为有效或可识别的特征。举一个简单的例子，“分类器”（深度学习分类算法）学习对图片进行分类（例如，分类为“猫”或“非猫”，这是经典的深度学习示例）的方式是通过其不同的神经元学习图片的不同元素：第一层神经元可能学会识别对角线、边缘或简单渐变，而下一层则将这些输入组合在一起，为下一层提供新的输入，下一层将学会识别面部的存在等。因此，算法的内部功能（即其中间层的功能）对我们来说并不是直观可懂的，尤其是当神经网络越来越深（即数量和架构复杂性增加）时。事实上，当计算机科学家重建算法的内部操作以进行可视化时，不同层神经元实际执行的操作的可视化模式不是对应的图像，而是解构的叠加层。换句话说，当系统操作变得可见时，模型所使用的特征不一定是直接可以理解或直观的。根据相应的算法，这样的神经网络可以有数百层深，包含数千个特征和数百万个权重，这些特征和权重有助于预测结果。因此，算法不再能确定初始输入数据的哪些部分对于预测最终结果很重要。此外，与预测结果相关的数据不再“仅仅”由初始输入变量构成，而是由其数千个子特征、它们的权重及其相互作用构成。因此，由于其技术构成，此类算法非常不透明——包括对系统工程师而言。即使假设该算法是（公开的）可用的，正如我们将在下文中看到的，这是一个单独的挑战（专有黑匣子），这些信息也可能无法理解（技术黑匣子）。这种内在的不透明性构成了与人工智能系统相关的独特（尤其是“棘手”）的信息问题，使它们与传统形式的专业知识区分开来，在讨论与公共部门决策相关的监督挑战时，这一点尤为重要。更为困难的是，算法通常是专有的，包括在公共部门使用时，信息的可用性可能会受到进一步限制。商业算法由私营营利性公司开发和销售，其运作方式通常不会公开披露。Pasquale追溯了这种背景下从“通过透明实现合法性到通过保密实现保证”的转变，认为“这对信息时代的社会秩序基础有着深远的令人不安的影响”。并重申：“法律目前对自动化当局的问责制置若罔闻”（同上）。因此，即使人工智能算法的特性和操作是可以理解的，例如决策树等简单的人工智能算法，但出于专有原因，这些算法仍然是秘密的：“商业秘密是理解算法等自动化权威的核心障碍”。商业秘密豁免限制了美国信息自由法（FOIA）和欧盟GDPR中的信息访问权。例如，FOIA商业秘密豁免“允许联邦政府拒绝有关其系统中集成的任何第三方软件的透明度请求”，算法制造商提出商业秘密保护以逃避披露义务或拒绝参与算法性能的独立测试。公共机构实际上正在牺牲其对算法的运行和功能进行有效监督的能力，以及履行其自身规定的透明度和说明理由的义务的能力。算法设置通常不会向采购公共机构、受其不利影响的人和/或广大公民披露。例如，美国刑事司法中使用的备受争议的“惩教罪犯管理分析替代制裁”（COMPAS）算法背后的方法论并没有在“机器偏见”指控面前披露，尽管法院在量刑决定中依赖该算法。COMPAS显示的模式只是在几年后ProPublica记者将特定的预测累犯分数与实际累犯进行匹配和比较后才显现出来，而不是通过直接调查算法的源代码。虽然该公司发表了对调查结果的反驳，其中他们声称公平性标准不同，但由于争论仍未解决，COMPAS源代码仍然不对公众开放。虽然模型透明度本身不太可能解决与人工智能算法使用有关的所有信息问题，但公共部门对专有模型的依赖会导致并加剧对私人供应商如实报告其模型运行（和故障）的严重依赖，鉴于塑造披露激励机制所涉及的大量财务和声誉成本，这种依赖非常成问题。如果没有模型透明度，独立第三方将无法独立审计算法的运行（例如，通过测试算法操作和对不同数据的预测）和/或在尝试对算法运行进行逆向工程时只能猜测关键特征，而公共部门机构将无法履行对受影响公民的行政披露义务。此外，除了系统特征不透明和/或公开披露问题之外，机器学习模型的复杂性还带来了重大的信息挑战。如上所述，鉴于其架构复杂性和参数空间的庞大规模，人类决策者几乎不可能掌握特征交互的复杂性，即使在最佳情况下（也是不太可能的），即模型特征确实适合人类理解且系统的源代码是公开的。换句话说，当“数百或数千个特征对预测有重大贡献时，即使可以检查单个权重，也不能指望任何用户理解做出该预测的原因”。任何监管系统都存在的传统信息不对称问题因人类信息处理的局限性而变得更加复杂。这种局限性在非技术受众中尤为突出（但并非唯一）。重要的是要记住许多算法使用的背景：虽然这些模型是由技术专家开发的，但会出售给公共部门机构，供领域专家使用。严重的技术专业知识不对称损害了这些用户的利益，而公共部门的资源短缺和公共服务削减压力进一步加剧了这种情况，这往往促使公共部门采用算法。鉴于模型的复杂性，这些用户极不可能具有（机构）能力来评估这些算法的输出和预测参数的有效性。例如，当面对算法风险评分时，法官不太可能评估产生评分的模型的基本假设、数据结构和关键特征交互的有效性。然而，这些因素对于所述评分的有效性以及人类决策者是否应该重视它们至关重要。除非系统设计人员能够将模型解释和理解，以方便用户理解，否则模型的不可预测性必然会导致人们只相信这些分数的表面意义。这实际上相当于将一些证据引入公共部门决策（无论是司法程序还是其他），而这些证据无法被审查，因此无法纠正，因为得出这些证据的参数实际上并不为用户所知/无法评估。这可能会导致用户对算法模型及其性能产生过度信任，鉴于上述反复出现且被广泛报道的模型缺陷，这尤其成问题。争论与辩护：“质询”算法决策的困难这些信息缺陷——源于算法固有的不透明性、复杂性或专有性——对问责制的下一阶段有直接影响：解释或论证。解释导致特定决策结果的理由的能力是质询和挑战此类结果的关键。正是这一阶段将问责制与透明度或上述单纯提供信息区分开来：能够筛选、刺激和窥探行动和决策背后的逻辑。可解释且合理的算法？然而，由于人工智能算法的固有操作，解释恰恰是特别难以实现的。对于深度学习算法来说尤其如此。这些技术挑战无疑也归因于这样一个事实：传统上，算法性能的主要评估标准是基于设计者确定的指标，例如“预测准确性”，而不是模型的可解释性。然而，计算机科学学者越来越意识到可解释性的必要性——需要“提供输入变量和响应之间的定性理解”：“如果计划根据预测采取行动，或者在选择是否部署新模型时，了解预测背后的原因是至关重要的”。开发人员越来越意识到，对此类系统的持续依赖和扩散将归结为用户对其输出的信任，而算法的可理解性是其中的一个重要因素。对算法可理解性的关注正成为计算机科学领域越来越多研究的焦点，这些研究旨在开发“可解释的人工智能”方法，同时也证明了依赖可解释算法而非黑盒算法的价值。由于深度学习黑箱模型继续成为最成功的算法方法，计算机科学学者一直致力于使此类模型更易于理解。 正在进行的潜在方法包括特征可视化技术旨在可视化隐藏层的神经元相互作用的工作原理，以使内部过程更加明确和将“黑箱”算法与“解释算法”连接起来，即本质上使用算法来解释算法。 例如，“解释算法”可以解开黑箱，通过生成一个更简单的算法（比如决策树）来解释这个黑箱。 解释算法有效地将黑箱特征重新消化为人类思维可以理解的特征。然而，解释模型也存在重大缺陷。这类技术可能要求解释中的“输入变量”与实际黑箱模型的特征不同，以使其易于理解。事后解释可以依赖不同的关键变量来模拟黑箱决策逻辑，换句话说，是一个完全不同的模型。因此，从本质上讲，解释模型并不是原始模型的完全忠实表示，而是原始模型的“近似值”，这必然会同时降低其解释潜力。此外，目前还没有关于解释要求的共同标准，“也没有认真解决量化解释对人类可理解程度的问题的工作，尽管这至关重要”。这导致一些著名的计算机科学学者对机器学习解释技术的价值提出质疑，强调解决当前难题的出路不是试图解释黑箱算法，而是在高风险决策时采用可解释算法，即更稀疏的模型，其中可以直接看到不同变量是如何相互关联的：“解释往往不可靠，而且会产生误导……如果我们改用本质上可解释的模型，它们会提供自己的解释，这些解释忠实于模型的实际计算结果”。鉴于解释模型存在严重缺陷（包括通常作为算法问责解决方案而提出的反事实解释），此类工作旨在证明可解释算法可以非常强大，并且不再需要依赖过于复杂的黑箱来进行高风险决策。例如，这项工作证明简单的可解释模型（分别具有两个和三个特征）的表现可以与广泛使用的刑事司法 COMPAS 算法一样好，而后者借鉴了137个特征。然而就目前而言，“尽管被广泛采用，机器学习模型大多仍然是黑箱”。上述讨论表明算法监督存在明显缺陷：黑箱算法在公共部门被广泛使用，而且由于此类算法不可解释，领域专家和其他公共部门用户不太可能发现算法在现实世界中表现的偏见和意外后果。监管工作也落后于实践，在大多数司法管辖区，行业没有法律义务依赖可解释的模型，甚至没有解释其算法作为将其商业化供公共使用的先决条件，即使是更简单的模型也是如此。许多涉及高风险公共决策（例如公共福利资格）的算法通常缺乏审计跟踪和对其结果的有意义的解释。GDPR是欧盟范围内的数据保护法案，它确实针对算法决策引入了一系列补救措施和保障措施。然而，这些保护措施——以及人们关于这些措施是否等同于有意义的解释权——仅限于自动化决策。但如上所述，在大多数情况下，高风险算法决策并非完全自动化，而是算法输出作为决策辅助，不在这些保护范围内。更重要的是，即使在适用的情况下，法律要求对于需要什么（即“有关所涉及逻辑的有意义的信息”）也是模棱两可的，并且有可能损害可以从这些信息中获得的价值：“由于对可行解释的定义不明确，即使是‘解释权’等强有力的规定也可能因不太令人满意的解释而受到破坏”。事实上，目前还完全不清楚所需要的是否仅仅是对系统功能的一般解释；还是事后解释模型；或者，正如我们在这里更广泛地争论的那样，是否应该优先考虑可解释的模型，以确保从账户持有的角度对算法决策进行有意义的理解。从隐性到显性的价值权衡模型解释或论证也必然延伸到模型功能中经常被遗忘的一个方面：模型设计中固有的价值权衡。虽然人工智能算法通常被视为“中性设备”，但算法系统必然编码重要的价值权衡（例如，召回率与准确率、精确率与公平性），甚至是同一价值的不同概念之间的权衡（例如，不同的公平性概念）。决定如何在这些之间取得平衡必然是一种政治行为，而不是纯粹的技术行为：根据优先考虑的价值或概念，算法将得出不同的结果，并对不同的个人或社会群体施加成本和收益。因此，人工智能算法输出在很大程度上是其内部设计的价值选择的产物。在自动化时代，系统设计者实际上成为了政策制定者：“他们的选择会影响政策的实际实施”。他们本质上是在进行所谓的“数字自由裁量权”，或者更具体地说，在我们的案例中，是“人工自由裁量权”。如果系统设计者通过他们的选择促进了非预期的价值观并做出了未经批准的权衡，则可能导致“公共价值观的转变，超出公共管理者和公共政策制定者的控制范围”。因此，考虑、理解和审查此类选择至关重要。做到这一点绝非易事：在人工智能算法中，这种权衡隐含在系统设计中，却被复杂的代码层和数学计算所掩盖，使得这些决策对局外人来说难以捉摸，除非系统工程师明确说明。外部审问此类决策的先决条件是首先意识到此类价值选择。价值权衡考虑的重要性尤其体现在备受争议的“机器偏见”和公平性方面（但绝不限于此）。尽管计算机科学领域正在进行重要的技术工作，以开发解决“机器偏见”和公平性问题的技术方案，但必须承认“公平性”并非纯粹的技术、计算解决方案。虽然模型可能由于技术原因（数据或样本量不足，并由此导致基于此类数据的模型代表性问题、模型拟合度差等）而产生有偏差的结果，但公平结果的代表是一个背景和政治问题。模型设置中涉及的技术选择似乎可能具有重要的价值含义。例如，避免模型中性别偏见的技术解决方案包括设置算法以确保结果均等（例如，简历筛选算法输出相同数量的合格男性和女性候选人），以及让系统不知道“受保护的质量”（例如，不提供性别信息并省略相关变量），这样它就不能将其用作预测（判别）特征。这些技术选择中的每一种都会产生不同的实质性结果，并且根据具体情况，仍然可能产生不公平或歧视性的结果。例如，忽略“受保护的质量”实际上可能导致在特定情况下对相应的受保护群体造成不利影响和歧视，在某些情况下强制执行结果均等也可能导致这种情况。最近，围绕人工智能算法评分中的“机器偏见”的大部分争论都归结为“关于概率分类对不同群体公平的含义的不同观念之间的紧张关系”。换句话说，它们已经归结为相互竞争的价值观念，在这种情况下是相互竞争的公平观念。COMPAS 辩论就是这样一个例子，不同的参与者提出了不同的公平定义，以争论或捍卫算法输出的有效性。这不是一个小问题：实际上的关键在于应该以什么样的公平标准来指导刑事司法中使用的预测系统——关于这个问题的讨论是计算机科学家们事后进行的，而不是先验领域的审议和质询。此外，在这种背景下，计算机科学研究发现，这些争论中涉及的评估概念需要权衡利弊，而模型无法同时满足这些权衡利弊。这些算法争论的核心公平性概念本质上是不相容的：“风险评分实际上不可能同时满足两个公平标准”。这必然再次强调，事先审议要优先考虑的标准以及为不同行业的特定模型提供信息的标准是充分的模型设计的关键步骤。这些选择是模型设置中不可或缺的一部分，但领域专家、决策者和监管者却对其视而不见。为了实现有意义的算法问责制，系统设计者必须明确透明地阐明这些选择，并要求他们（以及监管者和政治监督者）在审查模型设计和操作时对这些方面保持警惕，并讨论和审议这些方面。算法输出：对人类决策有何行为影响？重要的是，解释算法决策的挑战不仅涉及算法模型的设置和操作，还涉及算法输入与人类决策之间的接口。如上所述，算法结果通常作为人类决策的输入。这意味着，如果我们想要理解和解释算法决策，我们不仅需要了解人工智能算法的操作，还需要了解算法结果对（限制）人类决策的影响。然而，令人惊讶的是，我们对算法对决策者和实际决策过程的影响知之甚少。算法输入和建议如何以及以何种方式影响决策者？算法结果在多大程度上限制了我们的决策自主权和/或影响了我们询问算法结果的能力？当法官使用算法风险评分作为决策输入来源进行决策时，这些评分对他们的决策有何影响？虽然引入算法评估通常被认为是使人类决策更加客观的一种方式，但算法也有可能引发人类的行为偏见，在这方面有一些令人不安的线索。一方面，对算法输出的依赖可能会导致决策者不合理地服从算法预测：“自动化偏见”是心理学研究中报告的一种有据可查的现象，表现为人类过度依赖自动化系统的建议。人类盲目遵循自动化系统，如导航系统冲下悬崖，或者飞行员盲目遵循导航系统导致的飞行员失误就是这样的例子。此外，对自动化作用的研究表明，自动化工具可以潜在地充当“道德缓冲”，让人类放弃对决策的责任。人工智能算法系统可能会带来风险，即它们会暂停我们的批评，从而不仅会暂停我们的能力，而且更重要的是，会暂停我们对其输出的质询倾向。这对问责制具有重大影响，因为它直接关系到决策权的分配、决策地点和责任的分配。早期的经验证据似乎确实表明，算法输出非但不能作为“中性”设备使用，反而会加剧人类决策中的差异性和歧视性结果。在他们与普通参与者一起进行的关于刑事司法背景下对算法建议接受程度的实验研究中，作者发现了与风险评估算法存在“差异交互”的证据，导致对黑人被告的风险预测更高，对白人被告的风险预测更低。他们记录了参与者选择性遵守算法的倾向，从而导致了歧视性的结果。此外，作者还报告了参与者评估算法性能的能力存在重要局限性。从问责制的角度来看，这些线索尤其令人担忧，因为“让人类参与其中”（人工干预）通常被规定为对自动决策的制约。例如，GDPR规定了“不受仅基于自动处理的决策的约束”的权利（有一些例外情况（例如明确同意），并要求在允许完全自动化决策的特定情况下引入最低限度的保障措施。其中一项保障措施是“获得人工干预的权利”。引入这些护栏背后的隐含假设似乎是，人工智能算法决策的风险主要在于完全自动化的系统（即没有人类决策者参与其中），而人工干预是解决方案的一部分。然而，如果它是解决方案的一部分，我们缺乏关于算法对人类决策者实际上产生什么（显性和隐性）影响的有力研究。这是行为公共管理学者可以而且应该在未来发挥重要作用的领域。对算法决策的影响最后，问责过程的最后阶段是做出判断——批准、谴责或谴责某一特定行为——如果判断是负面的，有意义的问责要求实施制裁并对受到负面影响的人提供补救。在算法决策的情况下，问责制的这一维度也存在问题，因为算法决策的运作与前两个要素密切相关：信息和理由。鉴于信息困难的复杂性，再加上上述大量解释问题，这给诊断系统故障和（错误）行为以采取有效补救措施带来了相关挑战。提供补救的第一步是诊断故障，但这对于算法性能来说并非易事。如果无法理解算法的特性和操作，普通受众（包括受到算法决策不利影响的个人）就无法对基于算法做出的决策进行有意义的质疑或挑战并获得补救。如果没有这些“火警”，算法系统将进一步缺乏急需的纠正和学习反馈。如果没有模型透明度和底层操作逻辑的解释，领域专家（公共部门用户）也将无法“捕捉”表现错误的模型，从而导致对其过度依赖。这将严重限制他们作为有意义的决策调解人的能力。在这种情况下，让人类参与决策循环可能会成为一种空洞的制衡，因为人类调解人实际上对系统的运行（或故障）知之甚少，从而剥夺了系统有意义的控制。但重要的是，这并不能免除公共管理者的责任——恰恰相反。说明行政决策理由的义务是官僚合法性的标志，管理者不能外包或违背这一义务。公共部门采用人工智能工具，将责任完全放在参与决策过程的公共部门员工身上：采用者（管理者）应负责要求和购买与其角色的公共性质相符的工具，并允许公共管理者继续履行对公民的责任。这一责任延伸到确保这些系统得到适当和独立的审查，它们的运作受到持续监控，以及公共部门工作人员得到充分培训，以了解他们所依赖的工具。相应地，在混合系统中，行政部门内的个别决策者对决策结果负责。他们仍然有责任了解模型运作的广泛参数和潜在的缺陷——如果他们在行政决策中依赖或遵从其输出——并意识到这些系统的潜在影响。这再次凸显了优先使用透明和可解释的工具的重要性，这些工具有助于用户理解，避免公共部门使用黑箱模型（无论是技术意义上还是专有意义上）。同时，它还强调了开发人员与领域专家合作的责任，在模型测试和验证阶段，专门测试和审问不仅是技术方面，还有治理方面的影响（更广泛地考虑公平、偏见和透明度），以及“系统架构师”的责任，以开发公共部门使用的模型，这些模型是可以理解的，并允许领域专家和受影响的公民在使用过程中诊断和挑战意外故障。受到影响的人在对基于算法的决策提出异议和获得补救方面所面临的挑战已经很好地说明了纠正和后果的困难。举例来说，尽管存在持续的争议且该算法具有专有性，但COMPAS算法仍在美国法院使用。最近，联邦最高法院（威斯康星州最高法院）裁定，初审法院在量刑中使用该算法并没有违反被告的正当程序权利。据说，即使初审法院法官在量刑期间明确提到了风险评估分数，但“用于进行评估的方法既未向法院也未向被告披露”，但被告的正当程序权利仍得到维护，因为“评估方法既未向法院披露，也未向被告披露”，根据商业秘密保护规定不得披露。顺便说一句，被告的刑期为6年监禁和5年的长期监督。这个例子尖锐地凸显了在缺乏信息和解释如何得出预测算法输出的情况下，质疑预测算法输出有效性的能力所面临的根本问题。如果没有“了解评估依据的机会”，那么“任何个人几乎都不可能主张权利，抗议‘她不是那样的’，或者尽管她过去可能是那样的，但她不打算在未来‘那样’”。这触及了个人获得补救和纠正不法行为的能力的核心。 fill=%23FFFFFF%3E%3Crect x=249 y=126 width=1 height=1%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
六、结论：人工智能——可信赖的信息？我们已经看到，人工智能算法使用带来的挑战导致了直击问责流程核心的缺陷：信息问题复杂化、算法功能缺乏充分解释或论证，以及随之而来的诊断故障和确保补救的困难。问责的核心在于可回应性——然而，当前人工智能算法的使用对我们集体质询（和挑战）算法结果的能力提出了严峻挑战。我们的讨论表明，在算法的情况下，就像在传统环境中一样，透明度是问责制的必要条件，但也是充分条件。就其本身而言，在复杂的人工智能模型的情况下，模型设计的透明度（其特征通常不透明且无法解释）将无法提供对算法决策的充分理解。模型透明度还需要“系统架构师”共同努力来解释他们的模型，计算机科学界更广泛地开发出首先可以理解和解释的模型，行业系统地采用这种做法，公共部门购买者和监管机构要求他们这样做。它还需要系统设计人员和领域专家之间关键而持续的合作，这种合作从系统设计的早期阶段一直延伸到实际实施（生产）和系统运行监控。公共管理学者也未能免于发挥重要作用。人工智能的透明度、偏见、公平性和问责制问题不仅仅是技术（机器学习）问题，还需要我们学科的认真参与和更广泛的公共管理视角。政府内部采用人工智能工具所带来的问责挑战与更广泛的官僚合法性问题密不可分。人工智能工具将对行政决策和官僚自由裁量权产生深远影响，使得这种发展及其影响对公共管理至关重要。不同人工智能工具的适用性在不同的政策领域和任务中有所不同，需要充分理解和预测其中的利弊，以指导人工智能在政府中的适当传播。在这方面，采用混合算法系统显然将人类置于循环之中，但其特性（专有、不透明或不可解释）严重限制了人类作为有意义的监督者的能力，这直接带来了问题。这种转变是自动发生的，而不是有意和深思熟虑的，官僚行为者失去了理解、审查和行使有意义控制的能力。这些担忧因以下事实而加剧：这些发展越来越多地影响非常规、高风险领域（如刑事司法），在这些领域，人类的判断力和专业知识的运用被视为实施这些发展的关键。官僚合法性的双重基础——官僚专业知识和问责制——正在同时被削弱。随着行政行为者对人工智能的依赖越来越普遍，弥补这些限制并赋予人类决策者进行有意义的制衡的能力，将对行政国家的（持续）合法性及其权威主张造成打击。因此，监管工作至关重要，以确保以深思熟虑和有效的方式使用人工智能工具。学术界和一些行业参与者提出了各种监管工具的广泛采用，这些工具目前大多缺乏，例如：模型认证、第三方独立持续测试模型性能、使用提供决策审计线索的模型、在公共部门部署前进行算法影响评估等，这将有助于进一步加强算法问责制。然而，最终，仅靠这些保障措施无法解决关键问题：公共部门使用人工智能工具（其中的利害关系可能是剥夺自由、使用武力以及拒绝提供福利或医疗保健）需要解释个人决策的理由。上述讨论引发了严重的质疑：在公共部门使用黑箱模型是否合理，尤其是在有可解释的替代方案可用的情况下。在决策具有高风险（个人层面）影响的领域，算法既不能是秘密（专有的），也不能是不可解释的，这似乎是必要的。要在这样的环境中部署算法模型，需要先验地很好地理解模型，它们的预测特征是可以理解的（对用户和领域专家来说也很重要），系统设计中固有的价值权衡是透明的和经过充分审议的，并且与领域专家合作对模型进行验证和审核，不仅要考虑其严格的技术操作，还要考虑其治理影响。虽然监管在技术创新方面不一定是一个热门话题，但重要的是要记住其中的利害关系。当黑箱算法系统被纳入公共部门时，它们就会渗透到我们机构的各个部分。人工智能算法渗透到我们的司法系统、我们的教育、我们的执法部门，同时仍然难以应对挑战。这就是问题所在。（注释从略）本期策划：Jewelry；Audrey责任编辑：Jewelry；Audrey本期审核：Juniper H; Kevin W; Fifa C; Curry
本公众号致力于分享与传播学术前沿动态，提高优秀作品的曝光度与学术影响力，不带有任何盈利目的。如有侵权，请联系公众号后台删除。感谢广大作者、读者朋友们的支持！
END
欢迎投稿
邮箱：governancecritic@163.com
治国者，圆不失规，方不失矩，本不失末。
