Open Loop是一个全球组织，由Meta（前Facebook）支持，将政府、监管机构、科技公司、学者和社会代表联系起来，旨在通过一系列的实验，创建政策模型，制定人工智能和其他新兴技术的有效发展策略。随着人工智能的不断发展，公众越来越关注人工智能系统的底层架构，以及其运行逻辑，这就涉及到人工智能可解释性（XAI）问题，即人类在何种程度上能够理解人工智能的决策。人工智能模型的可解释性越高，人们对于其决策的可解释度与信赖度就越高。Open Loop围绕人工智能透明度和可解释性的问题，于2020年4月到2021年3月在亚太地区开展研究，提出了相关规范建议，形成了《关于人工智能透明度及可解释性的报告》（AI Transparency & Explainability: A Policy Prototyping Experiment）。
1
人工智能的透明度及可解释性的概述
OECD（经济合作与发展组织）将透明度和可解释性（T&E）作为人工智能开发的核心原则之一， 《人工智能道德准则》（Ethics Guidelines For Trustworthy AI）明确提出人工智能的发展方向应该是“可信赖的”，包含安全、隐私和透明度、可解释性等方面。所以，将 AI 透明度和可解释性构建到系统的内部工具和框架中，是负责任开发者的必要之举。欧盟的《一般数据保护条例》（General Data Protection Regulation，下称GDPR）明确规定了六大原则，其中处理个人数据必须采用合法的、善意的，同时还需符合透明度的要求。这些与个人数据自动处理有关的要求并非欧盟独有，在亚太地区隐私法中也有体现，如菲律宾的数据隐私法（DPA）及其实施条例（IRRs）。DPA及其条例规定，数据主体有权被告知自动决策的存在，还要求数据控制者通知国家隐私委员会（NPC）自动处理操作的依据。2021年美国参诉议院出台了《算法正义和互联网平台透明度法案》（Algorithmic Justice and Online Platform Transparency Act），其中规定：“禁止互联网平台通过算法歧视性地对个人信息进行处理，并提出一系列措施确保平台在算法使用过程中履行审核和透明度义务。”
增进人工智能的透明度及可解释性具有多方面的价值：
第一，增强用户对AI系统的信任。用户信任是AI系统可用性的一个重要条件。在现实中，用户对AI系统的不信任，往往源于用户不理解AI系统的内在决策过程，不知道AI系统如何作出决定。尤其是在诸如金融、医疗、司法等高风险的应用场景中，如果AI模型缺乏可解释性，就可能不被用户信任。相比于只提供决策结果的AI系统，用户更倾向于既提供决策结果又提供附带解释的AI系统。
第二，防范算法歧视，确保AI系统的公平性。增进AI系统的可解释性，有助于人们对AI系统进行审计或者审查，进而可以识别、减少、消除算法歧视。
第三，支持内部治理，帮助打造可信的、负责任的AI系统。开发者只有充分理解AI系统，才能及时发现、分析、修正缺陷，进而才有可能打造出更加可靠的AI系统。
第四，从人机协作的角度看，用户只有理解AI系统，才能更好地与之进行交互，在实现AI系统的预期目的的同时，帮助AI系统更好地进行改进和完善。
第五，解决人工智能造成损害的法律责任难题，对人工智能进行解释可以帮助探查因果，进而有助于实现法律责任的目的，包括实现法律责任的预防。正因如此，可解释性要求已经成为人工智能的法律规制的一个核心考量。
2
Open Loop项目概述
该项目旨在开发和测试一个关于人工智能透明度和可解释性的政策模型。在该项目中，透明度被定义为一个局外人访问算法（训练数据和学习模型）的能力，而可解释性被定义为理解或洞察人工智能系统如何产生一个特定结果的能力，使其中的利益相关者能够理解模型结果背后的合理性或逻辑，以便验证模型是否满足最初构建它的目的。透明度是理解AI如何运行的先决条件，而可解释性则需要对其运行流程有实际的了解，明确输入和模型预测之间的因果关系。通过这种方式，可解释性服务于特定的目标或目标，包括实现在特定语境（或用例）中出现的特定利益相关者的“解释性需求”。理想情况下，可解释性允许人类和人工智能一起做出比他们俩单独做出的更好的决定。
该项目主要开展了以下几项研究：测试新加坡的人工智能治理框架和附随指南（MF和ISAGO）的实施效果，其中重点关注人工智能的可解释性、政策清晰性、有效性和可操作性问题，并提出改进具体的建议，有助于其更广泛的应用；为人工智能的开发公司提供可解释性的明确标准和指导，具体包括特定产品和服务的XAI解决方案；最后展示最佳 XAI 实践，提出规范人工智能透明度和可解释性的相关建议。
3
新加坡人工智能可解释性政策模型
Open Loop与新加坡 IMDA （信息通信媒体发展局）和PDPC（个人数据保护委员会）、AI Singapore[1]、Aicadium[2]、TTC Labs[3]和 Craig Walker[4]，以及与亚太地区的 12 家公司合作，通过观察并记录来自亚太地区的 12 家 AI 公司如何解释其利用人工智能产生决策、建议或预测（XAI 解决方案），[5]测试新加坡人工智能治理框架（MF）和自我评估指南 (ISAGO) 的人工智能透明度和可解释性政策模型的可操作性。
新加坡的人工智能模型治理框架基于两个基本的原则，以促进公众对人工智能的信任和理解。
1.应确保人工智能的决策过程是公平的、透明的和可解释的。虽然完美的可解释性，透明性和公平的标准难以达到, 但人工智能的使用者应努力确保他们的人工智能的应用，尽可能地反映这些原则，以建立公众对人工智能的信任。
2.人工智能的使用应该秉持以人为本的原则。人工智能是手段而不是目的，其应用是拓展人类的能力，保护人类的利益，提高人类的安全和福祉，所以人文关怀应该是设计、开发和部署人工智能的主要考虑因素。
总的来说，该政策模型被认为在两个重要方面是有效的：提高对角色的认识，使人工智能开发人员在构建合乎道德人工智能方面的自发性；提供高水平的指导方针，使参与者能够识别出构建和部署人工智能系统所涉及的主要风险。
但是该模型也存在显著的问题，研究发现，人工智能的可解释模型更倾向于作为工程师和开发人员的内部资源，利用可解释性来识别错误并调试AI以及进行机器学习，而不是用于向外部用户或受影响的人，提供解释这些算法模型的路径。所以，当前人们对于 AI 可解释性仍然知之甚少。
4
人工智能可解释性模型的构建
在Openloop项目中，通过实验性和参与性的方法，参与者被要求根据框架的指导，构建人工智能可解释性的解决方案，并根据清晰度、有效性和可操作性进行评估。Open Loop通过确保其参与者理解，将 AI 可解释性作为一个多维概念进行定义：受众（解释的目标群体是谁），语境（在何种情况下需要提供解释），目的（该解释寻求实现的目标是什么），以及解释的具体内容（解释将包括什么），使参与者能够更有针对性的构建他们的方案，即“可解释的场景”（"explainability scenarios"）。
(一) 四个要素
1. 受众（解释的目标群体）
在定义和描述目标受众时，必须考虑：解释的目标受众是谁？他们的需求是什么？他们的知识或专业知识水平如何？是否具有在决策的领域的专业知识？他们对解释有什么不同的利益追求？他们不同的需求对于解释的理解有什么影响？
必须在解释的完整性和用户的可理解性之间取得平衡，即，主题的信息既不应超载，也不应过于简化。我们确定了四个主要的目标受众：管理者、审计员；商业组织；消费者（产品的使用者）；普通社会群众。
2.语境
语境是指提供解释的情况。根据语境的不同，解释的内容、时间、方式、和原因都不尽相同，没有一种一刀切的方法来解释人工智能的决策，因为人工智能决策的环境，会影响接受解释的重要性。解释的内容和交付应根据对相关背景的考虑量身定制，解释人工智能决策的重要性可能会根据决策主体而有所不同。例如，在医疗保健环境中，考虑到医疗保健专业人员在这方面的专业知识和权威，接受对决策的解释可能比对患者更重要。该报告确定了四种不同类型的语境：调查、B2B关系（合作、采购关系）、投诉、一般用途。
3.目的
目的指的是解释试图实现的目标，即为什么提供一个人工智能解释的客观和主要动机。解释的目的与人工智能系统的整体目的不同，其应该与观众和解释的背景联系起来。该报告确定了七种不同类型的目的：提高认识（让用户认识到自己正在与一个人工智能系统进行交互）、理解产品特性、反馈（来自消费者，商业合作伙伴，监管机构）、改善人工智能系统方面、行使追索权、改变用户的行为、成功做出决策。
4.内容
内容是指提供给解释接受者的信息，解释内容主要包括六种信息：基本原理、描述人工智能系统预测的信息责任（是谁的信息，谁参与开发，管理和实施人工智能系统）、安全与性能（关于准确性的信息可靠性、安全性和可预测性）、数据和模型关于数据训练集、所使用的算法模型等的信息；公平（确保人工智能的信息系统并没有不公平的偏见）、影响（关于人工智能系统的使用及其可预测性对个人的影响）。
(二) 三个阶段
基于个性化的可解释性场景，参与者通过三个阶段来完成这个项目：准备阶段、加工阶段和交付阶段。
1.准备阶段
在准备阶段，Openloop收集了让参与公司基于新加坡MF和ISAGO的可解释性的框架条款来构建他们的XAI解决方案，并进行测试和评估，评估主要集中在三个分析视角上：政策的清晰度、有效性和可操作性。
(1)政策清晰度及政策明确性
政策清晰度指政策文本可以被有意义地理解的程度。明确性是指参与者对文本及其关键概念的理解程度。有三个重要的促成因素决定了对模型的清晰度和其可理解性：内容、样式和结构。内容是关于所提供和可提供的信息，文本一般都是清晰、通俗易懂和可理解的，并以一种非正式的和用户友好的方式起草的，通过阅读其内容，可以轻易地根据它的提示采取行动并执行其指示。
但是，政策模型中的部分概念不是普遍适用的。例如，关于消费者和最终用户的互动指南不适用于 B2B 公司。对可解释性披露的一般要求需要考虑到多元性参与，在人工智能系统的构建、开发、部署和监控中引入多方的参与者，在更细的层面上重构政策模型的价值，根据不同的利益相关者及其特定的用例定制其指导，并根据具体情况对其进行调整，使其与特定的个人更相关。政策模型不能（也不应该）涵盖所有可能的用例和相应的受众群体，所以政策制定者需要在政策的个性化和广泛性之间，达成微妙而精细的平衡，它需要保持灵活并适应不断发展的各种情况，同时仍然对共性问题具有适用性。
(2)政策模型的有效性
政策模型的有效性是指其指导有助于达到预期政策结果的程度。
参与者还提出了一些建议，以进一步提高政策模型的有效性，以实现其预期的政策目标（人工智能可解释、透明、公平和以人为中心的）。其中一项建议是需要更多的程序和操作指导，以及细化传达指导的方式。在政策模型的某些部分，一些参与者认为，关于他们“如何”实施符合道德和值得信赖的人工智能，现阶段没有足够的细化规范予以参考。因此，建议纳入相关基准和尺度，以衡量人工智能的伦理使用，并为公司提供资源以了解他们在这一模式中的定位，衡量他们在实现这一目标的积极和消极结果，以及所需要的成本和收益，这将为人工智能开发公司提供一个更现实和准确的遵循，也有利于其商业模式的统筹安排。
(3)政策模型的可操作性
可操作性是指政策模型转化为实践所需的资源，应易于理解并操作，并且明确可控诉的情形。参与者对当前可解释人工智能政策的可执行性表示怀疑，且表示需要更详细和更实际的指示。特别是如果政策应涉及非法律职能，需要更多人员（例如工程师、产品设计师或人工智能研究人员）的信息及指导，他们建议将人工智能的政策指导映射到人工智能产品的全生命周期阶段，根据开发和部署时所涉及的不同技术步骤，阐明和定制具体的政策建议。
2.加工阶段
在加工阶段，参与者被要求选择 XAI 技术和方法论，以支持其可解释性解决方案的实际构建和操作。这一阶段的重点是从技术角度提出构建可解释人工智能的具体方法，将可解释性实施到算法模型中。为了支持公司开展这项技术工作，Openloop提供了一个全面的技术指导工具包，还包括专家讲座和指导会议，参与的合作伙伴包括：AI Singapore、Aicadium、TTC Labs 和 Craig Walker，让参与者充分理解最新的 AI 可解释性技术，以及相关示例。在这一阶段，为了更好地让参与者了解构建XAI特性所涉及的细微差别，Openloop还询问了一些基于价值的权衡和企业在技术上构建XAI解决方案时需要解决的问题，使得公司能够做出平衡和适当的决策。
在项目的程序加工阶段，参与项目的公司分享了他们要建立的XAI解决方案的技术元素背后的基本原理，深入研究其所利用的特定类型的ML算法、数据集和可解释性技术。在这一阶段，参与者还阐述了他们在技术层面提高人工智能透明度和可解释性时所面临的一些挑战，以及影响其选择的价值权衡。
(1)T&E与安全性
在某些情况下，为了规避坏人利用系统，操纵算法的风险，可能有必要对算法的运行方式保持最低水平的不透明度，这虽然有损可解释性，但是确保了人工智能系统的安全性。参与者提到可以增加准入信息和更多细节，增强算法的解释力，让最终用户可能对恶意用户操纵模型的情况予以防备。
(2)T&E与有效性
参与公司面临的另一个权衡是，人工智能模型的透明度，可能会以牺牲其有效性和准确性为代价。考虑到现代人工智能方法，特别是深度学习，模型的有效性和理解它的难度之间往往存在相关性，因此，一系列有趣的问题出现了：以牺牲这些模型的有效性为代价，简化这些模型以供人类理解是否是有意义的？以及在什么时候会优先考虑接受一个损害准确性的解释，反之亦然？
(3)T&E与公开性
算法的完全透明，即源代码的披露，从知识产权和贸易保护的角度面临着法律风险，就像其他类型的专有信息的披露(例如软件、专利)。实际上，过于严格的透明度要求，可能会极大影响企业的创新激励，产生负面后果。公司将这种风险等同于之前提到的安全风险。但基于在人工智能系统可能对人类安全产生重大影响，或预期对人类生命产生重大影响的情况下，通过其决策、预测或建议，应该优先考虑可解释性的价值，使模型具有可解释性。
(4)T&E与其意义的准确性及实际理解
在技术研究中，准确性和可解释性之间的权衡一直存在争议。在这方面，专家们认为，对于高风险的决策模型，应保证其在本质上是可解释的，而不是试图解释黑盒模型。[6]参与公司也认为，为了确保人工智能的解释是有意义的，需要进行详细的测试与用户反馈。各公司也指出了关于如何理解处理他们的数据，以及如何做出决策、建议和预测的方法。对算法的内部逻辑的描述，可能只有专家才能理解，无法向用户解释如何实现自动化的决策过程，还可能会适得其反，让他们更加困惑。给个人提供太多关于人工智能系统及其输出的信息，实际上可能会增加不信任或恐惧，因为它以一种难以甚至不可能理解的方式，揭示了这个过程的潜在复杂性。值得考虑的是以环境为中心的方法，提供目标受众正在寻找的信息内容，让受众能够以一种渐进的方式探索可解释性。例如，通过提供多层次的解释，首先在最简单的层次上提供一个解释，然后让受众选择，是否在更深层次上了解人工智能在特定情况下使用的更详细的信息。
(5)同等原则
另一个挑战是关于定义解释的标准，以及这种解释应该遵循“同等原则”——当我们期望一个人解释他/她的行为或决定时，我们应该对机器做决定时有同样的期望；对于人工智能决策的解释质量和内容应该与人类决策时相同，人类决策的披露标准应该适用于人工智能系统的决策。原则上，当决策对人们的生活有重大影响时，都需要这种等价性的解释，但在具体操作中，等价性取决于预期解释的特定语境，以及目标受众寻找的特定信息类型。但参与公司还认为，保持对等原则会使人机交互中的不同动态扁平化，而忽略每个参与者带来的优势和局限性。在不考虑特定背景的情况下，默认将人工智能的解释标准，置于更高的标准上，可能会阻碍其技术的进步。
3.交付阶段
在最后的交付阶段，公司被要求为人工智能的可解释性方案建立一个接口，并提出一个相应的沟通机制，包括选择地点，时间以及如何在他们的产品或服务流程中沟通解释，如何为XAI解决方案所指向的受众提供测试等，例如通过Mobile Ethnography进行远程合作和工作。
参与公司还通过深入调研用户需求，并进行适时沟通，设计了他们的XAI解决方案。在此过程中，项目方与TTC实验室和克雷格·沃克合作，进一步支持了在交付阶段的XAI解决方案，让其嵌入到相应的AI应用程序中。
另外，参与者们强调了交付阶段的可视化，“图像和视觉表现可以比文字更好地显示联系，也能更快地表示复杂的关系。”视觉表示和动画是meta AI团队提供的交互式工具，Instagram用一个幻灯片动画，展示了人工智能模型在用户提要上订阅帖子时所经过的不同步骤，来解释Instagram订阅排名是如何工作的，通过这样的工具，用户可以尝试对一个虚拟Instagram用户的提要进行排序，然后找出它如何与提要系统可能预测的内容进行比较。通过这个练习 ，用户可以更好地了解feed排名如何对多个内容进行优先排序，以帮助人们看到他们最有可能感兴趣或最有可能与其互动的帖子。除了图形化图像，动画和交互模块也被视为人工智能可解释性用户设计空间的关键元素，在这个XAI解决方案中，不同的信息层被划分为不同的特性，使组织内不同类型的利益涉众能够访问他们需要的特定信息。
5
XAI相关目标
除了可解释性的目标之外，参与者还报告了他们在开发XAI解决方案的过程中试图实现的 三个额外目标。首先是提高人们对AI/ML技术的整体信任度的目标。当用户更好地理解了人工智能的产品或服务的工作方式时，他们才更可能会相信自己的结果，这也符合改进XAI解决方案的目标。正如许多参与者所主张的那样，解释不仅可以为消费者/最终用户创造更好的产品和服务，还可以为AI开发人员提供调试代码错误的工具。参与其中的公司提到了“获得直接记录”人工智能及其实际能力和局限性。在人工智能不能按预期工作时,解释其行为和输出，也有利于消除技术的神秘性，增强用户体验。例如Nodeflux[7]的面部识别XAI解决方案中，有一个突出的优势是，当客户面对错误的预测或意外结果时，可以为客户提供可解释的论据。
其次，XAI中的人为因素非常重要。在人工智能模型治理框架的指导下，如何利用人类在提供人工智能解释，以及对不同的人工智能决策进行监督。其中特别强调两个角色：1.人类作为人工智能系统的用户，有权调整其参数，并积极参与这些系统所作出的决策过程。如果用户是产品工作原理的一部分，用户体验会更越好。作为一个例子，一款网络社区类软件QSearch开发了一个“用户控制的变量选择”功能，授权客户在人工智能系统制定不同的变量测试关于影响因素的选择和品牌活动的整体有效性等不同的话题。它的工作方式是：一旦客户指定了一个活动目标、预算和时间框架，人工智能系统就会产生相关的变量，并对每个变量对结果的可能贡献进行排名。当低置信度变量被识别出来，客户可以选择改变变量的权重或完全改变变量。此外，QSearch还为用户提供补救措施，以改进人工智能决策，它将影响者营销活动分解为活动表现和活动结果，然后它列出了潜在的的相关因素，而客户可以调整这些因素，还可以监视运行程序，改进其产生决策的过程，这一模型也为可解释性模型的建构提供了良好的基础。
最后，一些参与者强调了认识人工智能局限性的重要性。正如一些参与者所提醒的那样，人工智能从来没有100%预测的准确性，所以需要将XAI解决方案集成到产品或服务中，并创建一个无缝衔接——解释不应被视为产品的附件；解释应该是产品的一部分，并且是难以区分的部分。
6
提高人工智能透明度、可解释性的建议
XAI 的部署需要大量成本，对于公司来说，从工程费用到合规到实施的成本很高，而投资回报具有高度的不确定性，所以更需要制定最佳的计划来评估XAI 对公司的附加值，以及计算XAI解决方案实施的总成本。
但是，XAI 解决方案可以从多个角度为公司产品提供附加值。在业务方面，可解释性方案可能会转化为产品的改进，让竞争性市场差异化，从而开发更负责任的人工智能产品，带来行业的整体进步，这可以转化为增加的用户信任、额外的收入、更大的品牌认知度等。
然而，正如一些文献所强调的那样，实施XAI的总体成本将是多方面的，从人力和技术资源，到工程路线图和营销策略的变化，以及维护和更新其 AI 系统的成本，这显着增加了人工智能公司的工作量和人力时间成本，所以可能对规模较小、资源较少的参与者不利。因此，这些障碍可能会导致公司采用“次优但易于解释的模型”。对此，报告提出以下建议：
(一) 加强与政府机构的合作
从监管的角度来看，在制定XAI监管指导和要求时，决策者可以统计行业和技术界的投入，估算这些附加值和实施成本，发布相应的实践准则和技术指导，并提供价值估计和计算方法的具体例子，创造政府和监管机构 “连接点”，弥合规范指导与实用之间的差距，有助于行业规划和人工智能可解释性可持续发展。这些技术规范的起草将授权合规成本评估的监管机构。例如《OECD关于合规成本评估的监管指南》（CCA）为监管成本的计算提供了实际的指导说明，概述了与采用新规定有关的事前和事后估计成本的方法。同样，各个公司可以根据相应规则制定关于 XAI成本的实际运作模式，包括劳动成本(例如部署XAI所需的工资成本)、管理费用成本、设备、外部服务成本等。
(二) 通过更多的工具、资质认证、教育培训等，让XAI更加切实可行
在技术方面，可以利用工具包、软件工具、技术文档和标准来检查人工智能系统的整体可靠性。在程序方面，可以在行业、政府和民间社会组织之间合作，制定治理框架指南以及风险管理工具，以全面和包容的方式记录 XAI 程序。最后是教育工具，提高利益相关者对人工智能决策的理解和认识，人工智能公司应变革管理流程、能力建设工具和培训计划以服务于不同类型的受众，从广大公众到特定的受影响群体。
(三) 探索新的互动方式来共同创造和传播，加强公私合作
正如现有关于 XAI 的文献所记录的那样，多个利益相关方应对 XAI 挑战的方法所产生的好处是多方面的，包括与外部参与者（包括最终用户）更有效地共享知识。然而事实上， XAI 解决方案主要服务于内部利益相关者而不是外部利益相关者。
所以，需要促进人工智能的开发者与多主体共同设计和制定政策，例如公民参与、战略远见和协作实验。监管机构应积极了解与其监管框架相关的科技趋势，提高潜在监管框架或创新政策的质量，向科学技术界提供支持。
7
欧盟通过《加密保障安全和加密的安全问题决议》
尽管近年来人们对AI的技术监管不断细化，但现阶段AI透明度与可解释性的概念并未付诸实践。而本项目由参与者记录其实施 XAI 解决方案的实验过程，拓宽人工智能开发和治理的视野，也让XAI方案更具有可操作性，提高用户对人工智能产品质量的期望。
[1] AI Singapore是由国家研究基金会发起的国家人工智能项目，旨在挖掘国家在人工智能方面的深厚能力，从而创造社会和经济影响，培养当地人才，建立人工智能生态系统。
[2] Aicadium是一家总部设在新加坡的全球科技公司，致力于利用 深厚的专业知识和一个通用的机器学习平台，创建和扩展人工智能解决方案，与一些公司合作，在各种行业和用例中构建和实施有影响力的端到端人工智能解决方案。
[3] TTC Labs是一个共同创造的实验室，它围绕着数据推进用户体验 。TTC实验室由Meta发起和支持，通过设计思维推动政策制定者、隐私专家和技术人员之间的合作。它的愿景是在人与人和数据之间创造有意义的体验，对 所有人都是可持续和公平的。
[4] Craig Walker为世界领先的组织进行设计和研究，覆盖技术、金融服务、建筑环境和基础设施等领域，他们的多学科的团队运用他们的专业知识和经验，来帮助客户创造新的机会和解决疑难问题。
[5] 我们用于测试和评估新加坡 MF 和 ISAGO 框架的政策模型，由精选的有关 T&E 的相关条款组成，主要取自 MF 的前言部分，简介（模型框架的目标、指导原则）和模型 AI 治理框架（运营管理、利益相关者互动和沟通）；和ISAGO的部分运营管理和利益相关者的互动和沟通。
[6] Cynthia Rudin,.”Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead”Nature Machine Intelligence, Vol 1, May 2019, 206-215.
[7] Nodeflux是一个集成数据平台，包括大数据、 iOT、机器学习、分布式计算等等。
李容佳 | 清华大学智能法治研究院实习生
选题、指导、修订 | 刘云
编辑 | 朱正熙
注：本公众号原创文章的著作权均归属于清华大学智能法治研究院，需转载者请在本公众号后台留言或者发送申请至computational_law@tsinghua.edu.cn，申请需注明拟转载公众号/网站名称、主理者基本信息、拟转载的文章标题等基本信息。
