随着人工智能技术的发展，不少应用程序存在着“技术黑箱”的问题——其决策过程不透明且难以解释。这种现象引发了公众的担忧，人们开始呼吁AI应该具备“可解释性”。然而，今天的文章中，作者指出，对可解释性的追求和性能之间存在张力，一味追求“可解释性”也有后果。作者主张以一种更均衡、更因地制宜的方式看待这一问题，并提出了具体建议。
随着人工智能（AI）能力的演化与发展，它们突破了人类认知的边界。许多人工智能的应用程序存在“技术黑箱”（"black boxes"），即其决策的机制是不透明的，难以清晰解释和被人所理解。但是，随着政府、活动家和公众越来越了解与高深莫测的算法相关的风险——比如，通过在凯西·奥尼尔（Cathy ONeil）的作品《数学杀伤性武器》（Weapons of Math Destruction）等文章中对“可解释性AI”的呼吁，董事会、技术会议和研究实验室开始重视这一问题。如果AI系统作出自我决策，那么人类也应当理解这一决策做出的方式和原因。
这个问题看似直接。欧盟的《通用数据保护条例》（European Unions General Data Protection Regulation）等框架性协议为个人提供对人工智能自我决策程序的“要求解释的权利”（ "right to explanation"）；而电子前沿基金会（Electronic Frontier Foundation）、OpenAI和美国民众自由联盟（ACLU）等组织一直强调AI透明度的重要性，尤其是当决策的结果对个人权利产生直接影响时；类似的观点也得到了诸如“AI伙伴关系”（Partnership on AI）这样的影响力科技组织与民众权利组织之间的合作联盟的响应。
但是，尽管某些系统的设计必须达到一定的“可解释性”标准，但其他系统可能并不需要这种透明度。当涉及到日常工具和应用程序，例如像流媒体平台上的算法推荐机制以及智能手机上的自动更正功能：虽然我们可以理解为什么系统可以推送特定喜好的歌曲或电影，或者为什么选择某个单词替换原先拼写错误的单词，但这些算法的复杂细节对普通用户的体验或对系统的信任并非至关重要。相反，最重要的因素是系统的有效性和可靠性。事实上，在这种情况下追求无关紧要的透明度反而会导致信息过载，让用户觉得不耐烦甚至感到困惑。这就像要求驾车者详细了解汽车发动机的机械原理一样：有些人可能感兴趣，但大多数人都知道它会让他们安全地从 A 点到达 B 点就足够了。
在某些情况下，可解释性无疑是至关重要的。例如，在医疗保健领域，深度学习模型已被医院采用，以预测患者健康状况的突然恶化，如败血症或心力衰竭。尽管这些模型可以分析大量患者数据（从生命体征到实验室结果），并警示医生关注潜在的问题，但它们所能提供的从现象到解释的飞跃却是复杂计算的结果。因此，临床医生可能不清楚他们所用以确诊的结论的确切来源途径和数据组。这种“黑箱”性质可能使医生难以在不理解其推理的情况下完全信任模型的预测，尤其是在生死攸关的情况下。因此，用于检测皮肤癌或病变的 AI 模型在诊断的同时还要提供视觉热图，突出显示由模型发现恶性肿瘤的皮肤图像的特定区域，从而使皮肤科医生能够了解 AI 的侧重点和推理过程。通过提供所聚焦区域的可视化表征，AI系统允许医疗保健专业人员“看到”模型正在检测的内容，使医生能够将AI的发现与他们自己的专业知识相互印证。
另一个例子是国家安全：像部署在机场、体育场馆和其他大型公共场所监控摄像头中的先进AI系统，可以根据面部识别、行为模式等技术，检测安全威胁，并以惊人的速度处理大量数据。然而，虽然它们可以将人或情况标记为可疑，但这种决定背后错综复杂的推理网络——结合了面部识别、运动模型，甚至可能还包括生物识别数据技术——可能很难完全被阐述或被理解。在这一领域，可解释的系统会将特定的动作（如无人看管的包）或行为（一个人频繁地左顾右盼）标记为指标，而不是无依据地标记某个人。AI系统通过标记和详细解读被认为可疑的具体动作或行为，呈现决策过程，不仅可以帮助安保人员快速决策、避免错误，还可以帮助他们进一步完善和训练AI系统。
在法律领域，一些司法管辖区已经开始使用AI系统来帮助裁定向当事人提供保释或假释的相关风险，分析包括过往行为、家族史等诸多因素在内的影响，从而生成风险评分。但尽管这些系统的目标是保护人群，但引致最终决策的推理过程却无法向人类解释。虽然它们能提供风险评分，但每个案件中不同因素的准确权重或重要性，或者它们之间如何相互作用都是难以捉摸的。这种模糊可能会造成问题，尤其是在涉及个人自由和权利时。
▍没有简单的答案问题来了：为什么不干脆确保所有人工智能系统都是可解释的呢？
首先，由于不同机器学习模型的内在特性及数据呈现和决策过程中固有的矛盾，在可解释性和性能之间的权衡成为必要。模型是对现实的理想化、简易化的表示，这意味着它们可能必然会牺牲精确性来换取可追溯性和一定的解释力。从这个意义上说，模型可能并不完全 “真实 ”或精确，但它在理解和预测现象方面仍然非常有效。使某些模型更具可解释性的那些特征（它们的简单清晰的决策边界以及对较少特征的依赖），可能会限制它们捕捉和利用所有可用信息的能力。同样，以更复杂的方式利用更多数据的模型，也能产生强大的决策，但却因此而更难以为人所表达和理解。
为了管理AI模型的使用，领导者需要进行分析并设置优先级。在精确、准确地描述现实与拥有一个实用、有效的理解、预测和干预工具之间，又该怎样才能取得最佳平衡？
以下是领导者在考虑做出权衡时需要考虑的五个问题：
1. 兼顾复杂性与简易性（Balancing complexity with simplicity）：更复杂的模型，如深度神经网络，可以捕捉到数据中错综复杂的关系和细微差别，而简单的模型可能会忽略这些，从而使得复杂模型在准确性方面更出色。但是，模型的复杂性可能恰恰使其更难以解释。相反，更简单的模型（如线性回归或决策树），由于其简单性而更容易理解，尽管可能无法捕捉到数据的所有细微之处。
为了在复杂性和简易性之间进行权衡，领导者应该平衡风险和回报。
分析与AI决策相关的潜在风险：如果一个错误的决策可能会造成重大伤害或损失成本（比如在医疗保健或法律决策中）应优先考虑可解释性，即使这可能牺牲一些性能。领导者应设法接受适度的复杂性，根据决策目标对复杂性做出更稳妥的选择：即要捕捉错综复杂的数据模式，可能适合采用更复杂的模型。但使用AI输出结果的决策者应始终了解模型在可解释性方面固有的局限性。
2. 平衡普适性与特殊性（Balancing generalization with particularization）：可解释性强的模型，如线性回归或浅层决策树，它们能根据精确且普适的规则做出决策。但这些一般性规则可能并不总能捕捉到数据中特定或复杂的模型，从而可能导致性能降低。由于更复杂的模型可以识别并使用这些更特殊、更复杂的模式，因此它们的输出结果可能更难被人们解读。
领导者应承认语境的重要性。并非所有的AI应用都需要相同程度的可解释性；用于医疗诊断的AI可能会比用于推荐电影的AI需要更高的透明度和可视化。他们还应教育利益相关者了解模型中的细微差别。定期培训那些与AI系统发生互动或依赖于AI系统的一般规则和具体复杂性的利益相关者，确保他们熟知AI的能力边界、局限性和潜在偏见。
3.强调适应性胜过过度拟合（Emphasizing adaptability over overfit）：高度复杂的模型有时能“记忆”训练数据（这就是所谓的 "过度拟合"）从而捕捉噪声而非基本的数据分布。这可以提高训练数据的准确性，但通常会导致对新的、非可视化数据的泛化能力差。因此，更简易、可解释性更强的模型在训练集上可能无法达足够高的准确性，即使它们可能更稳健、更具有普适性。
由于对新数据的适应性至关重要，领导者应确保稳健性而非训练数据的准确性，始终评估和监控人工智能模型在新数据上的表现。此外，领导者应努力优先考虑反馈回路，特别是在关键领域：如果人工智能系统做出建议或预测，人类专家应拥有最终决定权，他们的决定应被反馈回人工智能程序中，以完善人工智能模型。
4. 人为设计会妨碍模型的清晰度（Engineering can impede a models legibility）：要使简易的模型实现高性能，可能需要进行大量的人为操作，这可能涉及到基于专业领域知识从数据中人为创建新特征。但是，虽然人为主观设计的特征可以使模型性能更高，但如果转换不直观，也会降低模型决策的可解释性。
领导者在选择人为设计特征时应考虑到可解释性。如果你的人工智能应用需要人为设计操作的功能，请确保这些功能不会增加不必要的不透明度，并在提高性能和保持清晰度之间取得平衡。其次，增强性能不应影响可理解性。一种解决方案是采用混合方法，将机器决策与人工决策相结合。虽然通过人为设计特征人工智能可以快速处理数据，并提供细致入微的见解，但是人类的专业知识则可以提供必要的背景信息和可解释性，从而确保清晰度。
5. 计算效率与有效性之间的权衡（The trade-off between computational efficiency and effectiveness）：虽然较简单、可解释的模型通常需要较少的计算能力和存储（这使它们在部署时更有效率），但高度复杂的模型性能更好，与此同时训练和部署程序的计算成本却很高。在部署人工智能模型时，尤其是在实时场景中，要权衡模型的简洁性和易计算性与更复杂、计算密集型模型的潜在性能提升之间的优势。通常情况下，一个比较简单的模型就足够了，尤其是在计算资源有限的情况下。在这方面，保持更新迭代尤为重要：这一领域发展迅速，领导者应定期重新审视和完善人工智能部署，以确保它们符合不断变化的标准和需求，同时确保模型保持计算效率。
▍平衡之道我们的目标不是以牺牲性能为代价完全转向可解释性，也不是以牺牲可解释性为代价完全转向性能，而是找到一种平衡的方法，根据每种人工智能应用的独特风险和回报来进行调整，同时考虑到对人类和环境的影响，这些影响与建设一个我们都可以信赖的未来的目标密不可分。
汉密尔顿·曼是泰雷兹集团数字营销和数字转型副总裁。他还是欧洲工商管理学院（INSEAD）、巴黎高等商学院（HEC Paris）和巴黎高等商学院商学院（EDHEC Business School）的数字转型高级讲师，并作为麻省理工学院普莉希拉-金-格雷（PKG）中心的导师，积极参与推动数字技术发展，促进正向的社会变化。
来源：《斯坦福社会创新评论》英文网站2023年11月15日原标题：Do All AI Systems Need to Be Explainable?
推荐阅读往期回顾
