×

浅谈人工智能可解释性

hqy hqy 发表于2025-03-02 07:43:50 浏览15 评论0百度已收录

抢沙发发表评论

01

引言

近年来，人工智能在金融机构中广泛用于信贷审批、客户识别、精准营销，但部分人工智能决策逻辑难以解释，仍存在黑盒问题。由于缺乏可解释性，人工智能的表现和应用饱受质疑，从而阻碍其进一步应用。随着《新一代人工智能伦理规范》出台，对人工智能可解释性提出明确要求，要求在算法设计、实现、应用等环节，提升透明性、可解释性、可理解性、可靠性、可控性，增强人工智能系统的韧性、自适应性和抗干扰能力，逐步实现可验证、可审核、可监督、可追溯、可预测、可信赖。为提高人工智能的可解释性，建立用户与决策模型之间的信任关系，消除模型在实际部署应用中的潜在威胁，金融机构应结合目前存在的问题及自身业务特点，对可解释性方法进行深入研究，发挥其潜在能力，不断深化人工智能应用，保护金融服务消费者的合法权益。

02

可解释性方法

在实际的学习任务中，我们是直接选择结构简单易于解释的模型加以训练，还是在训练复杂的最优模型后开发可解释性技术加以解释呢？基于这两种不同的选择，人工智能可解释性可分为两类：事前可解释性和事后可解释性。1.事前可解释性事前可解释性指模型内置可解释性，即对于一个已训练好的模型无需额外信息即可理解其决策过程和决策依据。在学习任务中，我们通常采用结构简单、易于理解的自解释模型来实现事前可解释性，如朴素贝叶斯、线性回归、决策树模型等。

此外，也可以将可解释性直接结合到模型结构中来实现模型内置可解释性，如广义加性模型、注意力机制等。

2.事后可解释性事后可解释性旨在对一个已训练好的模型设计高保真的解释方法解释模型的工作机制、决策行为和决策依据。根据解释目的和解释对象的不同，事后可解释性又分为全局可解释性和局部可解释性，所对应的方法分别称为全局解释方法和局部解释方法。（1）全局可解释性全局可解释性旨在帮助人们从整体上理解模型背后的复杂逻辑以及内部的工作机制，这要求我们能以可理解的方式来表示一个训练好的复杂模型。典型的全局解释方法包括规则提取、模型蒸馏等。

（2）局部可解释性局部可解释性旨在帮助人们理解模型针对每一个特定输入样本的决策过程和决策依据。与全局可解释性不同，模型的局部可解释性以输入样本为导向，通常可以通过分析输入样本的每一维特征对模型最终决策结果的贡献来实现。在实际应用中，由于模型算法的不透明性、模型结构的复杂性以及应用场景的多元性，提供全局解释通常比提供局部解释更困难，因而针对模型局部可解释性的研究更加广泛，局部解释方法相对于全局解释方法也更常见。经典的局部解释方法包括敏感性分析、局部近似、反向传播、特征反演等。

03

可解释性评价

《人工智能算法金融应用评价规范》从算法建模准备、建模过程、建模应用三个阶段提出人工智能可解释性评价的基本要求及判定准则。

与模型无关的可解释评价内容部分摘录如下：

04

可解释性应用

一是提升人工智能表现。可解释性有助于发现模型中存在的问题，从整体上纠正错误。在贷款审批模型中，人工智能模型可能会将某些与贷款审批无关的特征与审批结果联系起来，如姓氏等。利用可解释性技术发现，这可能是由于部分训练样本的特征与审批结果的分布造成的，样本数据中张姓客户的审批结果均为通过，导致模型认为张姓客户具有较好的资信水平。针对此可采取相应措施，去掉客户姓氏特征，或引入其他数据对样本分布进行平衡等方法纠正模型的错误。金融机构可以利用这种可解释性对模型表现不到位、不合理的地方进行分析，在实现一定的可解释性的同时，提升人工智能模型的算法表现。二是提升业务水平。人工智能强大的数据表现能力结合其可解释性，有助于金融机构发现数据中部分难以发现的潜在模式，为其业务和风险监控提供指导。在反欺诈领域，由于欺诈行为往往快速变化，且具有明显的掩盖自身行为模式的动机，因此反欺诈工作需要不断发现隐藏在数据中的变化。如果仅仅利用不可解释的模型进行预测，则无益于提升相关人员的反欺诈业务能力，对于误拒绝的正常交易以及可能连带发生的投诉也难以溯源。结合人工智能的可解释性，进一步提炼欺诈分子作案的可解释、可操作的业务特征，最终指导相关人员更好识别和预防欺诈行为，可提升其业务水平。与此类似，对于金融市场数据的可解释性学习和分析也有助于金融机构更好地把握金融市场中快速变化的、隐匿的趋势和行为模式，挖掘对市场变化影响更大的因素从而提高金融机构对市场的把握能力。三是提升人工智能治理能力。可解释性使得人工智能算法更透明、更可控，为金融机构更好实现人工智能的算法治理打下坚实基础。在算法建模过程中，可将解释性纳入考虑，在同等表现情况下优先选择可解释性强的算法，在取得阶段性建模成果后及时利用可解释性迭代提升模型性能和指标表现。在模型运行过程中，可基于模型可解释性建立模型监控机制，结合模型运行中出现的问题以及模型提供的相关数学解释还原业务场景，及时对模型的表现进行优化。参考文献：[1]纪守领,李进锋,杜天宇等.机器学习模型可解释性方法、应用与安全研究综述[J].计算机研究与发展,2019,56(10):2071-2096.[2]林阳.浅析可解释人工智能在金融业的应用及发展[J].中国信用卡,2023,(07):55-58.[3]王冬丽,杨珊,欧阳万里等.人工智能可解释性:发展与应用[J].计算机科学,2023,50(S1):19-25.

撰稿：车昊

编辑：童心怡

· 拓展阅读

1.浅谈社区发现算法及在商业银行风险防控中的应用2.数字人民币智能合约的应用研究3.企业级数据质量管理典型应用4.业务分析方法论之OSM模型简介5.监管数据溯源和确权的一般原则方法研究

数据治理周周谈

争取将数据治理

讲明白，说清楚，有价值

既然来了，点个在看再走吧~点击此处“阅读全文”查看更多内容