今天分享的是:2025前沿人工智能风险管理框架报告
报告共计:53页
《前沿人工智能风险管理框架(1.0版)》由上海人工智能实验室联合安远AI发布,聚焦通用型人工智能(General-Purpose AI)的风险管理,旨在为模型研发者提供全面指导,以识别、评估、缓解和治理相关风险,保障公共与国家安全。
当前AI技术快速发展,在带来科学发现、医疗提升等机遇的同时,也伴随诸多风险,建立风险管理机制已成当务之急。框架借鉴安全攸关行业经验,涵盖六大核心流程。风险识别明确滥用、失控、意外及系统性四类风险,如滥用风险包括网络攻击、生物化学威胁等,失控风险涉及被动与主动失控场景。
风险阈值设定“红线”(不可接受后果)和“黄线”(早期预警指标),针对网络攻击、生物安全等关键领域设定具体阈值,触及红线需立即阻断风险,触及黄线则需预警评估。
风险分析贯穿AI全生命周期,研发前用威胁建模等技术,部署前采用自动化基准测试等,部署后通过实时异常检测等持续监测。风险评价采用绿、黄、红三区分类体系,对应不同处理方式,如红色区域需暂停部署或研发。
风险缓解构建全生命周期纵深防御策略,包括安全训练、部署缓解及模型安保措施,并按风险区域设定不同保障级别。风险治理提出四维体系,涵盖内部治理、透明度与社会监督等,同样依风险区域分级管理。
框架强调AI安全是全球公共产品,倡导各方采用兼容框架,通过协同共治应对风险与机遇,且将持续迭代更新。
以下为报告节选内容