×

原创 具身智能安全治理丨人工智能与公共安全

hqy hqy 发表于2025-04-26 05:23:36 浏览4 评论0百度已收录

抢沙发发表评论

原文刊载于《中国科学院院刊》2025年第3期专题“人工智能与公共安全”,本文为精简改编版

徐文渊 冀晓宇* 闫 琛 程雨诗

浙江大学 电气工程学院

具身智能(EAI)作为下一个人工智能浪潮的重要方向,正逐步渗透到日常生活、工业生产、医疗健康乃至国防安全等领域。然而,组成具身智能复杂系统的硬件、软件、算法等都存在脆弱性,若被恶意攻击者利用,会对个人安全、社会安全甚至国家安全构成严重威胁。在此背景下,文章从具身智能信息域、物理域、社会域视角出发,围绕其本体安全、交互安全和应用安全3个层面,探讨具身智能安全内涵与安全体系。同时,针对具身智能安全风险防范,文章提出具身智能安全防护体系和综合治理措施,以期为具身智能安全治理提供科学指导。

一、具身智能及其安全背景

1.1 具身智能定义及构成

1950年,图灵在其开创性论文Computing Machinery and Intelligence中描绘了具身智能(EAI)愿景——机器能够像人类一样感知环境、推理决策并付诸行动,这代表了人工智能发展的终极形态。此后,具身智能大致经历3个发展阶段(图1)。

① 在硬件发展阶段(20世纪70年代起),具身智能的传感器、处理器和执行器等硬件取得进展,为构建具备多模态感知能力的机器人奠定硬件基础;

② 在算法提升阶段(21世纪10年代起),深度学习、强化学习等算法开始广泛应用于具身智能,提升其感知和控制能力;

③ 在通用智能阶段(21世纪20年代起),大语言模型和视觉-语言-动作模型的涌现,为具身智能带来认知架构的范式革新,标志着通用具身智能成为主流趋势。

图1 具身智能发展历程时间

具身智能指基于物理实体进行感知和行动的人工智能系统,通过与环境交互获取信息、理解问题、做出决策并实现行动,从而产生智能行为和适应性。如图2所示,具身智能主要包括2个核心部分:

① “大脑”,指具身智能的模型与算法部分,模拟人类思维与决策过程,负责高级推理、决策、规划并指导与环境交互。

② “肉身”,指具身智能系统的硬件设施和物理实体,包括传感器、执行器、网络通信、电源等硬件设备。“肉身”是具身智能体具备基本生存能力的硬件基础,呈现多种形态,目前主要为机器人和自动驾驶汽车。

图2 具身智能体的构成和应用

具身智能为“人、机、物”三元世界引入高等级“智能”、“关联”和“交互”能力,将人类社会、信息世界和物理世界“对齐”在统一平台上,成为构建统一人类智能、机器智能和物理智能“巴别塔”的基石。未来,具身智能必将在更多领域展现出巨大潜力,引领人类走向更加智能化的时代。

1.2 具身智能安全背景

目前,具身智能在实际应用中暴露严峻安全隐患:2023年11月,韩国一名工人被机械臂误识别为货物而致命;2022年,全球范围内发生近400起自动驾驶事故。上述具身智能安全事件的本质成因是具身智能“大脑”和“肉身”均存在脆弱性,在感知、决策、执行、交互过程中的任意环节出错都会引发事故,威胁个人、社会和国家安全。

针对日益严峻的具身智能安全问题,各国政府在积极探索有效的防护治理模式。目前,针对机器人和自动驾驶等典型具身智能应用范式,ISO组织已经立项标准ISO/CD 13482:2023,明确个人、专业、商业应用服务机器人安全需求。2024年7月,Communications of the ACM期刊发表文章呼吁尽早建立具身智能标准。我国也在相关领域开始布局,相继发布《具身智能发展报告》《2024具身智能全景图1.0》等重要文件和报告。

然而,当前国际社会在具身智能领域仍缺乏统一、规范化标准,安全治理体系存在明显空白。建立多维度、系统性的安全治理方案迫在眉睫。针对具身智能安全治理问题,本文首先定义具身智能安全内涵和安全体系。针对如何有效防范具身智能安全风险,本文提出具身智能综合评测及防护框架,以期为具身智能安全治理提供指导。

二、具身智能安全内涵与体系

如图3所示,具身智能安全内涵包括本体安全、交互安全和应用安全。

图3 具身智能安全内涵及体系

2.1 具身智能本体安全

2.1.1 具身智能算法安全

具身智能算法安全关注具身智能对环境和指令的准确理解,及其做出安全可靠规划和决策的能力。以具身大模型为核心算法的具身智能,不仅继承了传统AI中的安全威胁,如对抗样本、数据毒化和逆向工程攻击,还面临提示注入攻击、越狱攻击和偏见攻击等大模型安全风险,尤其面临大模型与“肉身”结合之后特有的安全风险,如具身智能行为安全对齐问题。研究表明,通过精心构造具身智能大模型输入,可以绕过其安全对齐机制,从而触发具身智能的恶意行为,如拿刀杀人。

2.1.2 具身智能感控安全

具身智能感控安全指在具身智能与物理环境交互过程中,确保其感知与执行过程的安全性与可靠性。具身智能的物理交互涉及2次跨域:

以感知为核心的物理域到信息域的跨域;

以执行为核心的信息域到物理域的跨域。

在上述过程中,具身智能体需要利用传感器准确感知环境信息并利用执行器正确执行决策模块的动作。

传感器安全:具身智能系统通过各类传感器获取环境信息,经识别处理后,辅助决策模型进行决策。然而,传感器存在机械共振、电磁共耦、器件非线性、信号无鉴权等脆弱性,容易被环境信号(如声音、激光、可见光、电磁等)无意干扰或恶意攻击,从而影响感知正确性和系统安全性。研究表明,声波信号可利用摄像头惯性传感器机械共振脆弱性,使成像画面抖动模糊,从而导致目标识别出错;激光信号可以利用激光雷达回波信号无鉴权脆弱性,消除、篡改或伪造点云 ;还可以利用麦克风非线性脆弱性,构造超声波信号注入无声恶意语音指令。

执行器安全:具身智能依靠执行器与环境交互,从而改变外界物理环境的状态。确保执行器安全是具身智能安全体系的最后一道防线,也是保障整个系统安全运行的关键环节。然而,执行器同样面临多种安全威胁,例如电磁干扰攻击和电源攻击等。研究表明,电源模块的恶意攻击利用内部线路的天线效应和非对称性,篡改扬声器的输出信号从而引发错误行为。

2.1.3 具身智能数据安全

具身智能数据安全指在保护数据在采集、传输、存储和处理过程中的安全性与隐私性,防止攻击者干扰、窃取或破坏数据,从而确保具身智能体决策准确性并保障用户数据隐私。

训练数据安全风险:具身智能训练数据安全指训练数据必须具备纯净性、公正性和对齐性,以确保模型训练的可靠性和安全性。若在训练或微调具身大模型时使用中毒数据,可能导致模型被植入隐蔽后门。一旦后门被触发,可能引发严重后果,如车辆加速冲向障碍物或机器人拿刀杀人等。

用户数据隐私安全:用户数据隐私安全指具身智能在采集、使用、传输用户数据时不侵犯和泄露用户隐私。在数据采集阶段,具身智能体需要有效采集和处理感知信息并且防止攻击者从侧信道等方式窃取隐私信息;在数据使用阶段,存储于具身智能系统里的数据可能被窃取从而泄露用户隐私;在数据通信阶段,具身智能采集的用户数据、任务数据和环境数据在传输过程中可能受到中间人攻击而泄露。

2.2 具身智能交互安全

2.2.1 人—机交互安全

具身智能人—机交互安全指在具身智能体与人类交互过程中,确保具身智能不会对人类造成任何伤害,从而实现人机可信赖的协同与和谐发展。这需要通过限制具身智能的活动区域、设计安全规则等手段,确保其在所有预期使用场景中的行为对人类无害。

2.2.2 机—物交互安全

具身智能机—物交互安全指具身智能体在与物理环境中的对象进行交互时,确保交互过程能够在不破坏无关物体的情况下实现预期目标。这涉及具身智能体动作执行的可靠性,能够正确地搬运、放置、使用环境中的目标物体,从而避免对环境中的物体造成损坏。

2.2.3 机—机交互安全

具身智能机—机交互安全指在多个具身智能体共享同一环境时,确保交互过程中避免对其他智能体造成损害或安全风险,同时维持协作高效性和系统稳定性。通过行为规划协调和优先级规则设定,避免因冲突或竞争导致不安全情况,构建可靠、和谐的多智能体协作环境。

2.3 具身智能应用安全

2.3.1 具身智能信息域安全

具身智能信息域安全指在具身智能系统部署过程中,确保模型、组件、适配器等在网络传输中的完整性与保密性,以免受外部干扰或恶意操控。若恶意攻击者在开源模型或适配器中植入后门、通过插件获取非必要权限,甚至在供应链中注入安全漏洞,可能导致严重的安全隐患与隐私泄露。

2.3.2 具身智能物理域安全

具身智能物理域安全指在具身智能系统运行过程中,确保其在物理世界中的安全,防止攻击者对具身智能体或其所在环境实施干扰、破坏或劫持等行为。为实现物理域安全,具身智能系统需要构建全面的物理域风险检测与阻断能力,识别潜在的恶意指令、异常信号甚至恶意实体,避免外部攻击者侵入系统或引发危险行为。

2.3.3 具身智能社会域安全

具身智能社会域安全指在具身智能系统应用过程中,确保其符合法律、伦理和道德准则,与人类价值观保持一致,避免对社会产生负面影响。在具身智能体决策过程中,需引入伦理考量,避免侵犯用户隐私、产生偏见歧视及算法决策不透明等问题。

三、具身智能安全防护及治理

3.1 具身智能安全评测体系

具身智能安全评测体系需要覆盖评测标准、评测数据集、评测技术和评测工具平台等,为具身智能安全发展提供科学、系统的支持。

(1)建立具身智能安全标准体系

把握具身智能 “人-机-物“深度融合的关键特征,构建涵盖本体安全、交互安全和应用安全的完整标准体系,构建具身智能安全等级保护标准和评测标准。

(2)构建安全评测数据及技术

构建包含各类安全任务以及多模态传感器信号的具身智能安全测试数据集,研究模块级与系统级具身智能安全评测技术。

(3)构建规范化评测工具平台

建设多物理场驱动的具身智能本体安全带内带外脆弱性评测平台,建设虚实结合、人机协作的具身智能交互安全评测平台。

图4 具身智能安全评测及防护

4.1 具身智能安全防护技术

具身智能安全治理应关注基础理论、安全设计、生产实现等方面的具体防护技术。

(1)突破可信具身智能关键基础理论与技术

重点发展具身智能价值对齐技术,增强具身智能内生安全,发展具身智能策略监测与自诊断技术,实现对系统内在机理的反向推断与监测。

(2)发展全链路数据隐私保护技术

系统研究数据在感知、储存、传输和使用全生命周期中的隐私保护技术,构建完整的具身智能隐私保护体系。

(3)保障具身智能软硬件供应链安全

推动具身智能关键软硬件国产化、自主化,打造更安全、自主可控的产业体系,保障具身智能产业安全。

(4)思考改进具身智能系统设计规范

结合不同应用场景和安全等级要求,在系统设计阶段优先考虑安全需求与目标,形成科学完备的设计规范。

4.2 具身智能安全治理原则

目前,具身智能仍处于发展早期阶段,尚未出现重大轰动性安全事件。然而,需尽早开始探索、实践具身智能治理方案与制度,引导具身智能产业良性发展和培育。

(1)建立全流程具身智能监管体系

贯彻我国针对生成式人工智能技术与应用治理的方针路线,秉持促发展和强监管并举的理念,推进建设事前备案、事中风险评估以及事后溯源监测的全流程监管体系。

(2)重视具身智能社会域伦理问题

关注具身智能带来的伦理规范与社会问题,妥善处理新型人机关系并通过立法等措施,明确具身智能责任归属问题。

(3)推动完善具身智能治理格局

建立政府引导、行业自律、企业自治、学界引领、社会监督等多主体协同下的敏捷治理体系与具身智能治理格局。

(4)发展形成最低安全管控机制

为避免具身智能系统在关键应用领域失控,造成巨大破坏,应发展最低安全管控机制,实现安全托底。

4.3 具身智能安全建议与未来展望

具身智能安全是网络空间安全在智能时代下的新形态、新挑战,也是各国战略竞争新的制高点。未来应重视以下具身智能安全方面相关工作。

(1)促进学科交叉发展,形成具有中国特色的具身智能安全治理方案

具身智能是全流程、全生命周期的安全,需要人工智能、控制科学、社会学等领域跨学科交叉合作研究,共同推进具身智能安全整体治理。

(2)突破基础理论研用,提升我国在具身智能安全领域的国际话语权

具身智能安全是重要新型研究领域,需突破基础理论,构建系统化研究体系,同时注重产研转化,推动研究实际应用落地,形成自主可控的技术体系,为我国在该领域确立国际话语权和竞争优势提供有力支撑。

(3)加快人才培养培训,推动我国具身智能产业的良性、健康发展

推动具身智能安全的产、学、教深度融合,充分促进学术界与工业界优势互补,通过人才培养与技术创新双轮驱动,形成良性互动的发展格局。

作者简介

徐文渊 浙江大学电气工程学院教授。电气电子工程师学会会士。主要研究领域:物联网安全、具身智能安全、智能电网安全等。

文章来源

徐文渊, 冀晓宇, 闫琛, 等. 具身智能安全治理. 中国科学院院刊, 2025, 40(3): 429-439.

DOI:10.16418/j.issn.1000-3045.20250218002.

本刊发表的所有文章,除另有说明外,文责自负,不代表本刊观点。返回搜狐,查看更多