智能体安全法治保障路径
从内生安全到合规服务体系
智能体既能提升产业效率和公共服务能力,也可能因权限失控、数据滥用、责任不清和评估不足而放大风险。法治要为其设定稳定、清晰、可执行的制度边界,使技术红利的分配与风险后果的承担都有章可循。
当前,生成式人工智能正由生成内容的对话式模型向执行任务的智能体转变。过去,人工智能治理主要围绕虚假信息、算法备案和生成合成标识等领域展开,规制对象多为文本、图片、音视频等输出结果。而智能体不仅可以进行问答推理,能够拆解任务、调用工具、访问外部系统,并能在一段时间内连续执行,由此产生的风险可能表现为误发邮件、误改文件、越权读取数据、错误调用接口等。当模型从表达工具转变为行动系统时,人工智能治理将面临新的问题,即法律应如何重新规范配置智能体的安全义务与责任边界。
智能体运行中的行为风险
我国现有规则已为智能体治理提供了制度基础。《生成式人工智能服务管理暂行办法》对训练数据、生成内容、个人信息保护和安全评估提出具体要求;《互联网信息服务深度合成管理规定》关注深度合成服务中的信息安全风险;《人工智能生成合成内容标识办法》通过显式标识与隐式标识回应内容传播中的透明度问题。这些规范把人工智能纳入了可管理、可检查、可追责的框架,但其治理重心仍偏向内容输出端,而智能体的风险更多发生在任务执行端,单凭内容审核和结果标识已不足以覆盖权限、工具、数据与外部行为之间的复杂关系。
智能体风险的特殊性在于模型判断会被转化为现实行为。传统模型即使出现幻觉,造成的危害通常是信息误导、偏见内容等,但智能体一旦接入邮件系统、代码仓库、客户数据库或交易接口,错误判断便可能经由工具调用进入真实法律关系场景中,如牵连财产安全、商业秘密、个人信息和合同履行等。更需要警惕的是,这种转化往往并非源于模型自身的技术缺陷,还可能来自外部的恶意攻击。已有安全研究披露,攻击者可以把恶意指令藏在智能体处理的工单、网页或工具描述之中,诱导其在正常工作流程里泄露密钥或越权操作,这类“间接提示注入”类似针对自动化智能体的“钓鱼”活动,可能造成不可逆的损害后果。
智能体应用中的责任边界
智能体风险向行为端的转移也改变相应的责任结构。传统软件多按确定规则运行,责任判断可围绕功能设计、代码缺陷或用户误操作展开;智能体具有更强的开放性,同一目标可能被拆解为不同步骤,同一工具可能在不同语境中承担不同功能,研发者、部署者、工具提供者、企业用户与终端使用者之间的责任边界更难划清。实践中已出现的若干争议正源于此:用户虽已授权智能体接触特定系统,智能体却在超出预期的情形下自行执行高风险操作,若简单地把后果归于用户已授权或模型存在缺陷,都难以符合责任分配的基本原理。
更合理的责任分配路径是依据各主体对系统设计、权限配置、场景部署和运行管理的实际控制能力来分配安全责任。研发者掌握模型能力与对齐水平,应对基础安全性能负责;部署者选择应用场景、开放工具接口,应对场景适配和权限边界负责;企业用户授予具体操作权限,应对授权范围的合理性负责。控制能力越强、获益越多者,承担的安全义务也应越重。这与现有规则中“谁提供服务、谁承担主体责任”的逻辑一脉相承。只是在智能体场景下,主体责任需进一步沿着能力链条细化,而非停留于单一服务提供者。
智能体的内生安全
为应对行为风险,对智能体的治理应从外部过滤转向内生安全。内生安全是强调安全能力本身构成系统架构的组成部分,而非产品上线后附加的若干合规过滤提示。具体而言,智能体应在任务规划阶段识别超出授权的目标,在工具调用阶段受最小必要权限约束,在数据处理阶段防止越权访问和在目的外使用,在执行高风险操作前保留人工确认,并在事后形成可供审计的日志。这一构造可切实满足监管对可追溯的要求,欧盟《人工智能法案》即要求高风险系统具备自动事件日志记录能力以保证可追溯性,我国《生成式人工智能服务管理暂行办法》也要求服务提供者记录服务过程,留存不少于六个月。对一个会实际执行操作的系统而言,事后能够查清行为如何发生,本身就是安全的组成部分。
强调内生安全首先要遵循风险分级原则,且应以应用场景而非技术名称为基准。具体而言,用于写作和资料整理的智能体主要涉及信息准确与权利保护;用于企业内部流程可能触及商业秘密与客户数据;用于金融、医疗、就业、政务、司法和关键基础设施的智能体则可能直接影响个人重大权益和公共利益等。这种分级不能只考虑模型规模、参数数量或是否开源,还要围绕部署场景、权限范围、影响对象和后果可逆程度等展开,对高风险场景设置准入评估、人工复核、日志留存和退出安排。
记忆机制是智能体区别于其他生成式人工智能应用易被忽视的治理对象。为维持服务的连续性,智能体往往会通过跨会话方式保留用户指令、操作痕迹和业务数据。这类“长程记忆”若缺乏边界,可能演化为持续画像、隐性收集或跨场景的信息越权累积,与个人信息保护中的目的限制和最小必要原则形成张力。因此,智能体的这种“记忆”应被纳入数据安全治理范畴:用户有权知悉哪些信息被记忆、用于何种目的、保存多久,并能够查看、更正、删除或关闭;企业内部智能体还应在个人记忆、团队知识和组织资产之间作出区隔,避免员工偏好、客户资料与未公开经营信息在同一知识库中混同。
与此相应的是,技术评估也应从模型能力评测扩展为系统行为评估。一个模型在单轮问答中表现安全,并不意味着它在多个步骤任务中不会越权调用工具或被诱导操纵。近年,学界陆续提出面向智能体的评测方法:有的在银行、办公等模拟场景中专门检验工具调用对提示词注入的抵抗力,有的构造数百项明确有害的任务考察智能体是否会予以拒绝,有的用沙箱模拟工具执行,观察其在接近真实的环境中会触发何种安全后果。这些探索的共同目的在于把评估对象从“回答是否正确”转向“行为是否可控”,覆盖任务规划、工具调用、权限控制、数据流向、对抗鲁棒性和异常处置等环节。相应地,评估方法也应从静态题库转向沙箱测试、红队对抗、场景演练与上线后监测相结合等,并将评估理解为贯穿智能体生命周期的持续机制,而非一次性的准入手续。
智能体治理的合规保障
智能体的安全保障能否落地还取决于合规服务体系是否健全。人工智能合规具有明显的交叉属性,既涉及网络安全、数据安全、个人信息保护和知识产权,还涉及行业监管和企业内部控制等多项内容。应鼓励专业机构提供数据合规审查、系统安全测评、个人信息保护影响评估、算法备案辅导、红队测试和事故演练等服务,使规则要求转化为企业可执行的技术与管理措施。国内已出现将“内容安全”与“行为安全”并列考察的智能体安全测评实践,但智能体治理需要在二者之间找到经得起检验的尺度。
合规服务不能异化为单纯的材料服务,若评估只是套用模板、罗列原则性承诺,既不能降低企业的真实风险,也会削弱监管对企业的信任。有效的合规服务应与技术系统发生实质连接,能够检查权限配置是否符合最小必要原则,验证工具调用是否存在越权路径,审查数据流转是否超出授权范围,并对高风险流程提出具体整改建议。从制度供给看,可采取基本规则、场景指南、技术标准与第三方服务相衔接的路径:基本规则明确服务提供者和部署者的核心义务,场景指南细化重点行业的准入与复核要求,技术标准规定评估指标和测试方法,第三方服务则把规则和标准转化为企业可采用的测评与整改方案。需要注意的是,这四个层次并非彼此孤立,而是在相互联系基础上共同推进智能体治理:监管部门通过基本规则和场景指南划定底线,行业组织借技术标准凝聚共识,第三方机构以测评和整改连接规则与系统,企业则在内部控制中落实义务。唯有各方在标准互认和结果采信上形成衔接,合规才不至于沦为重复检查与各自为政。
智能体的发展将持续改变人工智能与社会运行之间的关系。它既能提升产业效率和公共服务能力,也可能因权限失控、数据滥用、责任不清和评估不足而放大风险。法治要为其设定稳定、清晰、可执行的制度边界,使技术红利的分配与风险后果的承担都有章可循。提升内生安全能力,重在引导企业把安全要求内化为系统能力,而非止于事后的补偿与救济。健全合规服务体系,重在社会力量为企业提供保障,尤其为缺乏自查能力的中小主体提供专业、透明、可负担的支持。当智能体深度嵌入交易、办公与公共服务的关键环节时,安全保障、技术评估与合规服务能否彼此衔接,将在很大程度上决定个人权益是否得到保护、市场秩序是否稳定,以及这项技术最终能在法治轨道上走多远。
本文为中国法学会2025年度部级法学研究课题青年调研课题“具身智能发展法治保障研究”�zCLS(2025)Y03�{的阶段性研究成果。
(作者单位:北京大学智能学院、中南财经政法大学法学院)
智能体既能提升产业效率和公共服务能力,也可能因权限失控、数据滥用、责任不清和评估不足而放大风险。法治要为其设定稳定、清晰、可执行的制度边界,使技术红利的分配与风险后果的承担都有章可循。
当前,生成式人工智能正由生成内容的对话式模型向执行任务的智能体转变。过去,人工智能治理主要围绕虚假信息、算法备案和生成合成标识等领域展开,规制对象多为文本、图片、音视频等输出结果。而智能体不仅可以进行问答推理,能够拆解任务、调用工具、访问外部系统,并能在一段时间内连续执行,由此产生的风险可能表现为误发邮件、误改文件、越权读取数据、错误调用接口等。当模型从表达工具转变为行动系统时,人工智能治理将面临新的问题,即法律应如何重新规范配置智能体的安全义务与责任边界。
智能体运行中的行为风险
我国现有规则已为智能体治理提供了制度基础。《生成式人工智能服务管理暂行办法》对训练数据、生成内容、个人信息保护和安全评估提出具体要求;《互联网信息服务深度合成管理规定》关注深度合成服务中的信息安全风险;《人工智能生成合成内容标识办法》通过显式标识与隐式标识回应内容传播中的透明度问题。这些规范把人工智能纳入了可管理、可检查、可追责的框架,但其治理重心仍偏向内容输出端,而智能体的风险更多发生在任务执行端,单凭内容审核和结果标识已不足以覆盖权限、工具、数据与外部行为之间的复杂关系。
智能体风险的特殊性在于模型判断会被转化为现实行为。传统模型即使出现幻觉,造成的危害通常是信息误导、偏见内容等,但智能体一旦接入邮件系统、代码仓库、客户数据库或交易接口,错误判断便可能经由工具调用进入真实法律关系场景中,如牵连财产安全、商业秘密、个人信息和合同履行等。更需要警惕的是,这种转化往往并非源于模型自身的技术缺陷,还可能来自外部的恶意攻击。已有安全研究披露,攻击者可以把恶意指令藏在智能体处理的工单、网页或工具描述之中,诱导其在正常工作流程里泄露密钥或越权操作,这类“间接提示注入”类似针对自动化智能体的“钓鱼”活动,可能造成不可逆的损害后果。
智能体应用中的责任边界
智能体风险向行为端的转移也改变相应的责任结构。传统软件多按确定规则运行,责任判断可围绕功能设计、代码缺陷或用户误操作展开;智能体具有更强的开放性,同一目标可能被拆解为不同步骤,同一工具可能在不同语境中承担不同功能,研发者、部署者、工具提供者、企业用户与终端使用者之间的责任边界更难划清。实践中已出现的若干争议正源于此:用户虽已授权智能体接触特定系统,智能体却在超出预期的情形下自行执行高风险操作,若简单地把后果归于用户已授权或模型存在缺陷,都难以符合责任分配的基本原理。
更合理的责任分配路径是依据各主体对系统设计、权限配置、场景部署和运行管理的实际控制能力来分配安全责任。研发者掌握模型能力与对齐水平,应对基础安全性能负责;部署者选择应用场景、开放工具接口,应对场景适配和权限边界负责;企业用户授予具体操作权限,应对授权范围的合理性负责。控制能力越强、获益越多者,承担的安全义务也应越重。这与现有规则中“谁提供服务、谁承担主体责任”的逻辑一脉相承。只是在智能体场景下,主体责任需进一步沿着能力链条细化,而非停留于单一服务提供者。
智能体的内生安全
为应对行为风险,对智能体的治理应从外部过滤转向内生安全。内生安全是强调安全能力本身构成系统架构的组成部分,而非产品上线后附加的若干合规过滤提示。具体而言,智能体应在任务规划阶段识别超出授权的目标,在工具调用阶段受最小必要权限约束,在数据处理阶段防止越权访问和在目的外使用,在执行高风险操作前保留人工确认,并在事后形成可供审计的日志。这一构造可切实满足监管对可追溯的要求,欧盟《人工智能法案》即要求高风险系统具备自动事件日志记录能力以保证可追溯性,我国《生成式人工智能服务管理暂行办法》也要求服务提供者记录服务过程,留存不少于六个月。对一个会实际执行操作的系统而言,事后能够查清行为如何发生,本身就是安全的组成部分。
强调内生安全首先要遵循风险分级原则,且应以应用场景而非技术名称为基准。具体而言,用于写作和资料整理的智能体主要涉及信息准确与权利保护;用于企业内部流程可能触及商业秘密与客户数据;用于金融、医疗、就业、政务、司法和关键基础设施的智能体则可能直接影响个人重大权益和公共利益等。这种分级不能只考虑模型规模、参数数量或是否开源,还要围绕部署场景、权限范围、影响对象和后果可逆程度等展开,对高风险场景设置准入评估、人工复核、日志留存和退出安排。
记忆机制是智能体区别于其他生成式人工智能应用易被忽视的治理对象。为维持服务的连续性,智能体往往会通过跨会话方式保留用户指令、操作痕迹和业务数据。这类“长程记忆”若缺乏边界,可能演化为持续画像、隐性收集或跨场景的信息越权累积,与个人信息保护中的目的限制和最小必要原则形成张力。因此,智能体的这种“记忆”应被纳入数据安全治理范畴:用户有权知悉哪些信息被记忆、用于何种目的、保存多久,并能够查看、更正、删除或关闭;企业内部智能体还应在个人记忆、团队知识和组织资产之间作出区隔,避免员工偏好、客户资料与未公开经营信息在同一知识库中混同。
与此相应的是,技术评估也应从模型能力评测扩展为系统行为评估。一个模型在单轮问答中表现安全,并不意味着它在多个步骤任务中不会越权调用工具或被诱导操纵。近年,学界陆续提出面向智能体的评测方法:有的在银行、办公等模拟场景中专门检验工具调用对提示词注入的抵抗力,有的构造数百项明确有害的任务考察智能体是否会予以拒绝,有的用沙箱模拟工具执行,观察其在接近真实的环境中会触发何种安全后果。这些探索的共同目的在于把评估对象从“回答是否正确”转向“行为是否可控”,覆盖任务规划、工具调用、权限控制、数据流向、对抗鲁棒性和异常处置等环节。相应地,评估方法也应从静态题库转向沙箱测试、红队对抗、场景演练与上线后监测相结合等,并将评估理解为贯穿智能体生命周期的持续机制,而非一次性的准入手续。
智能体治理的合规保障
智能体的安全保障能否落地还取决于合规服务体系是否健全。人工智能合规具有明显的交叉属性,既涉及网络安全、数据安全、个人信息保护和知识产权,还涉及行业监管和企业内部控制等多项内容。应鼓励专业机构提供数据合规审查、系统安全测评、个人信息保护影响评估、算法备案辅导、红队测试和事故演练等服务,使规则要求转化为企业可执行的技术与管理措施。国内已出现将“内容安全”与“行为安全”并列考察的智能体安全测评实践,但智能体治理需要在二者之间找到经得起检验的尺度。
合规服务不能异化为单纯的材料服务,若评估只是套用模板、罗列原则性承诺,既不能降低企业的真实风险,也会削弱监管对企业的信任。有效的合规服务应与技术系统发生实质连接,能够检查权限配置是否符合最小必要原则,验证工具调用是否存在越权路径,审查数据流转是否超出授权范围,并对高风险流程提出具体整改建议。从制度供给看,可采取基本规则、场景指南、技术标准与第三方服务相衔接的路径:基本规则明确服务提供者和部署者的核心义务,场景指南细化重点行业的准入与复核要求,技术标准规定评估指标和测试方法,第三方服务则把规则和标准转化为企业可采用的测评与整改方案。需要注意的是,这四个层次并非彼此孤立,而是在相互联系基础上共同推进智能体治理:监管部门通过基本规则和场景指南划定底线,行业组织借技术标准凝聚共识,第三方机构以测评和整改连接规则与系统,企业则在内部控制中落实义务。唯有各方在标准互认和结果采信上形成衔接,合规才不至于沦为重复检查与各自为政。
智能体的发展将持续改变人工智能与社会运行之间的关系。它既能提升产业效率和公共服务能力,也可能因权限失控、数据滥用、责任不清和评估不足而放大风险。法治要为其设定稳定、清晰、可执行的制度边界,使技术红利的分配与风险后果的承担都有章可循。提升内生安全能力,重在引导企业把安全要求内化为系统能力,而非止于事后的补偿与救济。健全合规服务体系,重在社会力量为企业提供保障,尤其为缺乏自查能力的中小主体提供专业、透明、可负担的支持。当智能体深度嵌入交易、办公与公共服务的关键环节时,安全保障、技术评估与合规服务能否彼此衔接,将在很大程度上决定个人权益是否得到保护、市场秩序是否稳定,以及这项技术最终能在法治轨道上走多远。
本文为中国法学会2025年度部级法学研究课题青年调研课题“具身智能发展法治保障研究”�zCLS(2025)Y03�{的阶段性研究成果。
(作者单位:北京大学智能学院、中南财经政法大学法学院)

