智能体应用风险识别与应对策略

2026-06-04 16:06:16 法治新闻 0
  5月8日,国家网信办、国家发展改革委、工信部联合印发《智能体规范应用与创新发展实施意见》,将“安全、可靠、可信”作为智能体全生命周期发展的底线要求,强调切实防范系统性风险、化解衍生应用风险。在应用环节,智能体既有的数据、算法风险可能被进一步传导、放大,使得技术性风险演变为法益风险,威胁人格权益、财产利益与国家安全。因此,有必要建立系统化的安全监管机制,精准识别、应对智能体衍生风险,以高水平安全助力智能体高质量发展。

  强化全流程监管,应对侵犯人格权益风险

  随着智能体应用场景的不断扩展,其可能直接侵犯公民精神性人格权与物质性人格权。其一,就精神性人格权风险而言,个人数据是个人信息、隐私的载体,智能体具备强大的数据挖掘、分析能力,可深度挖掘个人数据中的隐藏信息,对个人数据进行再次深度加工,形成信息与隐私密度较高的衍生数据,侵害数据主体的知情同意权、选择权等个人信息权益,扰乱公民私生活安宁。其二,就物质性人格权而言,因智能体的拟人特性与算法“黑箱”特性,其在特定场景的应用可能危及公民生命健康权与身体权。如,在日常聊天互动场景中,智能体难以正确引导交互者的负面情绪,可能产生引导人类自杀、暴力行为的现实风险。

  面对人格权风险,要确立具有约束力的智能体市场准入与责任追究机制。就事前预防而言,有必要建立完善的智能体监管沙盒制度,并从沙盒准入激励机制、沙盒测试中权利义务关系两方面确立系统治理规则。如就沙盒准入激励而言,可通过简化申请程序、设置专项补贴与市场化激励措施,降低企业参与门槛,鼓励技术开发者主动将创新应用纳入监管沙盒。就沙盒运行中的权利义务关系而言,应明确监管机关的职责,涵盖提供合规指导、全程监测测试过程与独立评估风险等。事后追责维度,鉴于智能体尚不具备责任能力与责任财产,应将服务提供者与使用者确定为民事责任的承担主体,并依据具体应用场景实现归责机制的精细化适配。例如,对于医疗、自动驾驶等可能对人身安全、社会秩序或基本权利造成重大威胁的应用场景,应适用无过错责任原则中的危险责任,即服务提供者无论是否存在主观过错,均须对其高风险技术应用所引发的损害承担法定赔偿责任。

  强化算法可解释性,应对侵犯财产利益风险

  智能体应用已深入社会生产多个领域,其可能从微观、宏观两个层面侵犯当事人财产利益。其一,在微观层面,智能体应用可能危及经营者的无形财产权益,侵害著作权与商业秘密。由于智能体通常将用户输入内容留作训练数据,一旦员工将敏感源代码、会议记录等上传,核心信息便可能被模型吸收并重现。例如,三星半导体部门员工多次使用ChatGPT检查代码、优化程序或生成会议纪要,导致商业秘密外泄,从而引发企业经营风险。同时,源自用户输入、公开网络的作品内容也可能被纳入训练集,并在智能体输出内容时复现,从而引发侵犯其作品复制权、信息网络传播权等风险。其二,宏观层面,智能体具有一定的市场分析与数据挖掘能力,可向不特定公众快速传递趋同的投资建议。若该建议误判市场形势,可能直接导致投资者决策失误与资产损失;若该建议准确预判趋势,也可能引发“羊群效应”,导致投资者盲从,影响金融市场秩序。

  监管智能体训练数据、模型输出,纾解财产利益风险,可从法律解释与技术解释两方面展开:就法律解释路径而言,应确立以“反事实解释”为核心的外部解释路径。法律监管之目的在于识别、应对智能体行为呈现的法律特征与潜在风险。反事实解释方法,通过呈现“若输入条件发生何种改变,则智能体输出或决策结果将如何不同”的因果链条,使得监管主体在不涉及核心技术秘密的前提下,可以理解决策差异的原因。例如,金融监管主体无需解析智能体推荐算法的全部参数,只需通过改变利率、政策等关键变量,即可评估相关智能体推荐的投资建议是否存在不当引导市场投资的倾向。就技术解释路径而言,应引入独立的“算法审计”机制。通过在审计中应用同态加密、多方安全计算和零知识证明等技术,在加密状态下完成对算法功能合规性的验证。监管主体无需接触源代码或原始数据,便可对模型更新、关键参数调整及可能影响公平性的因素进行记录与审查,这有助于降低监管门槛、保护技术开发者的商业秘密。

  强化数据安全能力,应对国家安全风险

  数字时代,智能体所处理的大规模数据集可能关涉国家主权、安全、发展利益,在数据跨境场景下,易引发国家安全风险。其一,在模型训练阶段,域外智能体可借由虚拟专用网络、程序编程接口调用等方式非法攫取关键基础设施数据与重要数据,可能导致重要信息流向境外。其二,在模型输出阶段,智能体具有一定的舆论动员能力。若其数据标注与运算过程嵌入敌对意识形态,将可能制造具有煽动性的虚假内容与社会分裂性议题,侵蚀文化与意识形态安全。其三,在模型数据存储阶段,部分智能体的数据处理与存储地位于境外,可能会自动收集、聚合海量数据。即便是一般性个人数据,经智能体挖掘达到一定数量级后,也可推演出与国家安全、军事动员、经济运行情况密切相关的衍生信息,威胁国家主权与发展利益。

  因此,有必要从数据跨境与算法备案监管两方面入手,防范智能体应用的国家安全风险。在数据跨境监管方面,应以《促进和规范数据跨境流动规定》第七条为监管依据,以智能体数据本地化存储为原则、数据出境为例外,对关键数据、重要数据与大量个人数据实施严格的出境安全评估。在算法备案监管方面,应在《互联网信息服务算法推荐管理规定》第二十四条的基础上,要求服务提供者披露训练数据的来源及标注方法,以综合判断智能体的舆论动员能力,以此应对意识形态风险。

  (作者单位:西安交通大学法学院)
声明:所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系123456@qq.com