近期，杭州互联网法院审结全国首例因生成式人工智能模型“幻觉”（以下简称“AI幻觉”）引发的侵权纠纷案，直面人工智能技术应用前沿法律挑战，对人工智能生成内容的性质、服务提供者的责任边界及侵权构成要件等核心问题进行深入阐释，引发社会关注。本文结合该案例对生成式人工智能生成错误信息的侵权损害赔偿问题予以探讨。
2025年6月，梁某在向某生成式人工智能程序询问某高校的报考信息时，得到关于该高校某校区的不准确信息。梁某予以指正，但该人工智能程序坚持称其信息正确，并承诺若信息错误将承担10万元赔偿。随后，梁某将从某高校官网获取的正确信息与该人工智能程序对质，人工智能程序承认其错误，建议梁某起诉索赔。梁某将某科技公司诉至法院，要求赔偿损失9999元。某科技公司辩称对话内容由人工智能生成，不成立意思表示，且公司已充分履行注意义务，无过错，不构成侵权。法院审理后认为，被告的案涉行为不具有过错，未构成对原告权益的损害，依法不应认定构成侵权。生成式人工智能是可以自主生成文本、图片、音频、视频等内容的人工智能系统或应用，其由于强大的信息服务和内容生成能力，实践中已成为人们用于信息咨询和生成决策方案的重要工具。然而，生成式人工智能也有其局限性，尤其是可能因为“AI幻觉”而生成错误信息。既然如此，那么当用户因信任生成式人工智能提供的信息或方案遭受损失时，谁应当承担相关侵权责任？这值得思考。
“AI幻觉”的含义与法律性质
何谓“AI幻觉”？“AI幻觉”并非指AI系统发生感知错误，而是指AI模型在缺乏充分事实依据或超出其知识覆盖范围的情况下，仍以高度确定性的语言形式生成看似合理、实则不真实或不可核验内容的现象。这种现象在大型语言模型中尤为常见，它通常表现为虚构事实、伪造来源、错误推理或不当归因。“AI幻觉”并非AI系统运行异常或程序错误，而是其正常运行逻辑的内生结果，它与AI技术上的“鲁棒性”问题相关。“鲁棒性”是指AI系统在面对不确定输入、噪声信息、异常场景或超出训练覆盖范围的问题时，能否保持输出结果的稳定性、可预测性与安全性的能力。
生成式人工智能天然存在“鲁棒性”不足问题，这是生成式人工智能系统能力边界的反映，而非系统错误或缺陷。生成式人工智能的内容生成能力源于对大规模训练数据的统计学习与概念建模。AI系统从海量数据中学习“什么样的内容在统计上是合理的”，并运用这个概率规则依据用户的需求在既有数据分布中生成新内容。生成式人工智能的内容输出受概率生成机制控制，其知识世界受训练数据提供的“经验世界”的局限。实践中，当用户的提问超出其知识边界或其训练数据中未出现过的场景时，它仍依据概率生成机制生成符合形式要件的内容，而实质上它的知识库中并没有相关内容，这就导致看似合理、实则不真实的“AI幻觉”内容产生。“AI幻觉”在技术上不可能完全消除，这是技术环境与复杂现实环境之间不可能消除的差距所决定的，是生成式人工智能系统能力的局限，不是系统故障。从法律性质上看，其既不是系统缺陷，也不是人为错误。比如，欧盟的《人工智能法案》将“鲁棒性”作为评价高风险AI系统的核心合规要求，但并不要求系统避免一切错误，而是将“鲁棒性”作为一种可管理、可评估和可改进的系统属性。
“AI幻觉”引发侵权的损害赔偿责任认定
既然生成式人工智能系统能力有局限，那么因“AI幻觉”造成的损害如何认定责任？“AI幻觉”引发的侵权责任，是指用户由于信赖生成式人工智能基于“幻觉”输出的错误信息产生损害的赔偿责任。“AI幻觉”是一种不可避免的技术风险，其侵权责任认定的关键不在于生成式人工智能生成了错误信息这一事实，而在于相关主体对损害风险是否尽到了应尽的防范注意义务。这种义务主要包括两方面的内容：尽可能降低“AI幻觉”发生可能性的注意义务和防范用户对AI生成信息产生不当信赖的注意义务。在我国首例“AI幻觉”侵权案中，杭州互联网法院指出，不能仅依据权益本身被侵害而认定行为的非法性或不法性，而须从被告是否违反注意义务进行判定，并在责任认定中对服务提供者应尽的注意义务分成三类进行分析，明确了“AI幻觉”引发侵权责任认定的裁判思路。在“AI幻觉”侵权案中，哪些主体、基于什么原因需要承担责任？具体可从以下几个方面来考量。
第一，责任主体与注意义务。在“AI幻觉”引发的侵权案中，错误信息是生成式人工智能自主生成的，但是生成式人工智能并不是法律主体，不能为相关损害承担责任。由于“AI幻觉”属于AI技术不可消除的风险，不能苛责系统开发者、服务提供者、平台运营者等主体确保生成式人工智能提供的信息完全正确，但是这些主体在降低“AI幻觉”发生可能性和防范用户对生成式人工智能生成信息产生不当信赖方面未尽相应注意义务的，须承担相应的责任。杭州互联网法院判决的“AI幻觉”侵权案中，法院概括了三方面的注意义务：一是对法律禁止的有毒、有害、违法信息负有严格审查义务；二是需以显著方式向用户提示AI生成内容可能不准确的固有局限性，包括明确的“功能局限”告知、保证提示方式的“显著性”、在重大利益的特定场景下进行正面即时的“警示提醒”，以防范用户产生不当信赖；三是应尽功能可靠性的基本注意义务，采取同行业通行技术措施提高生成内容的准确性，如检索增强生成技术措施等。
第二，归责原则与过错认定。“AI幻觉”引发的侵权纠纷适用过错责任原则。这是因为《中华人民共和国民法典》并未规定生成式人工智能侵权责任为一种特殊侵权责任，生成式人工智能并非具有高度危险性，不适用高度危险责任，其提供信息和内容服务应被定性为服务，而非产品，即不能依据产品责任规则采取无过错责任。同时，采取过错责任原则有利于全面评价服务提供者的行为，避免无过错责任给企业带来过重的责任负担而阻碍其创新。“AI幻觉”侵权案中，当系统开发者、服务提供者、平台运营者等主体存在违背前述注意义务时，则认定存在过错。
第三，因果关系。“AI幻觉”侵权是受害者基于信赖生成式人工智能提供的错误信息造成的损害与生成式人工智能的系统开发者、服务提供者、平台运营者等主体违背前述告知、警示等义务之间的因果关系。例如若生成式人工智能的服务提供者未依法提醒用户生成式人工智能信息服务的局限性，使用户误认为生成式人工智能提供的信息绝对正确，则用户基于信赖该生成式人工智能提供的信息造成的损害，则与服务提供者违背告知义务行为具有因果关系。对此，受害人须证明损害是由生成内容引发，且证明平台、开发者或者服务提供者等存在违反告知、提醒等义务的情形。
第四，损害赔偿。“AI幻觉”侵权损害通常是通过“信赖错误信息—作出错误决策—产生损害”的路径发生。受害人需提供证据证明损害的存在，法院应综合考虑“AI幻觉”风险的不可完全消除性、相关主体的风险控制能力，以及已采取的风险缓释措施，合理确定赔偿数额。
本文为广东省社科规划一般项目“人工智能产品自主侵权法律规制研究”（项目编号：GD23CFX02）的阶段性研究成果。
（作者单位：广东外语外贸大学法学院）
