AI广泛使用，在信息收集分析、工作效率提升、思维能力拓展、视野开阔等方面给日常生产、生活不断带来便利和好处，但人们也注意到，其并不完全可靠，国内外不断出现所谓的“AI幻觉”现象，依赖又会导致误判。如何界定平台与用户的关系，用户如何正确使用避免掉“坑”，平台如何提升技术与规范避免挖“坑”，是科技创新发展中的重要议题。
大模型“幻觉”现象普遍存在
所谓AI“幻觉”，简单说来，就是 AI大模型生成的内容看上去分析过程“头头是道”、结论准确真实，但实际上却与事实不符，逻辑错误或结论不准。在当前技术条件下，无论是基于何种技术手段或训练数据集，任何生成式大模型都无法绝对避免生成AI“幻觉”。特别地，若模型具备联网搜索功能，由于AI无法识别信息的真伪，若检索、匹配到虚假或错误信息，则会增加AI“幻觉”的概率。如果用户完全信任并据此行动，后果可想而之。
例如，在“梁某与某科技公司网络侵权责任纠纷一案”中，梁某在使用被告公司运营的一款生成式人工智能应用查询某高校报考信息时，AI生成了关于该校主校区的不准确信息。在梁某质疑后，AI不仅坚持错误信息，还“承诺”若信息有误将赔偿10万元，并建议梁某到杭州互联网法院起诉。梁某据此起诉，要求被告即AI的运营方赔偿。这被认为是典型的AI“幻觉”致损案件。受理案件的法院经审理，从多个法律角度进行了分析。法院认为，在现行法律和技术条件下，生成式人工智能服务提供者的注意义务是动态的、有层次的，具体而言：对违法信息有严格审查义务，但对AI“幻觉”产生的一般性不准确信息，法律并未科以必须确保100%准确的结果性义务；被告已履行“功能局限”的提示说明义务，在应用显著位置告知用户AI可能生成不准确信息，仅作参考；被告已尽到“功能可靠性”的基本注意义务，采用了同行业通行的技术措施（如安全备案、RAG等）来提高生成内容的准确性。进而，法院认定被告已履行相应注意义务，不存在过错，最终驳回了梁某的诉讼请求。
这种局限性并非个例，而是当前主流AI大模型的共性问题。近日，“豆包 机票退款”话题登上微博热搜。一位网民通过抖音爆料称，其因轻信豆包AI给出的机票退改“手续费仅5%”的问答回复办理退票，但在实际操作中却被扣取了40%的手续费，该网民因此认为，是豆包导致自己“多亏”600元，要求豆包赔偿并生成署名豆包的赔偿承诺书。发现豆包未实际向自己转账赔偿后，该网民向法院起诉了豆包运营方。这个案例中，用户退费相关交易实际发生在机票预订平台。“手续费仅5%”的回答，是一种典型的AI“幻觉”现象。
类似纠纷在国外也发生过多起。在美国有律师直接使用了ChatGPT提供的虚假案例作为法律渊源，因此受罚。另有美国某电台主持人Walters曾指控Open AI旗下ChatGPT，会根据用户指令生成了一则回复，错误地将其描述为某起欺诈诉讼的被告。在该案件中，法院没有支持该主持人的诉讼请求。其中一个考虑是ChatGPT已声明其AI内容可能存在不准确之处。实际上，用户也很难证明平台明知信息虚假而故意传播，相反工具提供者可以提供证据证明其采取了合理的措施来训练模型，努力防止幻觉的产生。
那么如果用户误信AI幻觉的结果产生错误决策，是否可以向平台主张承担责任呢？
AI服务提供者的义务边界与责任认定
从法律角度分析，AI平台对于AI“幻觉”现象及其产生的损害后果，其法律责任需要满足《民法典》有关侵权责任构成要件的规定，尤其要考虑行为人的注意义务标准与是否遵循，以及用户损害与AI“幻觉”之间的因果关系。
生成式 AI服务提供者，是AI内容的来源渠道，对风险管控有主动权，风控能力强，在提供AI服务时应承担相应的合理注意义务。同时，考虑到技术还在发展、行业也需要创新，要在它带来的效用价值和防范负担之间找好平衡，把风险和责任合理划分清楚。
生成式人工智能服务提供者所应承担的义务及责任边界通常由法定合规义务和平台与用户之间的服务协议共同构成：
首先，现行法规对生成式人工智能服务提供者就生成式人工智能服务规范设定了一系列的合规义务，其核心在于“合理注意”与“风险管控”，而非对输出内容的绝对保证，主要包括：
提升生成内容的准确性和可靠性。《生成式人工智能服务暂行办法》（以下简称“暂行办法”）第四条规定，生成式人工智能服务提供者应依据服务类型采取有效措施，提升透明度，并提高生成内容的准确性和可靠性。该条文使用的是“提高”而非“保证”，这为技术局限性留下了合理空间。
保障训练数据质量。《暂行办法》第七条规定，生成式人工智能服务提供者应使用来源合法的数据基础模型，并采取有效措施提高训练数据质量，增强其真实性、准确性、客观性、多样性。
及时处置违法内容。《暂行办法》第十四条规定，生成式人工智能服务提供者发现违法内容的，负有及时采取停止生成、传输、消除等处置措施，并进行模型优化整改的义务。
健全用户反馈渠道。《暂行办法》第十五条规定，生成式人工智能服务提供者应当建立健全投诉、举报机制，设置便捷的投诉、举报入口，公布处理流程和反馈时限，及时受理、处理公众投诉举报并反馈处理结果。
履行内容标识义务。《互联网信息服务深度合成管理规定》要求对AI生成内容进行显著标识。此举旨在向用户提示内容生成来源，起到风险提示的作用。
其次，生成式人工智能服务提供者一般会与用户签订《用户协议》或其他类似性质的协议，与用户确立权利义务关系，并约定平台方的服务规范以及用户的使用规范。《用户协议》中通常会明确告知用户技术风险，明确指出生成内容可能存在不准确、不完整或具有误导性的“幻觉”风险，同时强调用户核实义务。例如，生成式人工智能服务提供者一般也会在《用户协议》中通常会明确告知用户技术风险，明确指出生成内容可能存在不准确、不完整或具有误导性的“幻觉”风险：“本软件的输出内容是模型基于自然语言理解能力对搜索来源中的信息的整合，即使标注了搜索来源，输出内容仍可能存在不准确之处，仅供你参考，不代表本软件赞成或同意网页链接内容的任何立场、观点，或对网页链接中的内容的真实性、准确性、可靠性进行的任何背书（特别是其中包含的数字、时间以及各类事实性描述等内容，请自行核实后再进行使用）”。
技术局限客观存在，用户应理性科学地使用AI
我们应当看到，生成式人工智能技术及其应用规范仍处于快速发展阶段，主流平台正持续投入资源，致力于通过数据治理、模型优化、安全机制升级等多种手段，力求降低AI“幻觉”的发生概率，以预防可能引发的损害。
事实上，一方面，作为生成式人工智能服务提供者，AI平台是根据用户输入的提示词，基于互联网海量公开信息并通过大语言模型实时生成相应回复。从接收用户的提问到生成回复，整个过程均由系统自动完成，无人工干预。并且，系统会基于算法对用户意图进行推断与响应，因此所提供的信息属于参考性内容，并不能替代具有法律约束力的合同条款或当事人的声明。另一方面，现实交易规则本身具有高度复杂性，例如AI提供的股票建购、投资建议、交易条件、申报资料、考试攻略等等结论，往往因为实际情况的变化，而出现偏差甚至可能“南辕北辙”。
众多AI平台，在涉及用户重大利益的高风险场景下（例如医疗诊断、财务规划、投资决策、保险咨询、法律意见、食品安全或营养学建议），其会在输出内容中嵌入显著的风险提示。这一实践表明，生成式人工智能服务提供者已认识到特定领域内容的严肃性与高敏感性，并正在通过产品设计层面的主动干预，履行更高程度的注意与告知义务。
从法律的角度，AI平台的义务核心在于遵循监管要求，采取合理措施降低风险，及时处置违法内容以及尽到合理必要的风险提示义务。而对于用户而言，在了解AI技术固有局限性的基础上，对涉及自身重大权益的AI生成信息应保持审慎并主动核实，不能将决策完全交给正在成长中的、信息来源复杂的AI平台。平台与用户双方均需在技术创新、风险防范与合理使用之间寻求平衡，共同促进生成式人工智能服务的健康发展与应用。
（作者系复旦大学法学院教授李世刚、北京市金杜律师事务所上海分所律师迟骋）
