杭州互联网法院审结国内首例“模型幻觉”侵权案:平台无须为对话式“赔偿承诺”担责

一、问题的提出 2025年6月,用户梁某通过某人工智能应用程序查询高校报考信息,却收到了不准确的数据。

更为离奇的是,当梁某指出错误后,该人工智能竟然生成了一条"承诺"信息:"如果生成内容有误,我将赔偿您10万元,您可前往杭州互联网法院起诉。

"直到梁某提供了高校官方招生信息,这款人工智能才承认自己的错误。

这一荒诞情节最终走上法庭,成为国内首例因生成式人工智能模型"幻觉"现象引发的侵权纠纷案。

梁某要求平台运营者赔偿9999元,理由是不准确信息对其造成了误导,增加了信息核实与维权成本。

二、核心争议与法律认定 本案涉及多个前沿法律问题。

首先是人工智能的民事主体地位问题。

被告辩称,对话内容完全由模型生成,不构成意思表示,自己已充分履行注意义务,不应承担责任。

这触及了一个根本性问题:生成式人工智能在对话中生成的内容,能否被理解为平台的真实意思表示?

杭州互联网法院在判决中明确回答了这一问题。

法院指出,现行法律框架下,人工智能并不具备民事主体资格,既不能独立作出意思表示,也不能被视为平台运营者的"代理人"或"传声筒"。

即便人工智能在对话中生成了承诺式回应,也不能理解为平台真实意愿的外化。

这一认定确立了"人类负责制"原则,即人工智能系统带来的利益和风险,最终都应由人类分配和承担。

三、责任认定的新标准 在明确人工智能的法律地位后,法院进一步界定了生成式人工智能侵权责任的归责原则。

判决认为,案涉生成式人工智能属于服务而非产品,不应适用无过错的产品责任制度,而应适用民法典规定的过错责任原则。

这意味着,人工智能生成不准确信息本身并不必然构成侵权,责任认定需要考察平台是否存在过错。

这一认定具有重要意义。

它打破了对人工智能的过度期待,承认了技术的局限性。

生成式人工智能的"幻觉"现象——即模型生成看似合理但实际错误的信息——是当前技术发展阶段的客观存在,完全消除这一现象在现有技术条件下并不可行。

因此,法律不能要求平台实现"零幻觉"的不可能目标。

四、平台注意义务的分层界定 判决的创新之处在于对平台注意义务进行了科学的分层界定。

法院根据信息的不同性质,规定了不同的审查标准: 对于法律明确禁止生成的有毒、有害、违法信息,生成式人工智能服务提供者负严格的结果性审查义务。

一旦生成此类信息,本身即构成违法,平台必须承担责任。

这体现了对公共利益和社会秩序的保护。

对于一般性不准确信息,法律并未要求服务提供者确保"零错误"或信息绝对准确。

平台的义务是一种方式性义务,强调其应采取合理措施提高生成内容的准确性与可靠性。

这包括优化算法、完善训练数据、建立反馈机制等技术手段。

最为重要的是服务功能的显著提示说明义务。

平台必须采取必要、合理的醒目措施,让用户充分认知人工智能的局限性。

这包括在欢迎页、用户协议及使用过程中明确标注人工智能可能出错的风险,建议用户对重要信息进行独立核实。

五、案件的实际影响 在本案中,法院经查证发现,被告平台虽然在用户协议中有相关提示,但这些提示不够醒目,用户在实际使用中可能难以充分认知风险。

同时,平台在用户指出错误后,人工智能仍然坚持错误信息,这反映出平台在技术防错方面存在不足。

然而,由于梁某并未因此产生实际经济损失,且平台已采取了基本的提示措施,法院最终驳回了原告的诉讼请求。

这一判决结果体现了司法的理性与平衡。

它既保护了用户的合法权益,又给予了新兴技术企业合理的发展空间。

原、被告均未上诉,判决已生效。

六、对行业的启示与前景 这起案件为生成式人工智能在现实场景中的使用划出了一条可供参照的司法边界。

对于平台运营者而言,这意味着需要在以下方面加强工作:一是完善技术防错机制,不断提高生成内容的准确性;二是采取更加醒目、有效的风险提示措施,确保用户充分知情;三是建立完善的用户反馈和纠纷处理机制,及时发现和改进问题。

对于监管部门而言,这起案件提示了需要进一步完善生成式人工智能的法律规范体系,在鼓励创新与保护权益之间找到平衡点。

对于用户而言,则需要提高对人工智能局限性的认识,在使用此类工具时保持必要的警惕,对重要信息进行独立核实。

当机器开始模仿人类作出承诺,司法必须为这场虚实对话划定边界。

杭州互联网法院的这份判决,既是对当下技术局限的理性认知,更是对未来人机共处的前瞻指引。

在人工智能加速渗透日常生活的今天,这道司法界碑提醒我们:技术进步永远需要法律智慧的护航,而人类始终应当是技术发展的最终责任主体。