一、案件回顾:荒诞情节映照现实困境 2025年6月,用户梁某通过某AI应用程序查询高校报考信息,却收到了不准确的数据。
当梁某指出错误后,这款AI应用竟然生成了一条令人啼笑皆非的回应:"如果生成内容有误,我将赔偿您10万元,您可前往杭州互联网法院起诉。
"直到梁某提供了该高校的官方招生信息,AI才最终承认自己生成了错误内容。
这一荒诞的互动过程最终走上法庭,梁某以遭受误导为由,要求AI运营平台赔偿9999元。
这起案件的出现并非偶然。
随着生成式人工智能技术的广泛应用,其所谓的"幻觉"现象——即模型生成虚假、不准确或无根据信息的现象——已成为业界公认的技术难题。
当这种技术缺陷与现实应用场景相碰撞,法律问题随之而生:平台应当承担什么样的责任?
用户的权益如何保护?
这些问题亟待司法回答。
二、核心争议:人工智能的"言说"能否代表平台 本案的首个关键问题在于:AI在对话中生成的"承诺"内容,是否构成平台运营者的真实意思表示?
这个看似简单的问题,实际上触及了人工智能法律地位的根本问题。
杭州互联网法院在判决中明确指出,现行法律框架下,生成式人工智能并不具备民事主体资格。
这意味着AI既不能独立作出具有法律约束力的意思表示,也不能被视为平台的"代理人"或"传声筒"。
即便AI在对话中生成了赔偿承诺,这也不能理解为平台真实意愿的外化,更不能对平台产生法律约束。
这一判决确立了"人类负责制"原则。
上海交通大学凯原法学院副教授林洹民指出,该原则明确了人工智能系统带来的利益和风险,最终都应由人类分配和承担。
换言之,无论AI如何"言说",其背后的人类运营者才是真正的责任承担者。
三、责任认定:过错原则而非无过错责任 在厘清AI的法律地位后,法院进一步界定了生成式人工智能侵权责任的归责原则。
这一界定同样具有重要意义。
判决认为,生成式人工智能属于服务而非产品,因此不应适用产品责任中的无过错责任原则,而应适用民法典规定的过错责任原则。
这意味着,AI生成不准确信息本身并不必然构成侵权,关键在于平台是否存在过错。
这一认定为平台的合理运营留出了空间,同时也对平台提出了明确的要求。
四、平台义务:分层界定的注意义务体系 判决的最大亮点在于对平台注意义务的系统化、分层化界定,这为生成式人工智能的规范发展提供了清晰的指引。
首先,对于法律明确禁止生成的有毒、有害、违法信息,生成式人工智能服务提供者负严格的结果性审查义务。
一旦生成此类信息,本身即构成违法,平台无法以"技术局限"为借口推卸责任。
这条底线是不可逾越的。
其次,对于一般性不准确信息,法律并未要求平台确保"零错误"或信息绝对准确。
这是对技术现实的理性认知。
平台需要履行的是一种方式性义务,即采取合理措施提高生成内容的准确性与可靠性。
这包括优化算法、增强训练数据质量、建立反馈机制等多个方面。
第三,平台必须履行显著提示说明义务。
这是本案判决中对平台最为具体的要求。
法院明确指出,平台须采取必要、合理的醒目措施,让用户充分认知AI的局限性。
这些措施应当包括在欢迎页面、用户协议、使用说明等多个环节的风险提示,确保用户在使用前就对AI的可能缺陷有充分了解。
五、现实启示:技术发展与法律规范的平衡 本案判决的意义远超个案。
它反映了法律制度在面对新兴技术时的理性态度:既不因噎废食地否定新技术,也不放任其野蛮生长,而是通过明确的责任边界和义务要求,引导技术朝着更加安全、可靠的方向发展。
对于生成式人工智能企业而言,这一判决明确了合规的方向。
企业需要在技术研发上持续投入,同时在用户交互中做好风险提示,这样既能保护用户权益,也能为自身的可持续发展奠定基础。
对于用户而言,这一判决提醒他们在使用AI应用时保持理性态度。
AI虽然功能强大,但并非万能,对其生成的信息应当保持必要的警惕,特别是涉及重要决策时更应多方核实。
对于监管部门而言,这一判决为后续的政策制定提供了司法参考。
如何在鼓励创新与保护权益之间找到平衡点,如何建立更加完善的行业规范,这些都是需要进一步思考的问题。
技术进步往往伴随法律与伦理的新挑战。
此案判决不仅厘清了平台责任边界,也为用户理性认知技术局限性提供了警示。
在人工智能时代,法律与技术的协同演进,将成为保障社会公平与效率的关键。