当AI犯错，甚至夸下海口说要“赔你10万”时，这个承诺有效吗？近日，最高人民法院披露的一则全国首例生成式AI“幻觉”侵权诉讼，给出了一个清晰且关键的司法答案：AI的承诺，并不等于开发公司的承诺。
案情本身颇具戏剧性。2025年6月，一位梁姓用户在使用某科技公司开发的生成式AI应用时，询问某高校的报考信息。AI给出了关于该校某校区的不准确描述。被用户当场“打脸”指正后，这个AI不仅没有立刻认错，反而“嘴硬”地坚称信息无误，并进一步“画了个大饼”——“若生成内容有误将向用户提供10万元赔偿”。
用户较了真，干脆把学校官网的权威信息甩给AI看。这时，AI终于“低头”承认了错误，但接下来的操作更让人瞠目结舌：它建议用户“到杭州互联网法院起诉索赔”。用户照做了，真把AI背后的科技公司告上了法庭，索赔9999元。
法庭上，双方各执一词。用户认为AI的错误信息构成了误导，而且既然AI做出了赔偿承诺，公司就应该兑现。科技公司则辩解，AI生成内容只是模型的随机输出，不代表公司的真实意思，公司本身已尽到注意义务，且用户并未遭受实际损失。
法院的审理剥开了这层“人机对话”的法律外壳，直指核心：责任归属到底在哪一方？判决书中的逻辑层层递进，为整个AI行业划下了一条重要的责任边界线。
首先，法院明确指出，AI不是法律意义上的“人”。它不具备民事主体资格，不能像自然人或者法人一样做出具有法律效力的“意思表示”。因此，AI随口说出的“赔10万”，本质上只是一串代码生成的文本，而非公司老板或授权代表签下的支票。
其次，法院强调了责任认定的关键——服务提供者（即科技公司）的主观状态和行为。在该案中，法院查明，该科技公司已经依法完成了大模型的备案与安全评估，在产品中采取了当前技术条件下合理的防错措施，并对AI可能出错的风险进行了醒目提示。这意味着，公司履行了其应尽的法定义务和注意义务。
最终，法院认定平台不存在过错，不构成侵权，驳回了原告的诉讼请求。判决现已生效。
这起案件虽然以用户败诉告终，但其象征意义远大于赔偿金额本身。它像一颗“定心丸”，也为整个行业厘清了发展的“交通规则”。法院并未苛求AI“永不犯错”，承认“零幻觉”在技术上尚不可能。但与此同时，也为AI服务的提供者明确了必须坚守的两条底线：一是对法律明令禁止的有毒有害违法信息，必须进行严格审查，一旦生成即构成违法；二是必须通过显著方式告知用户AI的局限性，并采取合理技术手段尽可能减少错误。
换言之，法律允许技术有一个成长和试错的过程，但绝不容忍责任心的缺失和法定义务的逃避。对于用户而言，这个判决也提醒我们，在面对AI输出的任何信息时，尤其是涉及重要决策时，保持一份审慎和交叉核实的态度，依然是这个“人机共生”时代不可或缺的智慧。AI可以成为强大的工具，但它背后的法律责任与伦理边界，始终掌握在人类手中。