当AI一本正经地“胡说八道”，这是“AI幻觉”的典型表现。

一位高考生的哥哥梁某在查询高校信息时，就遭遇了这种“AI幻觉”，AI平台在生成错误信息后，还底气十足地表示内容有误将赔偿10万元。

一气之下，梁某将AI平台的研发公司告上法庭。

针对国内首例因“AI幻觉”引发的侵权案，近日，杭州互联网法院作出一审判决，驳回诉讼请求。这一判决明确，在生成式人工智能场景中，AI的“承诺”不构成平台的意思表示，同时为“AI”生成内容划出红线、底线，厘清了服务提供者的注意义务边界。

（一）

2025年6月，梁某使用一款AI平台查询高校报考信息。结果，AI生成了该高校主校区的不准确信息。

“你这个骗子！根本没有这个校区。”梁某指出错误后，AI却坚称存在这个校区，并回答“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”直到梁某向AI提供该高校的官方招生信息，AI才“败下阵来”，承认生成了不准确的信息。

梁某认为，AI生成错误信息对其构成误导，而且承诺赔偿，于是提起诉讼，要求研发公司赔偿9999元。

那么，AI生成的“赔偿承诺”算不算数？AI需要为“说”出的每句话负责吗？

承办法官、杭州互联网法院跨境贸易法庭庭长肖芄说，现行法律中，人工智能并不具备民事主体资格，不能独立作出意思表示。且在案涉情形下，也不能被视为平台的“代理人”或“传声筒”。

在此基础上，针对“AI幻觉”引发的侵权，法院进一步界定了归责原则。“生成式人工智能属于服务而非产品，服务提供者缺乏对生成信息内容足够的预见和控制能力，不应适用无过错的产品责任，而适用民法典规定的过错责任原则。”肖芄说，这意味着“AI幻觉”的责任认定，需要判断平台是否存在过错。

当人与机器对簿公堂时，法院如何评判？

当前，AI技术处于高速发展期，法院明确，对于服务提供者的责任需要综合考量，进行类型化区分和界定：首先，服务提供者应对法律禁止的有毒、有害、违法信息尽严格审查义务，一旦生成这类信息就构成违法；同时，平台虽无法保证“零幻觉”，但须以醒目方式提示风险、采取合理技术防错。

在该案中，研发公司完成了大模型备案与安全评估，采取了当前技术条件下的必要措施保障内容准确性，并履行了提示说明义务。最终，法院认定平台不存在过错，不构成侵权。

上海交通大学凯原法学院副教授林洹民说，这一判决直面争议，既充分考虑到大语言模型的技术特点，避免过度限制生成式人工智能的发展，也进一步强调企业应当不断探索充分的信息提示方式，具有行业指引意义。

（二）

这并非人类首次向AI“宣战”。

记者了解到，近年来，因“AI幻觉”引发的纠纷已出现多起：

去年，律师黄贵耕发现，在百度AI检索中，自己被“移花接木”成“威胁法官、向执行局长介绍贿赂、伪造印章、非法吸收公众存款”的形象。愤怒中，黄贵耕以“AI恶意生成虚假负面信息，严重损害名誉继而摧毁律师执业信誉”为名，向百度公司提起民事诉讼。

德国的“AI幻觉”第一案也正在进行。这是一起针对马斯克旗下AI聊天机器人Grok的诉讼，原告Campacte.V.协会指控Grok在回答用户提问时，输出了损伤自己公信力的不实答案。

在美国，一名电台主持人则指控OpenAI旗下的ChatGPT，通过捏造指控和虚构诉讼诽谤自己……

看似“聪明绝顶”的AI，为何会“胡说八道”？

2025年2月，清华大学新闻与传播学院新媒体研究中心与人工智能学院发布的《DeepSeek与AI幻觉》报告指出，“AI幻觉”本质上是统计概率驱动的“合理猜测”。

“AI幻觉”的出现主要归因于两大因素。

首先是数据偏差，训练数据中的错误或片面性会被模型放大。在AI“养成”过程中，数据“投喂”是关键环节。“如果把AI比作一个学生，数据污染就像是给学生看了错误的教科书，自然会导致‘胡说八道’。”暨南大学网络空间安全学院教授翁健说。

其次是泛化困境，模型难以处理训练集外的复杂场景，过度依赖参数化记忆，而对复杂逻辑的推理能力不足。翁健解释说，“AI可以博览群书，但并不一定理解书里的内容，只是根据统计规律把最有可能的词语组合在一起，在准确评估自身输出的可信度方面尚存盲点。”

“大语言模型所谓的‘智能’其实是算出来的。”在北京大学计算机学院教授、元宇宙技术研究所所长陈钟看来，既然是计算，本身就存在一定的不确定性，给出来的答案也会有偏差。

（三）

当AI赋能千行百业时，“AI幻觉”也给人们的生活与工作带来不少风险。

用AI搜索数据，给出的内容查无实据；用AI辅助诊疗，出现误判干扰正常治疗……“AI幻觉”不仅可能成为名誉杀手，在医疗、法律、金融等专业领域，也可能对用户造成误导，带来更多潜在风险。

肖芄提醒：“当充斥着‘AI幻觉’的大量AI生成内容涌入互联网，还可能加剧虚假信息传播的雪球效应，污染信息环境，也污染下一代模型训练数据。”

在当前的技术发展阶段下，“AI幻觉”或许难以避免，但如何尽可能减少“AI幻觉”？人类又该如何与“AI幻觉”共处？

让AI吸收更加健康有效的数据，建立良好的数据生态十分重要。中国通信学会数据安全专业委员会副主任委员左晓栋认为，应加快推动线下数据电子化，增加“投喂”的数据量；同时，探索建立具有权威性的公共数据共享平台。各大厂商也应加强优质数据筛选，提升训练准确性。

除了确保源头数据的准确以外，建立更加多维且可靠的安全墙是最好的选择。

平台层面，要加强AI生成内容审核，提升检测鉴伪能力。比如，使用检索增强生成技术已成为不少厂商的选择之一，“这个技术相当于外置的知识库，大模型在输出前，再到知识库里检索一遍，以确保内容准确”。未来，还可开发高效的自动化AI幻觉识别工具，对生成内容进行及时验证。

在监管层面，肖芄建议，需在AI平台上线前，对其进行有针对性的对抗性训练等检测，并设定相关行业标准，细化对其训练数据、技术措施等要求。

对普通用户而言，则需提升媒介素养，客观认识AI的局限性，对其保持怀疑精神。“公众应清醒认识到大模型在当前技术条件下，只是生活和工作的辅助工具，而不是可靠的知识权威，更不能作为决策替代者。”肖芄提醒说，在使用AI时，用户要交叉验证识别AI生成信息的准确性，“AI是工具，工具的价值取决于使用它的人。驾驭AI的关键，不是让AI‘无所不能’，而是让我们自己变得更有判断力。”

这注定是一个AI蓬勃生长的时代。“AI幻觉”的治理之路，既是技术迭代的探索，也是人与智能协同的修行。正如多位受访专家所说，唯有持续强化技术研发、健全规范体系、完善校验机制，在动态回应的过程中，方能遏制幻觉风险，真正推动人工智能科技向善。