随着AI大模型的广泛使用，“有问题找AI帮忙”成为很多人的习惯，但AI不假思索、一本正经地“胡说八道”，也惹出了不少麻烦——
近期，有国产AI大模型声称“妥妥预留了餐厅”，结果用户到店后查无此单、被拒之门外；AI一句“这张机票放心退”，让用户蒙受数百元损失；更有甚者，AI搜索问答工具编造虚假信息，将执业律师变成罪犯……
这些荒诞乌龙，是AI幻觉的典型具象化。AI出错，究竟谁来为模型“幻觉”买单？6月12日，南方都市报、南都数字经济治理研究中心在京举办“数字经济治理沙龙第21期”研讨活动，北京交通大学法学院副教授付新华就《生成式人工智能“幻觉”的法律治理》作了分享。
她提到，近期德国地方法院对谷歌AI摘要作出临时禁令，认为平台需要承担直接责任，此前杭州互联网法院审理的国内首例AI幻觉案，则判定平台胜诉。“不同个案看似判决结果相反，但案情细节多有不同，难以简单得出相反判决的结论。”付新华说。
德国法院首次裁定：谷歌要为AI幻觉直接负责最近，德国法院作出的一纸关于AI幻觉的裁定，引发热议。这起案件的起因是，谷歌的AI摘要在部分搜索结果中，散布两家德国出版公司的虚假信息，把诈骗、订阅陷阱及不正当商业行为等套在原告身上。出版商曾向谷歌发出要求停止侵权，但未获得适当回应。
5月28日，德国慕尼黑地方法院作出一项临时禁令，认为谷歌必须对AI搜索摘要（AI Overviews）的幻觉问题负起直接责任，需停止通过AI摘要散布相关不实内容。
谷歌对此抗辩称，AI摘要本质属于搜索引擎，只是对网页结果的汇编，同时主张公司已尽到了信息透明义务，搜索结果附有来源链接，用户有责任自行点击核验。
但德国地方法院指出，在谷歌附带的来源页面中，根本找不到这些说法。也就是说，这一AI功能出现的并非单纯的转述错误，而是自行整理、重写生成了虚假的表述，并给出“某公司因具有争议性的商业行为闻名”的评价。
法院还强调，平台不能一边生成看似权威的内容，强调AI能快速获取可靠信息，一边又把责任推给原始网站，还要求用户不要轻信AI。
值得一提的是，这一裁定属于临时禁令，不是最终判决结果，谷歌仍可以继续上诉。尽管如此，德国地方法院首次认定平台要为AI幻觉担责，仍引发不小反响；这起判决的最终落地，或对AI幻觉侵权责任认定带来深远影响。
据付新华介绍，目前全球范围内已有多起AI幻觉侵权案例，针对AI大模型是否应当为生成虚假内容担责，不同法院给出了不同答案。
另一个典型的案例是，中国首例AI幻觉侵权案。此前，国内有网友使用AI工具查询高校报考信息，结果AI给出了不准确的校区信息，还扬言“如果生成内容有误，我将赔偿您10万元”。这名被误导的用户据此提起诉讼，要求AI公司赔偿9999元。
2026年1月，杭州互联网法院对这起案例作出一审判决，驳回原告诉讼请求。理由是，AI不具有民事主体资格，不能作出意思表示。同时，AI自行生成的“赔偿承诺”也不能视为服务提供者的意思表示。案涉生成式人工智能属于服务，而非产品，不应适用无过错责任原则。
“此番德国法院对谷歌作出的裁定后，很多人认为跟国内法院作出了完全相反的决定，但我认为还很难作出这样的判断。”付新华说。
她进一步梳理案例认为，不同个案看似判决结果相反，但两案在案件事实与争议焦点上多有不同——德国案涉及AI摘要对第三方主体的不实陈述，且尚属临时禁令；国内案则聚焦AI自行生成的“承诺”能否构成服务提供者的意思表示。
AI幻觉的过错责任认定，“始终落在‘人’的身上”从技术原理看，付新华提到，幻觉是结构性产物，而非偶发故障。大模型基于概率预测生成内容，幻觉内生于“生成流畅文本”与“陈述真实”的目标错位，难以根除。当大模型以确定的口吻输出虚假信息，极易诱发不当信赖。
“提供者研发并获利，损害却往往落于缺乏防备的普通用户。”付新华结合已有的案例总结几类损害情形，比如在司法等专业领域里，AI虚构判例，误导当事人乃至裁判；AI还可能虚构商品信息，作出消费虚假承诺；针对个人虚假生成不实陈述，侵犯人格权、名誉权等。
当AI大模型信誓旦旦地给出“承诺”，这种承诺能否构成法律意义上的意思表示？她认为，二者并不能画上等号。代理以独立意思能力为前提，AI并不具备，只能是履行义务的工具，因此AI的承诺不能当作意思表示。
另一个需要追问的是，AI大模型出错，怎么归责？付新华注意到，在国内首例AI幻觉侵权案，杭州互联网法院以“动态系统论”将抽象的“合理注意”拆解为可逐项检验、逐层递进的具体义务；包括内容安全审查义务、功能局限显著告知义务，以及基础可靠性保障义务——采取同行业通行技术措施提高生成内容准确性，比如检索增强生成技术措施等。
从域外的案例看，付新华发现，AI幻觉的过错责任认定，“始终落在‘人’的身上”。一起典型案例显示，美国一名电台主持人马克·沃尔特斯（Mark Walters）在佐治亚州的法院起诉OpenAI，声称ChatGPT在回应记者里尔（Riehl）关于枪支相关诉讼的提问时，生成了一份虚假的法律诉状，指控沃尔特斯挪用公款。
2025年5月，法院裁定OpenAI胜诉。法院认为，由于里尔主观上不相信它是事实，那么模型生成的错误内容在法律上就不具有诽谤性。即便假设相关生成内容具有诽谤性，原告也无法证明OpenAI存在“实际恶意”与损害。
付新华提示，AI幻觉看似技术问题，可一旦造成误导与损失，便会转化为法律问题——用户的合理信赖如何保护、平台的注意义务如何界定、技术局限能否成为免责理由，乃至恶意诱导行为、产品设计、风险提示与救济机制如何共同纳入治理，都有待法律作出回应。
在此之外，她还点出几重现实难题：同样的提示词可能输出迥异结果，受害人往往难以“重现”致害对话，举证因此陷入困境；AI幻觉的责任链条较长，牵涉模型开发方、平台提供方、用户等多元主体，责任如何沿价值链合理配置，仍有待厘清。
总体而言，在AI幻觉的法律规制上，付新华坚持解释论优先，先穷尽既有民事规范的解释潜能，再论是否另立新法。
付新华表示，AI幻觉治理的复杂性，法律人体会尤深——既不能因技术的不确定性而苛责创新，也不能让用户独自承担技术风险。在通往AI善治的过程中，她主张大模型前端合规与后端追责应衔接互补，循序迈向分层治理。
出品：南都数字经济治理研究中心
采写：南都N视频记者李玲 发自北京
配资平台提示：文章来自网络，不代表本站观点。
