纽约两名律师及其律所2023年因ChatGPT编造的六个判例被罚5,000美元，到2026年10月，一个公开追踪库列出了2,202份涉及AI幻觉的法院裁判

语言模型写出流畅、笃定却虚假的文字，就叫幻觉。2023年6月22日，纽约南区联邦地方法院的卡斯特尔（Castel）法官命令两名律师及其律所支付5,000美元，因为他们提交的一份诉状引用了六个由ChatGPT编造的法院判决。按第五巡回上诉法院的描述，法国律师兼数据科学家达米安·夏洛廷（Damien Charlotin）维护的一个数据库，截至2026年10月19日列出了2,202份涉及幻觉材料的法院裁判。其中1,501份来自美国，16份来自印度。

研究者所说的幻觉

这个词出自香港科技大学的Ziwei Ji等人2022年的一篇综述，后来刊登在《ACM计算调查》（ACM Computing Surveys）上。他们把文本生成中的幻觉定义为无意义或与来源内容不忠实的输出。这个词来自心理学，指感觉真实的不真实知觉，作者指出，幻觉文本读起来流畅自然。内在幻觉与来源相矛盾。外在幻觉添加了来源既不支持也不反驳的东西。

OpenAI的GPT-4报告划了类似的界线。封闭领域幻觉，是在模型被告知只能使用所提供文本的任务中，编造出细节。开放领域幻觉，是关于世界的虚假信息，却说得很有把握。一份引用了无人审理过的案例的诉状，属于第二种。

为什么模型会写出读起来很顺的虚假文字

GPT-4技术报告把基础模型描述为经过预训练，任务是预测文档中的下一个词元，也就是一小段文字。这个任务里没有任何环节拿论断去对照现实。大语言模型是怎样训练的逐一讲了各个阶段。

OpenAI和佐治亚理工学院的亚当·陶曼·卡莱（Adam Tauman Kalai）等四位作者2025年9月4日的一篇论文认为，即使训练文本毫无错误，这也足以产生错误。他们向一个开放模型询问卡莱的生日，让它只在知道时才回答，结果三次尝试得到三个不同的错误日期。对于没有可学规律的事实，比如生日，预训练后的幻觉率至少应等于只在训练数据中出现过一次的事实所占的比例。他们写道，如果20%的生日事实恰好只出现一次，基础模型至少会答错20%的生日问题。

他们的第二个论点涉及评分。大多数基准测试按严格准确率打分，回答“我不知道”得不到分，所以猜测从来不会比弃答更差。论文说，模型被优化成了擅长应试的选手。它指出，印度的JEE、NEET和GATE考试使用或曾经使用答错扣分，并提议把置信度目标写进基准测试的说明里。在目标为0.75时，答错扣2分，答对得1分。基准测试的问题讲了模型评分方式的其他缺陷。

Mata v. Avianca：六个编造的案例，和一个说它们是真的聊天机器人

罗伯托·马塔（Roberto Mata）因一次航班受伤起诉Avianca航空公司。2023年3月1日，他的律师彼得·洛杜卡（Peter LoDuca）提交了一份诉状，反对Avianca以超过诉讼时效为由驳回诉讼的动议。洛杜卡签了字，但诉状是他的同事史蒂文·施瓦茨（Steven Schwartz）写的，其中引用了卡斯特尔法官的命令后来认定并不存在的判决。Avianca 3月15日的答辩说，它的律师找不到其中大部分。

命令记录说，施瓦茨所在的律所使用的是Fastcase数据库，只能有限查阅联邦案例，而他从未用过ChatGPT。按他在记录里的话说，他“错误地以为”它“就像一个叫ChatGPT的超级搜索引擎”。编造的判决是Varghese、Miller、Petersen、Shaboon、Martinez和Durden。第十一巡回上诉法院的书记员确认，Varghese v. China Southern Airlines不是该法院的裁判。施瓦茨问ChatGPT，Varghese是不是真的，据他自己的声明，它回答说这个案例“确实存在”，可以在Westlaw和LexisNexis上找到。

卡斯特尔法官写道，使用可靠的人工智能工具获得协助，“本身并无不当”。他认定律师在问题浮出水面之后的行为存在恶意：他们直到5月25日，在一份说明理由令之后，才坦白。法院对洛杜卡、施瓦茨和律所共同处以5,000美元的罚款，并命令向马塔以及每一位名字被安在伪造意见上的法官发信。法院没有强令道歉。

Park v. Kim和Johnson v. Dunn：先是移送，然后是取消资格

第二巡回上诉法院2024年1月30日裁判Park v. Kim。它维持了对一宗民事诉讼的驳回，并另外处理了原告的律师Jae S. Lee，她在答辩状里引用了一个并不存在的州法院判决。Lee说，她在找不到支持性案例之后向ChatGPT要了一个，并没有读过它。合议庭写道，第11条规则，即联邦规则中规定签字即证明文件中的法律主张有现行法律依据的那一条，要求律师“阅读他们所依据的法律权威，从而确认其存在和有效”。法院把Lee移送给它的申诉委员会，并命令她把裁判书的副本交给她的当事人。法院没有罚款。

在Johnson v. Dunn中，在押的原告弗兰基·约翰逊（Frankie Johnson）告诉亚拉巴马北区联邦地方法院，该州前惩教专员杰斐逊·邓恩（Jefferson Dunn）的律师引用了不真实的案例。安娜·马纳斯科（Anna Manasco）法官在两份动议中发现了五处有问题的引文。巴特勒·斯诺（Butler Snow）律所的三名律师以书面形式并在听证会上确认，这些引文是ChatGPT生成的。其中一人马修·里夫斯（Matthew Reeves）曾向它要引文而没有核对，并说他知道自己律所的政策限制使用AI。

她2025年7月23日的命令说，这些引文是“完全编造的”，并认为通常的申诫和适度罚款作为威慑太弱。她公开申诫了里夫斯、威廉·克兰福德（William Cranford）和威廉·伦斯福德（William Lunsford），取消三人在本案中的代理资格，命令把意见发表在《联邦补充判例汇编》（Federal Supplement，一套刊印联邦地方法院裁判的系列）上，并把他们移送给亚拉巴马州律师协会。她没有停止他们的执业，另外两名律师和律所则被免于制裁。

印度：最高法院说，建立在伪造判决上的裁决是不当行为

2026年2月27日，印度最高法院在Gummadi Usha Rani v. Sure Mallikarjuna Rao案中审理了一项初审法院的命令，该命令依据四个判决，其中包括Subramani v. M. Natarajan，引为(2013) 14 SCC 95。请愿人说这些判决是假的，按最高法院的叙述，安得拉邦高等法院意识到它们是AI生成的，加了一句提醒，仍然就实体问题作出了裁判。帕米迪甘塔姆·斯里·纳拉辛哈（Pamidighantam Sri Narasimha）法官和阿洛克·阿拉德（Alok Aradhe）法官禁止初审法院依据律师专员的报告继续审理，并向总检察长、副总检察长和印度律师公会发出通知。他们的命令说，依据此类判决作出的裁决，“不是决策中的错误。那将是不当行为”。2026年后来的裁判见印度法院和政府中的AI。

斯坦福对标榜“无幻觉”的工具的研究

法律检索供应商曾说，检索增强生成可以避免这个问题：系统先取回相关文件，再据此写出答案。斯坦福和耶鲁的Magesh等六位作者引用了供应商声称“消除”和“避免”幻觉、引文“无幻觉”的说法。他们把200多个预先登记的法律问题，交给Lexis+ AI、Westlaw的AI辅助检索、汤森路透的Ask Practical Law AI和GPT-4去回答，只要回答包含不正确的信息，或者错误地说某个来源支持某个陈述，就算作幻觉。

三个供应商工具的幻觉率各自在17%到33%之间。Lexis+ AI和Ask Practical Law AI在六个问题里有一个以上出现幻觉，Westlaw约为三分之一。据论文的图4，GPT-4的幻觉率为43%。作者的结论是，与GPT-4相比，检索降低了幻觉，但幻觉仍然相当可观。

什么降低了错误率，附数字

检索的记录最早。Facebook人工智能研究院2021年的一篇论文报告，它最好的检索增强聊天机器人在两项对话任务上把幻觉回答减少了60%以上。卡莱的团队提醒，搜索不是灵丹妙药，因为只要搜索没有找到有把握的答案，评分仍然奖励猜测。

训练上的改变也有帮助。OpenAI的InstructGPT论文报告，在封闭领域任务上，调优后的模型编造信息的频率约为GPT-3的一半，比率为21%对41%。GPT-4报告说，它的模型在一项内部对抗性事实性测试中，比最新的GPT-3.5高19个百分点，其系统卡给出的数字是开放领域幻觉19个百分点、封闭领域幻觉29个百分点。

检查草稿也有帮助。在Meta的验证链（Chain-of-Verification）方法中，模型先起草答案，写出核查事实的问题，分别回答，然后修改。在取自公共知识库Wikidata的列表问题上，它把Llama 65B模型的精确率从0.17提高到0.36。在人物传记上，最佳变体把FACTSCORE准确度指标从55.9提高到71.4。

法院现在的要求

第五巡回上诉法院发布了一项规则草案，拟要求律师证明文件中没有使用生成式AI，或者有人核对过其文本。在收到13条公众意见后，它决定不采纳，其通知说，“我用了AI”不会成为对本来应受制裁的行为的借口。2026年2月18日，在Fletcher v. Experian案中，由首席法官埃尔罗德（Elrod）领衔的合议庭，对律师希瑟·赫什（Heather Hersh）罚款2,500美元，原因是她的一份答辩状大部分甚至全部由AI起草，而她没有核实。

佛罗里达州最高法院2026年5月28日走了另一条路。从2026年6月15日起，任何文件的签署人都等于声明，其中的法律依据“存在且引用准确”，违反者可受制裁。它的行政命令禁止下级法院另行增设自己的AI披露或证明规则，以结束各巡回区命令各行其是的局面。

印度最高法院2026年6月3日公布了《2026年法院使用人工智能规定》（Regulations for Use of Artificial Intelligence in Courts）草案，并把意见征询截止期限延至7月15日。草案要求，在准备诉状或证据时使用了AI工具的当事人，须提交声明说明，并规定提交伪造AI材料的人不能把AI当作辩护理由。

在美国联邦法院，杰克逊维尔的治安法官帕特里夏·巴克斯代尔（Patricia Barksdale）2026年5月29日建议，在第11条规则中增加一项证明：所引依据存在且引用准确。民事规则咨询委员会2026年10月21日会议议程中的工作人员备忘录建议放弃这项建议，因为现行第11条规则似乎已经足够。议程册早于会议，没有记录投票。其会议纪要草稿显示，2026年4月，委员会一致投票放弃了此前关于AI幻觉的提案，同时承认AI可能重新回到议程上。