Professional Risks of using LLMs
本页目录· 8 条
web.archive.orgweb.archive.org/web/20251104234356/https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html
文章总结:律师使用 ChatGPT 编造判例,引发法院制裁审查
一、事件背景
Roberto Mata 起诉哥伦比亚航空公司 Avianca,称自己在飞往纽约肯尼迪国际机场的航班上,被金属餐车撞伤膝盖。航空公司随后要求法院驳回案件,理由是诉讼已经超过法定时效。
为了反对撤诉,Mata 的律师向纽约曼哈顿联邦法院提交了一份约 10 页的法律文件,其中引用了多个看似与航空公司责任和诉讼时效有关的司法判例。
二、问题:引用的判例根本不存在
航空公司的律师和法官都无法在法院档案或法律数据库中找到这些案例。文件中的案件名称、法院编号、判决日期、法官姓名、法律分析及引文,大部分都是虚构的。
其中包括:
- Varghese v. China Southern Airlines
- Martinez v. Delta Air Lines
- 一个错误的 Zicherman v. Korean Air Lines 判例
- 其他多个看似真实、实际上不存在的法院判决
法官指出,这些材料不仅包含虚假的案件名称,还包含虚假的引用、虚假的内部判例关联和不存在的法律论述。
三、律师如何使用 ChatGPT
负责研究的律师 Steven A. Schwartz 承认,他使用 ChatGPT 辅助法律研究,并把 ChatGPT 提供的案例写进了法院文件。Schwartz 从业约 30 年,但此前从未使用过 ChatGPT,也不知道它可能生成错误或虚构的信息。
更严重的是,当他询问 ChatGPT:
“Varghese 是一个真实案件吗?”
ChatGPT 回答称该案件确实存在,并提供了看似正式的法律引用。当律师进一步询问其他案例是否为虚构时,ChatGPT仍声称这些案例是真实的,可以在权威法律数据库中找到。
律师因此错误地把 ChatGPT 的自我确认当作事实核查,没有亲自在官方法院记录或专业法律数据库中验证。
四、法院的反应
法官 P. Kevin Castel 将此事称为一种“前所未有的情况”,因为律师提交的正式法律文件中充斥着虚假判决、虚假引文和虚假案件编号。法院要求律师解释事件经过,并安排听证会,考虑是否对相关律师实施制裁。
律师随后表示:
- 没有故意欺骗法院;
- 不知道 ChatGPT 可能提供虚假内容;
- 非常后悔依赖 ChatGPT;
- 今后不会在未经完整核实的情况下使用其输出。
需要注意的是,这篇文章发表于 2023 年 5 月 27 日,内容截至法院安排制裁听证会为止,并未介绍后续最终处罚结果。
文章的核心观点
这起事件说明,ChatGPT 可以生成结构完整、语言专业、形式高度可信,但事实完全错误的内容。
它能够模仿法律判决的写作方式,生成案件名称、法院编号、法官姓名和法律论证,但并不意味着这些信息真实存在。换句话说:
表达得像事实,不代表它就是事实。
文章引用法律伦理专家的观点指出,律师不能直接复制 AI 生成的内容并提交给法院,必须对每个案例、引用和法律结论进行独立验证。
对生成式 AI 责任使用的启示
- AI 不能被当作权威资料来源。 AI 更适合辅助整理思路、解释概念或生成初步草稿,而不能代替专业数据库和原始资料。
- 不能让 AI 自己验证自己的答案。 询问 ChatGPT“你确定吗”不属于独立核实,因为它可能继续为先前的错误提供更加详细的虚假解释。
- 高风险领域必须检查原始来源。 法律、医疗、金融、学术研究等领域中的事实、案例和数据,都应回到法院记录、政府网站、研究论文或专业数据库进行确认。
- 最终责任仍由使用者承担。 即使错误内容由 AI 生成,提交文件的律师仍然需要为信息的准确性和职业行为负责。
- 专业判断不能外包给 AI。 AI 可以提高效率,但使用者必须保持批判性思维,并判断输出是否准确、适当和符合职业伦理。
一句话总结
这篇文章通过一名律师引用 ChatGPT 虚构判例的事件,说明生成式 AI 能够自信地制造高度逼真的错误信息,因此专业人士必须独立核实 AI 输出,并对最终结果承担责任。